Fiabilidad bajo perturbaciones adversariales…

Fiabilidad bajo perturbaciones adversariales: estabilidad local, no solo promedio

Un clasificador de riesgo puede sostener una exactitud agregada razonable y, aun así, cambiar de decisión cuando una solicitud legítima se desplaza unos pocos puntos dentro de su vecindario de entrada. Ese es el problema que aborda esta página: la fiabilidad entendida como propiedad local, medida en la cercanía de cada caso y no en el promedio del conjunto de validación.

Qué significa ser fiable en un vecindario de entrada

La frontera de decisión que aprende un modelo de scoring rara vez es suave. En zonas densas de solicitudes, dos perfiles casi idénticos pueden caer a lados opuestos del umbral por diferencias mínimas en variables correlacionadas. Cuando un atacante conoce la arquitectura o puede consultar el modelo de forma repetida, calcula perturbaciones pequeñas para empujar un caso hacia la zona de aprobación o de rechazo. La fiabilidad, entonces, no se mide por cuántos aciertos acumula el sistema en promedio, sino por cuánto tarda su decisión en moverse cuando la entrada se mueve un poco.

Foco: estabilidad de decisión en el entorno inmediato de cada caso evaluado.

Qué documentamos y qué queda como límite abierto

No existe inmunidad ni detección perfecta. Lo que sí puede hacerse es dejar registro de qué perturbaciones se consideraron, qué filtros operan antes del clasificador y qué supuestos siguen sin resolverse. Ese registro permite revisar decisiones pasadas, ubicar responsables y actualizar controles cuando aparece un patrón nuevo. La trazabilidad de versiones del modelo, de los datos de entrenamiento y de los incidentes reportados convierte cada hallazgo en una mejora concreta en lugar de una investigación que se pierde entre equipos.

Alcance: mecanismos, trade-offs y costo operativo, sin promesas de resultados.

Qué entra y qué queda fuera de esta lectura de fiabilidad

La fiabilidad de un clasificador de riesgo no se mide solo por su exactitud promedio: se mide por la estabilidad de sus decisiones en vecindarios de entrada concretos. Un modelo puede acertar en la mayoría de los casos y, aun así, invertir el resultado ante una variación mínima que un tercero introduce a propósito.

Estabilidad local, no inmunidad

Cuando hablamos de robustez adversarial nos referimos a qué tan cerca del borde de decisión puede moverse una solicitud sin cambiar de veredicto. No describimos un sistema imposible de engañar. Ninguna defensa conocida elimina por completo el riesgo de perturbaciones diseñadas; lo que se puede hacer es acotar el margen, medirlo y documentarlo.

Perturbaciones consideradas y perturbaciones abiertas

Los controles que revisamos cubren un conjunto definido de escenarios: ruido gaussiano acotado, desplazamientos de campos numéricos dentro de rangos plausibles y variaciones coordinadas entre variables correlacionadas. Fuera de ese conjunto, los límites permanecen abiertos y así se registran. Un informe de robustez que no declara sus supuestos no sirve para decidir.

Qué no promete este enfoque

No afirmamos detección perfecta, ni certificaciones, ni plazos de corrección. Tampoco sustituimos la evaluación de riesgo que hace cada equipo sobre su propio tráfico. Lo que ofrecemos es un método para observar la fragilidad local, comparar versiones del modelo y dejar rastro de cada cambio de supuesto.

Trazabilidad como condición, no como extra

Sin registro de versiones, de datos de entrenamiento y de decisiones tomadas ante un incidente, cualquier revisión posterior se vuelve lenta y discutible. Por eso la trazabilidad no es un añadido al final del proceso: es parte del criterio con el que juzgamos si un sistema es fiable en producción.