Resultados
- 6.000 agentes comerciales en la siguiente fase de despliegue de SofIA, con miras a llegar a millones de clientes.
- 8% de mejora en métricas clave de precisión y calidad de RAG.
- 20% de reducción en rechazos.
- 6 áreas de mejora identificadas, con 280 fallos auditados.
- Riesgos de cambio de modelo mitigados: un ciclo de pruebas de regresión detectó rápidamente que un cambio de modelo estaba degradando la fiabilidad del agente
La situación
Sabadell Seguros es la división aseguradora de Banco Sabadell, una de las mayores instituciones financieras de España. La entidad ha ido desplegando por fases SofIA, un asistente conversacional de IA generativa que cubre sus productos de Hogar, Vida y Protección de Ingresos. Cuando el equipo contactó con Galtea, la siguiente fase consistía en abrir SofIA a 6.000 agentes comerciales, con el objetivo de llegar a millones de clientes posteriormente.
En un sector de servicios financieros altamente regulado, un despliegue de tal magnitud no puede basarse en la intuición. La dirección necesitaba saber, con datos medibles, qué significaba estar "listos" antes de que los agentes empezaran a confiar en SofIA frente a los clientes.
El desafío
Tres preguntas separaban a Sabadell Seguros de un despliegue con garantías.
- ¿Qué se necesita para demostrar que el asistente funciona tan bien como un agente humano y qué se esconde detrás de una cifra general de fiabilidad?
- ¿Resiste SofIA a los usuarios que intentan manipularla o llevarla más allá de sus límites de seguridad?
- ¿Funciona igual de bien para los clientes con menos competencias digitales o que conocen poco sobre los productos?
Ninguna de esas preguntas podía responderse mediante una revisión manual. SofIA cambiaba con cada actualización del modelo, revisión de prompts y modificación de la documentación; responder adecuadamente a esas tres preguntas implicaba realizar miles de casos de prueba en cada producto, tipo de usuario y escenario de ataque, y volver a ejecutarlos cada vez que algo cambiaba. Las pruebas manuales a ese ritmo no eran una cuestión de esfuerzo, sino algo totalmente insostenible.
El problema de raíz era la velocidad: el asistente evolucionaba más rápido de lo que cualquier proceso manual podía verificar.
Qué cambió Sabadell Seguros
En colaboración con Galtea, el equipo implementó un programa de evaluación continua basado en tres decisiones.
- Generación de pruebas automatizada: Galtea generó el conjunto de pruebas automáticamente, sin necesidad de un conjunto de datos preetiquetado, cubriendo todos los productos, tipos de usuario y escenarios de ataque a los que SofIA podría enfrentarse. El conjunto se ejecutaba de nuevo al completo con cada nueva versión, en lugar de tener que reconstruirse manualmente en cada ciclo.
- Jueces calibrados según el negocio, no según una rúbrica genérica: Un marco de evaluación mediante LLM con diez métricas, calibrado con puntos de referencia de revisión humana, tradujo el comportamiento del modelo al lenguaje empresarial. Los resultados eran interpretables tanto por ingenieros como por los responsables de negocio, respondiendo a las preguntas que la dirección realmente planteaba en lugar de generar una puntuación del modelo sobre la que nadie podía actuar.
- La evaluación integrada en cada lanzamiento: El bucle de optimización de Galtea ejecutaba el conjunto completo de pruebas contra cada nueva versión de SofIA, detectando regresiones y mejoras versión a versión en lugar de esperar a una auditoría manual periódica. La integración no afectaba a las operaciones en vivo, generando un registro de evaluación auditable independiente del monitoreo de producción.
Pruebas de ataques y casos límite, antes de que cualquier cliente los viera
Cualquier asistente conversacional desplegado a la escala de Sabadell Seguros, en un sector regulado, se enfrenta a las mismas clases de pruebas estándar: intentos de manipularlo para que supere sus límites de seguridad, conversaciones de varios turnos que se desvían del objetivo y usuarios que llegan con poco conocimiento del producto. Evaluar los tres aspectos, de forma sistemática y repetida, es lo que define una evaluación rigurosa.
Pruebas de manipulación y límites de seguridad
La simulación de ataques se integró directamente en el conjunto de pruebas, proporcionando una respuesta basada en datos a la cuestión de la seguridad en lugar de basarse en suposiciones. Las pruebas permitieron definir un plan de remediación claro sobre la seguridad y el comportamiento ante ataques, resolviéndolo antes de la siguiente fase de escalado y no después.
Comportamiento en conversaciones de varios turnos
La auditoría de 280 casos de fallo identificó el comportamiento en conversaciones de varios turnos como una de las seis áreas de mejora prioritaria, proporcionando al equipo de producto una hoja de ruta concreta y de resultados rápidos en lugar de una vaga sensación de que las conversaciones más largas eran más arriesgadas.
Rendimiento según el nivel de competencia del usuario
El conjunto de pruebas verificó si SofIA funcionaba igual de bien para clientes con menos confianza digital o menos familiarizados con los productos que para usuarios más avanzados, eliminando un punto ciego que el control de calidad estándar, basado en el uso típico, suele pasar por alto.
Impacto en el negocio
El programa de evaluación cambió lo que Sabadell Seguros podía comunicar a la dirección sobre SofIA, no solo lo que el asistente era capaz de hacer.
- La fiabilidad pasó a ser medible, no una suposición. El aumento del 8% en la precisión y las métricas de calidad de RAG, junto con la reducción del 20% en las negativas, proporcionaron al equipo pruebas concretas de mejora entre versiones, en lugar de la vaga sensación de que el asistente estaba "mejorando".
- Se detectó un riesgo de cambio de modelo antes de que llegara a los agentes. Un ciclo de pruebas de regresión detectó rápidamente que un cambio de modelo estaba degradando la fiabilidad del agente, identificando el problema en el bucle de evaluación en lugar de frente a 6.000 agentes de ventas.
- Una hoja de ruta priorizada sustituyó a las conjeturas. La auditoría de 280 casos de fallo generó seis áreas de mejora concretas, proporcionando al equipo de producto una lista clasificada de qué corregir a continuación, en lugar de un registro desestructurado de quejas anecdóticas.
- La dirección tomó una decisión respaldada por datos. SofIA obtuvo el visto bueno en cuanto a calidad de respuesta, junto con un plan de remediación definido sobre seguridad y comportamiento adversarial antes de la siguiente fase de escalado; una decisión clara de seguir adelante o no, basada en evidencias y no en la confianza interna.
En sus propias palabras
"Escalar SofIA era demasiado importante como para depender de las pruebas de IA y la validación de precisión estándar. Galtea nos proporcionó las métricas, los KPI, un enfoque sistemático y pruebas prácticas sobre qué mejorar, y cómo hacerlo, para alcanzar objetivamente nuestra base de referencia de 'listos para escalar'".
Joan Franco Lasús, Director de Sistemas de Información en BanSabadell
