¿Tu bot de IA responde bien? Del testing de IA Generativa manual en WhatsApp al CI/CD automatizado

Probar un software siempre ha sido un desafío de disciplina e ingeniería. Sin embargo, cuando construyes asistentes conversacionales en WhatsApp apoyados en IA Generativa, donde hasta el 90% de la lógica depende de un modelo de lenguaje (LLM), las técnicas tradicionales de aserción rígida dejan de funcionar. ¿Cómo sabes si una respuesta no determinística es correcta antes de desplegarla a producción?

En este caso de éxito, te mostramos cómo transformamos de punta a punta el flujo de trabajo de una empresa líder en soluciones conversacionales: pasando de un esquema de validación 100% manual por WhatsApp a un pipeline de Integración y Entrega Continua (CI/CD) con una arquitectura de pruebas automatizadas que utiliza la técnica LLM-as-a-judge y la unificación de reglas de negocio con el system prompt.

El Desafío: +50 Bots, Pruebas Manuales y la Incertidumbre de la IA Generativa

El equipo de nuestro cliente desarrolla y mantiene bots de WhatsApp sobre una plataforma interna donde conviven más de 50 asistentes en un único repositorio. A medida que la complejidad de las soluciones creció, surgieron varios cuellos de botella técnicos y de proceso:

• Ausencia de automatización: No existían pruebas unitarias ni de integración. Cada validación exigía desplegar localmente e interactuar manualmente desde un celular en WhatsApp.

• Frameworks de testing abandonados: Existía un intento previo basado en Gherkin y Cucumber, pero el glue-code necesario para conectar los pasos con la plataforma interna era tan complejo que el equipo dejó de usarlo.

• Entrega desordenada: La gestión de ramas presentaba branches de larga vida y pipelines de GitHub Actions que no garantizaban builds saludables ni trazabilidad sobre qué versión corría en cada ambiente.

• El reto no determinístico de la IA: Al incorporar LLMs, comparar textos exactos fue imposible. Cada ejecución podía ofrecer una respuesta distinta pero igualmente válida, volviendo obsoletas las aserciones tradicionales.

Bajo este contexto, el cliente necesitaba acelerar sus entregas, pero hacerlo sin una estrategia de calidad clara implicaba multiplicar el riesgo en producción.

La Solución: Camino Esfera y Metodología para el Testing de IA Generativa

Fieles al Camino Esfera, trabajamos bajo una premisa fundamental: la calidad no es un freno para la velocidad, es su principal motor. Entregar rápido no significa tipear código a toda velocidad, sino llegar a producción con confianza, trazabilidad y sin sorpresas.

A través de un esquema de Coaching Técnico y desarrollo mano a mano (1 Arquitecto + 2 Desarrolladores Full Stack), implementamos una transformación progresiva sobre tres pilares:

1. Testing Evolutivo y Especificación por Ejemplos

• Aislamiento modular: Separamos la lógica del bot de la librería propietaria del cliente en módulos independientes para cubrirlos con pruebas unitarias.

• DSL sobre Gherkin sin WhatsApp: Simplificamos el framework de pruebas existente creando un lenguaje propio (DSL) que traduce respuestas del bot (texto, botones, formularios) a comparaciones simples. Esto permitió simular conversaciones completas sin depender de la interfaz de WhatsApp ni escribir glue-code complejo.

• Visibilidad con Allure Reports: Integramos reportes visuales que representan las conversaciones en un formato amigable e idéntico al chat real.

2. Integración y Entrega Continua (CI/CD)

• Trunk-Based Development: Eliminamos los branches eternos para adoptar un flujo de integración continua real.

• Pipeline dedicado por Bot: Diseñamos pipelines en GitHub Actions que compilan y testean únicamente el bot afectado por un cambio.

• Despliegues trazables: Cada push se despliega automáticamente en Release Candidate, requiriendo únicamente una aprobación trazable de 15 minutos para pasar a producción.

3. Testing de IA Generativa: Metodología LLM-as-a-Judge

• Unificación de Reglas y System Prompt: Diseñamos una arquitectura donde las mismas reglas de negocio expresadas en las pruebas generan directamente el system prompt del bot, garantizando que la fuente de verdad sea única.

• Evaluación con un segundo LLM: Para validar respuestas no determinísticas, aplicamos el patrón LLM-as-a-judge. Tradujimos las expectativas de negocio en aserciones evaluadas por un modelo supervisor dentro del mismo pipeline de CI, guardando evidencia de prompts, respuestas y veredictos.

• Arquitectura Evolutiva: Evolucionamos la solución hacia sistemas multi-agente con memoria persistente y arquitectura RAG (Retrieval-Augmented Generation) sobre bases de conocimiento propias.

Resultados: De la Incertidumbre Manual a la Confianza Automatizada

La transformación técnica y metodológica permitió elevar radicalmente los estándares del equipo:

Dimensión	Estado Anterior	Resultado con Grupo Esfera
Cobertura de pruebas	Cero automatización; pruebas 100% manuales en teléfonos.	Suite completa (unitarias, exploratorias e integración) ejecutadas en cada cambio.
Flujo de entrega	Despliegues manuales desde máquinas locales sin trazabilidad.	CI/CD sobre Trunk-Based Development con despliegues a RC y paso a producción en 15 min.
Validación de IA	Validación empírica manual e impredecible.	Evaluación LLM-as-a-judge integrada en el pipeline con evidencia completa.
Reglas de negocio	Documentación desconectada del prompt final.	Reglas de negocio y system prompt generados desde una única fuente de verdad.
Capacidad del Bot	Flujos rígidos y determinísticos.	Arquitectura multi-agente, RAG y memoria persistente.

Llevá la ingeniería de tu equipo al siguiente nivel

Para hacer posible esta transformación, combinamos nuestro servicio de Coaching Técnico (evolución de prácticas y equipos) con nuestro servicio de Desarrollo de Soluciones con IA Generativa.

¿Querés transformar la forma en que tu equipo construye y testea productos de software con IA Generativa?

👉 Ponete en contacto con nuestro equipo para conversar sobre cómo podemos acompañarte.