AI Verification / Test Engineer para tu equipo

Qué hace un ingeniero de verificación de IA

Verifica productos que incorporan IA y el código que la IA escribe. Construye conjuntos de evaluación para asistentes y agentes, define métricas y criterios de aprobado, los automatiza con Pytest y los ejecuta en la integración continua, prueba interfaces con Playwright y revisa regresiones al cambiar de modelo o de instrucciones. Detecta alucinaciones, fugas de datos y comportamientos inseguros.

Cuándo necesitas uno

• Has puesto un asistente o un agente en producción y no sabes medir si sus respuestas son correctas o si empeoran con los cambios.
• Tu equipo usa IA para generar código y necesitas controles que impidan que errores sutiles lleguen a producción.
• Vas a cambiar de modelo o de instrucciones y quieres comprobar antes que no se rompe lo que ya funcionaba.

Qué distingue a un buen ingeniero de verificación de IA

• Crea conjuntos de evaluación representativos con casos reales y casos límite, y los mantiene como un activo del producto.
• Combina métricas automáticas, evaluación con modelos como juez y revisión humana, sabiendo qué fiabilidad tiene cada una.
• Prueba la seguridad del sistema: inyección de instrucciones, fuga de información y respuestas fuera de política.
• Automatiza la ejecución con Pytest y Playwright e integra los resultados en la canalización, con umbrales claros.
• Revisa el código generado por IA con pruebas y análisis, y detecta errores plausibles que parecen correctos.

Junior, middle o senior

Dos formas de trabajar

¿Necesitas un equipo entero? Mira los Agile Squads.

Preguntas frecuentes