Junior
Amplía datasets, ejecuta evaluaciones existentes y analiza los casos que fallan.
AI Evals Engineer para tu equipo
Un ingeniero que mide si tu IA funciona: conjuntos de prueba propios, evaluaciones automáticas en cada cambio y métricas que detectan regresiones antes de que las vean los clientes.
Tecnologías y competencias habituales
- Evals (Braintrust, LangSmith, Promptfoo)
- Benchmarks
- Datasets
- Python
- Observabilidad LLM
También lo buscarás como evals engineer, AI evaluation engineer, ingeniero de evals y especialista en evaluación de LLM.
Qué hace un ingeniero de evaluación de IA
Construye el sistema que dice si un asistente o un agente está mejorando o empeorando. Crea datasets representativos, define métricas y jueces automáticos, calibra el evaluador contra revisión humana y lo integra en el ciclo de desarrollo con herramientas como Braintrust, LangSmith o Promptfoo.
Cuándo necesitas uno
- Cambias un prompt o de modelo y no sabes si el asistente ha mejorado o ha empeorado.
- Tu equipo evalúa probando a mano cuatro preguntas y dando el cambio por bueno.
- Necesitas demostrar a cliente o a auditoría que el sistema alcanza un nivel de calidad definido.
Qué distingue a un buen ingeniero de evaluación de IA
- Construye datasets a partir de casos reales y de fallos observados, y los mantiene como un activo del producto.
- Elige métricas que reflejan el uso: exactitud, fidelidad a las fuentes, cobertura, seguridad y no solo similitud de texto.
- Calibra los jueces basados en LLM contra etiquetado humano y conoce sus sesgos.
- Integra las evaluaciones en integración continua, con umbrales que bloquean un cambio que empeora.
- Separa la evaluación del componente (recuperación, generación) de la del sistema completo, para saber dónde falla.
Junior, middle o senior
Middle
Diseña la evaluación completa de una aplicación: datasets, métricas, jueces, umbrales y panel de seguimiento.
Senior
Define el marco de evaluación de la empresa, sus estándares y cómo se mide el riesgo antes de cada lanzamiento.
Dos formas de trabajar
On Demand
Se suma a tu equipo el tiempo que lo necesites.
Try & Hire
Trabaja contigo y, tras un tiempo, puedes incorporarlo a tu plantilla sin costes.
¿Necesitas un equipo entero? Mira los Agile Squads.
Preguntas frecuentes
¿Qué diferencia hay con un tester de software?
El tester comprueba que el sistema hace lo esperado, y ante una misma entrada obtiene la misma salida. Con un modelo de lenguaje la salida varía, así que se evalúa de forma estadística, sobre muchos casos y con métricas de calidad, no con un resultado exacto.
¿Se puede evaluar con otro modelo de IA?
Sí, con jueces basados en LLM, pero hay que validarlos: se comparan con revisión humana sobre una muestra y se vigilan sus sesgos. Un juez sin calibrar da una falsa sensación de control.
¿Cuántos ejemplos hacen falta para empezar?
Menos de lo que se cree. Con unas pocas decenas de casos bien elegidos, incluidos los difíciles, ya se detectan la mayoría de regresiones. El conjunto crece con cada fallo que aparece en producción.
¿Es útil si aún no hemos lanzado nada?
Mucho. Definir cómo se medirá la calidad antes de construir obliga a concretar qué es una buena respuesta y evita discusiones subjetivas más adelante.
¿Puedo incorporarlo después a mi plantilla?
Sí. Con la modalidad Try & Hire trabaja contigo y, tras un tiempo, puedes incorporarlo a tu plantilla sin costes.
¿Cómo se factura?
Pagas por el trabajo realmente efectivo: solo las horas trabajadas. La selección, las bajas, las vacaciones y las sustituciones corren de nuestra cuenta.
¿Trabaja en remoto o en nuestras oficinas?
Como lo necesite tu equipo: en remoto, en híbrido o presencial, en España.
Cómo llega un perfil a tu equipo
Vendemos calidad: preferimos presentarte a una persona que encaja antes que a cinco que no.
De cada 20 candidatos que evaluamos, te presentamos a uno.
Nos cuentas qué necesitas
El perfil, el nivel, las tecnologías y cómo trabaja tu equipo.
Validamos a la persona
Nuestro equipo técnico revisa su conocimiento real, también cómo trabaja con IA. De cada 20 candidatos, pasa uno.
Te la presentamos
Conoces a la persona antes de decidir. El 93 % de nuestros clientes contrata a la primera que le presentamos.
Empieza en tu equipo
Pagas solo las horas trabajadas. De la selección, las bajas, las vacaciones y las sustituciones nos ocupamos nosotros.
Suele trabajar con
Ver los 14 perfiles de IA generativaAI Engineer (GenAI)
- OpenAI API
- LangChain
- LlamaIndex
- Vector Databases (Pinecone, Milvus)
AI Agent Engineer
- Claude Agent SDK
- LangGraph
- Google ADK
- CrewAI
Tester Manual / QA Analyst
- TestLink
- Zephyr
- Xray
- HP ALM
Context / RAG Engineer
- RAG
- Vector DBs (Pinecone, pgvector, Weaviate)
- Embeddings
- Chunking
AI Red Teamer
- Jailbreaks
- Prompt injection
- Adversarial testing
- OWASP LLM Top 10
Data Annotator / AI Trainer
- Etiquetado de datos
- RLHF
- Label Studio
- Scale
AI Agent Manager / AgentOps
- LangSmith
- Langfuse
- Trazas y observabilidad de agentes
- Control de costes de tokens
Conversation Designer / Diseñador de Agentes (Prompt Engineer)
- Prompts de sistema
- Diseño de flujos conversacionales
- Tono y personalidad del agente
- Voiceflow