Un agente que opera tiene que demostrar que decide bien. Diseñas cómo se mide: casos de prueba, conjuntos de evaluación, métricas y el umbral a partir del cual un agente puede pasar de proponer a ejecutar.
El rol
- Construir conjuntos de evaluación con casos reales de operación.
- Medir aciertos, errores, costo y tiempo de cada agente.
- Comparar modelos y configuraciones con método, no con impresiones.
- Definir los umbrales que permiten subir de nivel de autonomía.
Tus primeros 90 días
- 30 días
Conoces los agentes y sus bitácoras; mides uno de punta a punta.
- 60 días
Construyes la evaluación que corre antes de cada cambio de un agente.
- 90 días
Una decisión de autonomía se toma con tus números.
Stack y herramientas
PythonSQLAPIs de modelos de lenguajepgvector
Lo que buscamos
Indispensable
- Estadística y método experimental con soltura.
- Python para analizar y automatizar evaluaciones.
- Desconfías de un número hasta saber de dónde sale.
- Explicas un resultado a quien no es técnico.
Suma
- Evaluación de modelos de lenguaje.
- Búsqueda semántica o recuperación.
- Experiencia con datos de operación.
Cómo es trabajar aquí
Lo que construyes entra a productos que operan organizaciones reales. Trabajas directo con los fundadores, sin capas entre tu código y producción, y con la misma regla que ponemos a la inteligencia: lo crítico lo firma una persona.