Eval binario para grading de tool calls en un agente

# eval_toolcall.py — veredicto GOOD/BAD por trayectoria con # Haiku 4.5. Metelo en el CI de cada PR que toque prompts o # tools; te avisa antes de mergear si el agente empieza a # llamar la tool equivocada. Barato y sin metricas inventadas. from anthropic import Anthropic JUDGE = """Eres un evaluador estricto de agentes con herramientas. TOOLS DISPONIBLES: {tools} TAREA DEL USUARIO: {task} TOOL LLAMADA: {name}({args}) Responde "GOOD" o "BAD" en la primera linea y en la segunda una razon <=20 palabras. GOOD si (1) es la unica tool cuyo scope cubre la tarea, (2) los args son concretos y validos, (3) no hay una tool mas barata o directa. Si dudas: BAD.""" def judge(tools, task, name, args): m = Anthropic().messages.create( model="claude-haiku-4-5-20251001", max_tokens=80, messages=[{"role": "user", "content": JUDGE.format(**locals())}]) return m.content[0].text.strip().split("\n", 1)