Fable 5 vs GPT-5.6: medí el coste real de la misma tarea (y las tarifas engañan)
Ayer lancé la misma tarea, con el mismo prompt congelado, a Claude Fable 5 (Claude Code) y a GPT-5.6 Sol (Codex). Resultado: empate en calidad, 24,5 sobre 25 ambos. Coste medido: unos 0,25-0,30 € de cuota en Claude frente a unos 0,11 € en Codex. Las tarifas de API sugieren una diferencia de ~10x; a calidad igualada, medí 1,8x.
Ese es el resumen. Ahora te cuento cómo lo medí, por qué la diferencia real es mucho menor de lo que dicen las tablas de precios, y cómo puedes repetir el cálculo con tu propia suscripción.
Qué comparé exactamente
No es un benchmark sintético. Es una tarea real de frontend: una landing completa (hero animado, marquee ligado al scroll, cards sticky, componentes con gradientes exactos) especificada en un prompt.md que los dos modelos recibieron íntegro y sin editar.
Los contendientes, cada uno con su herramienta nativa:
- Claude Fable 5 ejecutado desde Claude Code (terminal).
- GPT-5.6 Sol ejecutado desde Codex (extensión de VS Code).
No comparo solo modelos: comparo lo que de verdad usas en el día a día, el modelo con su agente. Es la comparación que importa si pagas una suscripción.
Cómo hicimos las pruebas, paso a paso
Todo el experimento es público: el prompt congelado, el protocolo, el script de medición y el código exacto que entregó cada modelo están en github.com/ivanlhz/ia-tests. No tienes que fiarte de mí, puedes auditarlo.
1. Un prompt congelado. Toda la spec vive en un prompt.md: secciones, medidas exactas, gradientes con sus valores, animaciones y hasta las URLs de los assets. Se pega íntegro, sin editar, en los dos lados. Si el prompt cambia entre pasadas, la comparación muere ahí.
2. Mismo punto de partida. Directorio vacío para cada uno; el modelo hace el scaffold completo (Vite + React + TypeScript + Tailwind + Framer Motion). Nada de plantillas previas que favorezcan a uno.
3. Una sesión limpia por pasada, mismo esfuerzo. Sesión nueva, sin historial que contamine, y razonamiento en high en ambos. Cada corrección posterior se apunta como intervención: también consume tokens y ES parte del resultado.
4. Cuota anotada antes y después. En Claude Code, /usage antes y después de la pasada; en Codex, /status. La diferencia de porcentaje semanal es lo que costó la tarea de verdad, porque ninguno de los dos factura por token: consumen cuota de suscripción.
5. Medición en frío, desde los logs. Un script de solo lectura (measure.py) que lee los JSONL de sesión de Claude Code y los rollouts de Codex, deduplica por mensaje y aplica las tarifas públicas de API de cada proveedor. De ahí sale el “coste API equivalente”: qué habría costado la tarea a precio de API. No es dinero gastado, es la vara común para comparar. La conversión cuota a euros la calibré aparte, cruzando /usage con tokometer, mi medidor local de tokens que valida contra los logs reales con desviación del 0,000% diario: 1% de la cuota semanal de Fable equivale a unos $18-22 de API.
6. Calidad contra checklist, no a ojo. De la spec derivé una checklist de 25 puntos verificables (del gradiente exacto del heading al pnpm install && pnpm dev arrancando a la primera). Cada punto vale 1, 0,5 o 0, con evidencia fichero a fichero. Los extras no pedidos no suman: si premias al que añade cosas, premias al que inventa.
Los resultados
| Claude Fable 5 (Claude Code) | GPT-5.6 Sol (Codex) | |
|---|---|---|
| Fidelidad a la spec | 24,5 / 25 | 24,5 / 25 |
| Pasadas | 1 | 2 (generación + refactor SOLID pedido) |
| Correcciones mías | 0 | 2 |
| Tiempo | ~23 min | ~18 min (primera fase) |
| Coste API equivalente | $10,55 | ~$5,84 |
| Coste real de cuota | ~0,25-0,30 € | ~0,11 € |
Dos detalles que no salen en ninguna tabla de precios:
Los dos fallaron en lo mismo. El medio punto que pierde cada uno es idéntico: una sombra interior de un botón que ninguno hizo inset. Todo lo demás, clavado en ambos.
El camino fue distinto. Fable entregó a la primera, con estructura de componentes limpia, cero correcciones. Sol entregó antes un resultado visualmente correcto pero con estructura de proyecto pobre; hubo que pedirle un refactor, y esa segunda fase costó tanto como la landing entera. Ahí está la trampa de comparar “primer resultado que se ve bien”: el punto de corte justo es calidad de proyecto real.
El hallazgo: a calidad igualada, el consumo converge
Cuando los dos terminaron en el mismo nivel de calidad, su consumo de contexto era casi idéntico: 6,7 millones de lecturas de caché en Fable frente a 6,3 en Sol. La tarea es la que es, y hacerla bien cuesta lo que cuesta, la ejecute quien la ejecute.
Por eso el 10x de las tarifas no se traslada al bolsillo. El precio por token es solo un factor; el otro es cuántas vueltas necesita el modelo para llegar al mismo sitio. Sol es más barato por token pero necesitó una fase extra, dos correcciones y una sesión aparte de auto-review (~50k tokens de entrada que también consumen cuota). Fable es más caro por token pero fue directo.
Medido de punta a punta: 1,8x en coste API equivalente. No 10x.
Por qué mido en euros de cuota y no en tokens
Comparar tokens entre proveedores es un error: los tokenizers son distintos, así que “35.000 tokens de Claude” y “22.000 de GPT” no son la misma magnitud. Y además ninguno de los dos me factura por token: los dos van por suscripción.
Lo que de verdad consume una tarea es porcentaje de tu cuota semanal. La conversión a dinero es directa:
€ por tarea = (Δ% de cuota semanal consumido) × (precio mensual / 4,33)Con mis planes: en ChatGPT Plus (~23 €/mes), un 1% de la semana cuesta unos 0,05 €. En Claude Max 20x (~215 €/mes), unos 0,50 €. Anota el porcentaje antes y después de la tarea (/usage en Claude Code, /status en Codex) y tienes el coste real en euros, comparable entre proveedores.
Este método te sirve tal cual para tu caso: misma fórmula, tus precios, tus tareas.
Los límites de este experimento (importan)
Sin esto, el post sería humo:
- Es n=1. Una tarea, una pasada por modelo, un día concreto. Es una medición honesta, no una ley universal.
- Es una tarea de frontend. En backend, datos o agentes largos el reparto puede ser otro.
- La medición del lado OpenAI subestima ligeramente: los logs de Codex no separan las escrituras de caché, así que su coste API equivalente real es algo mayor que ese ~$5,84.
- Los modelos y los límites cambian. GPT-5.6 salió hace días y Anthropic recalibra cuotas; los números tienen fecha de caducidad. El método, no.
Quedan pendientes más pasadas (GPT-5.6 Terra y Luna, Sonnet 5, Opus) con la arquitectura exigida desde el prompt inicial, para igualar la vara desde el minuto uno. Y un segundo experimento ya en marcha: la misma spec lanzada a varios modelos a través de Open Design, que compone el mismo harness de diseño para todos los agentes (Claude Code, Codex, Gemini CLI, OpenCode) y deja aún menos variables sueltas. Los resultados irán llegando al repo y a este artículo.
Lo que me quedo
- A calidad igualada, el consumo converge. La diferencia de coste real entre modelos punteros es mucho menor que la de sus tarifas.
- El punto de corte justo es “calidad de proyecto real”, no “se ve bien”. El refactor que le faltaba a uno costó como toda la tarea.
- Mide en € de cuota, nunca en tokens. Es la única unidad comparable entre proveedores cuando vas por suscripción.
Esta es la misma disciplina que aplico en proyectos de cliente: el coste de un sistema de IA no se estima con la tabla de precios del proveedor, se mide con telemetría propia sobre tareas reales. Si estás decidiendo qué modelo usar en tu empresa y quieres números en vez de opiniones, hablamos 30 minutos.