guía de referencia
Cómo interpretar las evaluaciones de Claude Fable 5.2
Una tabla de referencia puede ayudarle a elegir qué modelo probar, siempre que sepa qué mide realmente cada fila. Revisamos la tabla de lanzamiento de Fable 5.2 de Anthropic y sus notas metodológicas. Se trata de puntuaciones de evaluación informadas, seguidas de una forma ilustrativa de convertir un resultado en una prueba interna útil.
la respuesta rapida
Usa Chartography para orientar una prueba de lectura de gráficos, FrontierCode para código y AutomationBench para procesos. Conserva los ajustes de razonamiento y las condiciones de herramientas de cada fila. Para una auditoría visual, empieza por una comprobación concreta que puedas verificar.
| Evaluación | Fable 5.2 | Fable 5.1 | Opus 5.5 |
|---|---|---|---|
| Chartography (sin herramientas) | 73.4% | 44.8% | 64.4% |
| FrontierCode 2.0 | 49.1% (Xhigh) | 32.4% (Xhigh) | 45.5% |
| AutomationBench | 51.4% | 31.4% | 42.5% |
Leer en una sola fila
Anthropic generalmente informa el mayor esfuerzo disponible a menos que indique una configuración diferente. Compare los modelos bajo las condiciones de una tarea y lea la nota a pie de página antes de asumir que el esfuerzo o el uso de herramientas fueron idénticos. Las filas etiquetadas explícitamente como Mitos describen los Mitos bajo las condiciones establecidas.
Cartografía para evidencia visual.
La tarea publicada es el reconocimiento de gráficos sin herramientas. Un piloto de estudio relevante podría verificar si cada modelo puede identificar la unidad, categoría y fecha en un informe de campaña. Califique evidencia exacta y corrija abstenciones cuando un valor sea ilegible. Una puntuación sólida en el gráfico deja la composición y el juicio de marca a una revisión separada.
FrontierCode para trabajos de codificación
Esta evaluación se refiere a cambios en los repositorios de software. Si el equipo de diseño entrega prototipos a los ingenieros, pruebe una solución representativa con entradas versionadas y comprobaciones automatizadas. Mantenga el mismo proceso de revisión para cada candidato y registre si el parche cumple con sus criterios de aceptación reales.
AutomationBench para traspasos
Convierta un traspaso repetitivo en un piloto local con una respuesta conocida. Por ejemplo, asigne cada activo aprobado a un canal y tamaño. Registre si el modelo asigna el elemento correcto y si marca dimensiones faltantes antes de proponer una exportación.
Mantenga un resultado piloto que pueda auditar
Dé a cada caso una identificación, hechos esperados y una regla de aprobación. Capture el esfuerzo, las herramientas reales, el costo y las correcciones del revisor para cada modelo. Tomar la decisión sobre los entregables aceptados. Coloque las referencias y los hallazgos aceptados en el mismo lienzo cuando el trabajo pase a producción.
Guarda un registro que otra persona pueda reproducir
Un registro útil incluye el ID de las fuentes, la pregunta, el dato esperado, el modelo, los ajustes, el hallazgo, la corrección y la decisión final. Para leer un gráfico, el dato esperado podría ser la unidad del eje; «buen análisis» no es un criterio verificable.
Si una etiqueta es ilegible y el modelo pide una fuente más clara, registra el caso como pendiente. Una suposición sin respaldo sigue siendo un fallo aunque acierte por casualidad. Así evalúas si puedes confiar en la revisión cuando aún desconoces la respuesta.
Preguntas frecuentes
¿Puedo tratar la tabla como un punto de referencia independiente?
Estas filas provienen del informe de lanzamiento de Anthropic. Utilice la metodología citada y un piloto local para interpretarlos.
¿Debería utilizar una puntuación agregada única?
Elija la evaluación que coincida con el puesto de trabajo. Una prueba de aceptación creativa separada es más útil que una agregada para decidir si una prueba de diseño está lista.
Mantenga la evidencia piloto en una placa
Traiga los gráficos y capturas de pantalla originales, luego coloque los hallazgos aceptados junto a la evidencia que el equipo pueda verificar.