✅ CONTENIDO_COMPLETO | Traducido automáticamente del inglés
🍭 En esta nota me enfoqué en el impacto para experiencia de desarrollo, interfaces y ergonomía del producto.
, por Saman Rahbar Ver PDF HTML (experimental) Resumen: Presentamos el Índice de Ignición (I), una métrica escalar validada que operacionaliza la predicción de ignición todo o nada de la Teoría Global del Espacio de Trabajo (GWT) en modelos de lenguaje transformador. La métrica ajusta un sigmoide de cuatro parámetros a la precisión de la sonda lineal por capa en función de la intensidad de la señal de entrada, extrayendo el parámetro de inclinación beta-hat: los valores altos indican transiciones abruptas similares a las de un encendido; los valores bajos indican una acumulación gradual. En 11 modelos que abarcan cinco familias de arquitectura, los controles de etiquetas mezcladas demuestran una selectividad 9,6 veces mayor para la estructura lingüística genuina que para la capacidad de sonda espuria (p <0,001, prueba U de Mann-Whitney).
Encontramos: (1) Los transformadores feedforward superan a los SSM en un 89% en beta-hat agregado (p < 1e-13, d de Cohen = 0,52), y Mamba exhibe perfiles casi lineales consistentes con una transmisión global ausente. (2) Huginn-3.5B exhibe una ignición 2,12 veces mayor a lo largo de su eje de iteración que en su eje de profundidad, lo que demuestra que las arquitecturas recurrentes manifiestan transiciones similares a espacios de trabajo a lo largo de la dimensión de recurrencia. (3) Pythia-410M muestra una transición de fase detectada por PELT en el paso de entrenamiento 256 (+67%), antes de la formación de la cabeza de inducción. (4) Las hipótesis que vinculan la ignición con la escala del modelo y la intensidad de la señal no fueron confirmadas, lo que sugiere que las arquitecturas de los transformadores pueden saturar los mecanismos de ignición disponibles. El Ignition Index proporciona el primer puente cuantitativo validado entre las predicciones dinámicas de GWT y la interpretabilidad mecanicista, con una selectividad de medición de 9,6 veces y una discriminabilidad a nivel de arquitectura no caracterizadas previamente en la literatura de escalamiento. Código: esta URL https Comentarios: 26 páginas, 10 cifras.
📰 Fuente Original
General – Leer artículo completo →
📌 Nota: Este artículo fue traducido automáticamente. Para la versión original en inglés, visita el enlace de la fuente.
🍭 Curada por Jicaleta con ojo en UX, frontend y claridad para devs.