TinyLlama: The Era of Small Language Models is Here

Summary

El guión presenta Tiny Llama, un nuevo modelo de lenguaje pequeño de código abierto con 1.1 mil millones de parámetros. Se entrenó en datos de lenguaje natural y código para ser viable en dispositivos de borde. Tiene un buen rendimiento para su tamaño y utiliza técnicas innovadoras como embeddings rotatorios. Incluye una versión de chat que puede funcionar en CPU. Aunque no es perfecto, tiene potencial, especialmente si se ajusta a tareas específicas. Es emocionante porque muestra que ahora es posible ejecutar estos modelos pequeños sin internet.

Takeaways

• 😊 Se presentó un nuevo modelo de lenguaje pequeño de código abierto llamado Tiny Llama
• 👍 Tiny Llama tiene 1.1 mil millones de parámetros y se entrenó en 1 billón de tokens
• 🔥 Su arquitectura es igual a Llama 2 pero utiliza técnicas innovadoras como embeddings rotatorios
• ⚙️ Superó el rendimiento de otros modelos de lenguaje abierto similares en su clase
• 🤔 Tiene potencial pero su rendimiento no es tan bueno como modelos más grandes
• 📲 Se puede ejecutar localmente en CPU o teléfonos sin necesidad de internet
• 💻 Incluye pesos pre-entrenados y código de entrenamiento e inferencia de código abierto
• 🔢 Rinde bien en tareas simples de programación pero no en tareas complejas
• 😕 No pudo resolver acertijos o problemas que requieren pensamiento lógico
• ✨ 2024 será un año emocionante para modelos de lenguaje pequeños y grandes

Q & A

¿Qué es Tiny Llama y por qué es importante?

Tiny Llama es un nuevo modelo de lenguaje pequeño de código abierto entrenado en 1 billón de tokens. Es importante porque es un modelo viable que se puede ejecutar en dispositivos edge.

¿Cuáles son algunas de las innovaciones técnicas utilizadas en Tiny Llama?

Tiny Llama utiliza técnicas como embeddings rotatorios posicionales, RMS norm pre-normalización, una combinación de Swish y unidades lineales con compuerta, atención de consulta agrupada y FSDP paralelismo de datos completamente fragmentados.

¿Cómo se compara el rendimiento de Tiny Llama con modelos de tamaño similar?

Tiny Llama supera a modelos de código abierto existentes de tamaño comparable en 6 de 7 tareas de razonamiento y en 3 de 4 conjuntos de datos de resolución de problemas.

¿Se ha entrenado completamente Tiny Llama?

No, las gráficas muestran que si se entrena Tiny Llama por más tiempo, su rendimiento aumenta en diferentes puntos de referencia, lo que indica que se podría haber entrenado más.

¿Cuál es la versión de chat de Tiny Llama?

La versión de chat es Tiny Llama 1.1B Chat Version 1, que se creó aplicando el guión de entrenamiento de cero a un checkpoint intermedio y luego realizando una optimización DPO en el conjunto de datos de comentarios ultra.

¿Cómo responde Tiny Llama a preguntas no éticas?

Aunque Tiny Llama ha pasado por DPO, todavía parece ser un modelo relativamente sin censura debido a su pequeño tamaño, por lo que aún genera respuestas a preguntas no éticas.

¿Cómo se desempeña Tiny Llama en la escritura creativa?

Genera una respuesta coherente para escribir un nuevo capítulo de Game of Thrones, pero aún podría ser mejor en establecer la escena y el diálogo.

¿Puede Tiny Llama resolver acertijos y problemas lógicos?

No, Tiny Llama no puede resolver acertijos o pensamiento lógico en mi prueba, aunque la mayoría de los modelos de 7 mil millones tampoco pueden.

¿Cómo se desempeña Tiny Llama en tareas de programación?

Puede hacer tareas de programación simples, pero no se puede esperar nada complicado. Por ejemplo, puede escribir una función Fibonacci pero no un juego de Snake en Python.

¿Cuál es la opinión sobre el futuro de los modelos de lenguaje pequeños como Tiny Llama?

2024 probablemente será un año muy emocionante tanto para los modelos de lenguaje grandes como pequeños, ahora que es posible ejecutar modelos pequeños en dispositivos edge sin necesidad de internet.