Fase 1 KDD Cup 2024 | Innova-tsn

Summary

El equipo de Data Scientist de Innova logró ingresar al top 20 de 500 equipos en la prestigiosa competición mundial de Inteligencia Artificial, la KDD. En la primera fase, desarrollaron un modelo de lenguaje especializado en productos de Amazon, capaz de realizar 57 tareas distintas, desde identificar atributos hasta recomendar productos. Partiendo de un modelo Open Source, Mistral, con 7000 millones de parámetros, aplicaron técnicas de fine-tuning y retriever-augmented generation para adaptarlo a datos específicos de Amazon. Su éxito destaca el poder de los modelos Open Source y el talento del equipo, quienes están emocionados por los desafíos futuros en la segunda fase de la competición.

Takeaways

• 🌟 El equipo de Data Scientist de Innova ha alcanzado el top 20 en la primera fase de la prestigiosa competición mundial de Inteligencia Artificial, la KDD.
• 🚀 Han avanzado a la segunda fase donde el desafío será aún mayor.
• 💡 La competición está patrocinada por AWS y se trata de desarrollar un modelo de lenguaje especializado en productos de Amazon y código abierto.
• 🔍 El modelo debe ser capaz de realizar 57 tareas distintas, desde identificar atributos específicos hasta recomendar productos basándose en el historial de un usuario.
• 📚 El equipo de Innova ha creado su propio dataset a partir de ejemplos propios y conjuntos de datos abiertos proporcionados por Amazon.
• 🤖 Particularmente, se ha utilizado el modelo de 7000 millones de parámetros de Mistral y se ha ajustado una cantidad de parámetros a través de fine-tuning.
• 🛠️ El fine-tuning fue crucial para especializar el modelo con datos específicos de productos de Amazon, lo que incluye miles de ejemplos de aprendizaje.
• 🧠 El equipo de Data Science de Innova posee un gran conocimiento sobre LM (Modelos de Lenguaje Grandes) y técnicas como el fine-tuning, ingeniería de prompts y la integración de información.
• 🏆 El resultado fue un modelo personalizado y eficiente que les posicionó entre los 20 mejores equipos de 500 participantes.
• 🌐 El logro destaca el esfuerzo del equipo y el potencial de los modelos open source cuando se ajustan adecuadamente.
• 🔝 El equipo está orgulloso de su trabajo y emocionado por las futuras oportunidades y desafíos en la segunda fase de la competición.

Q & A

¿Qué equipo participó en la competición de Inteligencia Artificial KDD?

El equipo de Data Scientist de Innova participó en la competición de Inteligencia Artificial KDD.

¿En qué posición se encuentran en la primera fase de la competición KDD?

En la primera fase de la competición KDD, el equipo de Innova alcanzó el top 20 de 500 equipos.

¿Cuál es el objetivo de la competición de Inteligencia Artificial KDD?

El objetivo de la competición es desarrollar un modelo de lenguaje especializado en productos de Amazon y de código abierto capaz de llevar a cabo 57 tareas distintas.

¿Qué tareas específicas deben realizar los modelos en la competición KDD?

Las tareas incluyen identificar atributos específicos como la marca, el color o el material de una categoría, y recomendar productos basándose en el historial de un usuario.

¿En qué plataforma deben ejecutarse los modelos en la competición KDD?

Los modelos deben ejecutarse en la plataforma de AWS, con un tiempo y recursos limitados.

¿De qué modelo de código abierto se partió el equipo de Innova para la competición?

El equipo de Innova partió del modelo Mistral de 7000 millones de parámetros, que es de código abierto.

¿Qué técnica se utilizó para ajustar el modelo Mistral según los datos específicos de Amazon?

Se utilizó la técnica de fine-tuning para ajustar el modelo Mistral con datos específicos de productos de Amazon.

¿Cómo ayudó el equipo de Data Science de Innova a especializar el modelo Mistral?

El equipo de Data Science posee un gran conocimiento sobre LM (Modelos de Lenguaje Grandes), con técnicas como el fine-tuning, la ingeniería de prompts e integración de información a partir de documentos.

¿Qué estrategia permitió que el modelo de Innova comprendiera y proporcionara respuestas precisas?

La estrategia de 'retriever augmented generation' permitió que el modelo no solo comprendiera las consultas sino también proporcionara respuestas precisas.

¿Cómo se sintieron el equipo de Innova tras alcanzar el top 20 en la primera fase de la competición KDD?

El equipo de Innova se sintió increíblemente orgulloso de su logro y emocionado por las futuras oportunidades y desafíos en la segunda fase.

¿Cómo pueden los interesados seguir el progreso del equipo de Innova en la competición KDD?

Los interesados pueden suscribirse y seguir al equipo de Innova en sus redes sociales para conocer más sobre su progreso en la competición.