En un evento de IA de alto perfil en Londres, los ejecutivos de Meta proporcionaron el martes la primera confirmación oficial y detalles sobre el inminente lanzamiento de Llama 3, la muy esperada próxima versión del modelo de lenguaje grande de código abierto de la compañía. «Dentro del próximo mes , en realidad menos, con suerte en un período de tiempo muy corto, esperamos comenzar a implementar nuestro nuevo conjunto de modelos básicos de próxima generación, Llama 3», anunció Nick Clegg, presidente de asuntos globales de Meta, en el Meta AI Day London. TechCrunch.Clegg dijo que Llama 3 consta de «varios modelos diferentes con diferentes capacidades y diferentes versatilidades» que comenzarán a implementarse a lo largo de este año. Una vez que se lance, se espera que Llama 3 sea el modelo de código abierto más avanzado disponible, con Meta invierte fuertemente en su desarrollo. El modelo fue entrenado con 140 mil millones de parámetros, dice Meta, el doble de la capacidad de Llama 2. El CEO de Meta, Mark Zuckerburg, había adelantado algunos de los detalles técnicos en enero. “Estamos construyendo una infraestructura informática masiva para respaldar nuestra hoja de ruta futura, incluidos 350.000 H100 de a finales de este año, y en total casi 600.000 equivalentes de computación H100 si se incluyen otras GPU”, dijo Zuckerberg en ese momento. Esta cantidad de potencia informática es significativamente mayor que la utilizada por OpenAI para entrenar GPT-4, que se estima que requiere alrededor de 25.000 GPU en 90 a 100 días. Zuckerberg también reveló que Meta AI, su asistente de IA, funcionará con Llama 3.Chris Cox, director de productos, dijo que Llama 3 se integrará en Meta. «Nuestro plan será que Llama 3 impulse múltiples productos y experiencias diferentes en nuestra familia de aplicaciones», dijo.
La estrategia del código abierto
El impacto del lanzamiento de Llama 3 se extiende mucho más allá de Meta, dado el compromiso filosófico de la compañía de desarrollarlo como un modelo de código abierto, en claro contraste con el enfoque cerrado y propietario adoptado por rivales como OpenAI con ChatGPT. Al abrir el código fuente de su lenguaje Meta tiene como objetivo fomentar un ecosistema de desarrollo de IA abierto y posicionar a la familia Llama como la base para una amplia gama de herramientas y aplicaciones creadas por desarrolladores e investigadores externos. “Es muy importante darse cuenta de que las innovaciones siempre se basan en contribuciones previas. de otros, a veces muy similares”, tuiteó el mes pasado Yann LeCun, jefe de investigación de IA de Meta. «Por eso la investigación abierta es tan importante: hace que el campo avance más rápido para todos».
Desde la distancia, parece que las innovaciones surgen espontáneamente del vacío.
Pero es muy importante darse cuenta de que las innovaciones siempre se basan en contribuciones previas de otros, a veces muy similares.
Por eso la investigación abierta es tan importante: hace que el campo… https://t.co/JMvQD2h5OZ — Yann LeCun (@ylectun) 20 de marzo de 2024
Este espíritu abierto ya ha generado una comunidad vibrante que se une en torno a Llama. Algunos de los modelos de lenguaje de código abierto más avanzados de la actualidad, como Mistral, Falcon y Beluga, se crean ajustando el modelo básico anterior de Llama 2. Varios de estos modelos comunitarios han igualado o superado a GPT-3.5 en ciertos puntos de referencia. El lanzamiento de Llama-3 como otro modelo fundamental de código abierto probablemente allana el camino para una nueva generación de LLM que pondrá el listón aún más alto en términos de calidad. y eficiencia en IA.
Desafiando el dominio de OpenAI
La premisa de código abierto de Llama 3 plantea un desafío formidable y de múltiples niveles para el actual dominio del mercado de OpenAI y, por extensión, para otros modelos propietarios como Claude y Gemini. La comunidad de código abierto pronto podrá aprovechar Llama 3 e iterarlo rápidamente. sus variaciones para igualar o superar potencialmente las capacidades de GPT-4, tal como lo hicieron contra GPT-3.5. Con costos de capacitación más bajos compartidos entre los contribuyentes, el ecosistema abierto podría superar el desarrollo del modelo propietario de OpenAI, que requiere inmensos recursos y costos informáticos. Si las ofertas de código abierto logran regularmente la paridad con las ofertas comerciales, las empresas pueden gravitar hacia los ecosistemas más accesibles y rentables. como Llama en lugar de depender de OpenAI y pagar por él. Actualmente, GPT-4 es el modelo más caro del mercado en términos de costo por token. Además, la comunidad de código abierto se fortalece a medida que más personas se involucran en ella. Meta se beneficia de tener una enorme comunidad construida sobre el modelo, ajustándolo, desarrollando nuevas tecnologías y mejorándolo de forma gratuita. Esto facilita que Meta desarrolle mejores versiones de su modelo mientras lo monetiza a través de esquemas alternativos, como otorgar licencias para uso comercial por parte de grandes industrias. En otras palabras, la inercia continua y los efectos de red podrían dificultar que los modelos propietarios de OpenAI atraigan usuarios y clientes. en el futuro. Sin duda, OpenAI actualmente tiene una fuerte ventaja en términos de rentabilidad. Anthropic puede presumir de tener el LLM de mejor rendimiento en el espacio de la IA. Pero Llama 3 representará otro golpe estratégico de Meta para cambiar radicalmente el panorama de la IA generativa. Por supuesto, mucho depende del desempeño y la adopción de Llama 3 en el mundo real durante el próximo año. Pero la comunidad de IA de código abierto es bastante activa y ya ama a Llama-2. Las cosas se pondrán muy interesantes en los próximos meses, especialmente con el GPT-5 de OpenAI a la vuelta de la esquina. Editado por Ryan Ozawa.
