Mistral AI anunció un nuevo modelo de IA con 1 billón de parámetros

La empresa francesa Mistral AI anunció la vista previa pública de su modelo de IA Mistral Large 4, que cuenta con 1,05 billones de parámetros y pesos abiertos. El modelo se posiciona como un competidor para las principales redes neuronales estadounidenses y chinas, enfocado en tareas de programación, ciberseguridad y el ámbito corporativo. Mistral Large 4, también conocido como Le Chonk, tiene 49 mil millones de parámetros activos y un codificador visual separado con 1,6 mil millones de parámetros, que soporta un contexto de hasta 1 millón de tokens. La empresa afirma que este modelo está entre las soluciones de pesos abiertos más eficientes y reduce la brecha con los sistemas cerrados, superando algunas soluciones chinas en el campo de la ciberseguridad. Sin embargo, Mistral no ha proporcionado resultados independientes que respalden sus afirmaciones.

El entrenamiento de Large 4 se llevó a cabo en 4,000 procesadores gráficos Nvidia Grace Blackwell durante aproximadamente dos meses en los centros de datos europeos de la empresa. El modelo abarca una amplia gama de tareas, incluyendo programación, finanzas, análisis geoespacial y diseño, y se desarrolla con un enfoque en escenarios de agentes que requieren el procesamiento de grandes volúmenes de datos. Una de las principales ventajas de Large 4 es la disponibilidad de pesos abiertos, lo que permite a los desarrolladores ejecutar el modelo y adaptarlo sin transferir datos a proveedores externos. Actualmente, el modelo está disponible en modo de vista previa pública, y el lanzamiento completo de los pesos está programado para el 27 de octubre. Hasta ese momento, Mistral ofrece acceso anticipado para desarrolladores y organizaciones que trabajan en el campo de la ciberseguridad.

El lanzamiento de Mistral Large 4 se produce en medio de una creciente competencia en el segmento de modelos de pesos abiertos, donde empresas chinas como Alibaba y Z.ai están fortaleciendo significativamente sus posiciones. Mistral busca ocupar una posición intermedia, ofreciendo a los usuarios la funcionalidad de sistemas avanzados con control sobre los parámetros y la infraestructura. Recientemente, la empresa recaudó inversiones por un total de €3 mil millones, valorando su costo en más de $24 mil millones.