Mistral AI 宣布推出具有 1 万亿参数的新 AI 模型

法国公司 Mistral AI 宣布推出其 AI 模型 Mistral Large 4 的公开预览版，该模型具有 1.05 万亿参数和开放权重。该模型被定位为美国和中国领先神经网络的竞争对手，专注于编程、网络安全和企业领域的任务。Mistral Large 4，也被称为 Le Chonk，拥有活跃的 490 亿参数和一个独立的视觉编码器，具有 16 亿参数，支持多达 100 万个标记的上下文。公司声称，这一模型是最具性能的开放权重解决方案之一，缩小了与封闭系统的差距，超越了一些中国在网络安全领域的解决方案。然而，Mistral 并未提供独立的结果来证实其声明。

Large 4 的训练在公司的欧洲数据中心使用 4,000 个 Nvidia Grace Blackwell 图形处理器进行了大约两个月。该模型涵盖广泛的任务，包括编程、金融、地理空间分析和工程设计，并注重需要处理大量数据的代理场景。Large 4 的主要优势之一是具有开放权重，使开发者可以运行和调整模型，而无需将数据传输给第三方供应商。目前，该模型以公开预览模式提供，完整的权重发布计划于 10 月 27 日进行。在此之前，Mistral 为从事网络安全领域的开发者和组织提供早期访问。

Mistral Large 4 的推出正值开放权重模型领域竞争加剧之际，中国公司如 Alibaba 和 Z.ai 显著增强了其地位。Mistral 力求占据中间位置，提供具有先进系统功能的模型，同时为用户提供参数和基础设施的控制。最近，该公司获得了 30 亿欧元的投资，估值超过 240 亿美元。