开源模子高下文窗口卷到超长杨超越 ai换脸，达400 万token！

刚刚，"大模子六小强"之一MiniMax 开源最新模子——

MiniMax-01 系列，包含两个模子：基础说话模子 MiniMax-Text-01、视觉多模态模子 MiniMax-VL-01。

MiniMax-01 初度大边界膨大了新式Lightning Attention 架构，替代了传统 Transformer 架构，使模子约略高效责罚 4M token 高下文。

在基准测试中，MiniMax-01 性能与顶级闭源模子推崇很是。

MiniMax-Text-01 性能与前段期间大火的 DeepSeek-V3、GPT-4o 等打的有来有回：

如下图 ( c ) 所示，当高下文朝上 20 万 token，MiniMax-Text-01 的上风冉冉昭着。

在预填充延伸方面也有显耀上风，在责罚超长高下文时更高效，延伸更低：

网友直呼"难以置信"：

灵通权重，领有 400 万 token 的高下文窗口！我原来以为这可能要五年后才会驱散。

官方暗意，MiniMax-01 是为维持之后 Agent 联系诈欺而贪图的：

因为 Agent 越来越需要膨大的高下文责罚能力和抓续的内存。

现在官方还公开了 MiniMax-01 的 68 页本领论文，况且已将 MiniMax-01 在 Hailuo AI 上部署了，可免费试用。

另外，新模子 API 价钱也被打下来了：

输入每百万 token0.2 好意思元，输出每百万 token1.1 好意思元。

底下是模子更多细节。

4M 超长高下文 MiniMax-Text-01杨超越 ai换脸

MiniMax-Text-01，参数 456B，每次推理激活 45.9B。

它翻新性地选拔了搀和架构，集结了Lightning Attention、Softmax Attention 以及 Mixture-of-Experts（MoE）。

况且通过 LASP+、varlen ring attention、ETP 等优化的并行战术和高效的商量通讯重复形态，MiniMax-Text-01 考验高下文长度达 100 万 token，推理时不错膨大到 400 万 token 高下文。

模子架构细节如下：

在 Core Academic Benchmark 上，MiniMax-Text-01 在 GPQA Diamond 上赢得54.4分，卓绝 GPT-4o。

在长基准测试之4M 大海捞针测试，MiniMax-Text-01 一水儿全绿。

也等于说，这 400 万高下文里，有细节 MiniMax-Text-01 是真能 100% 捕捉到。

除此以外，还有 LongBench v2、Ruler 基准测试，考验的是模子长高下文相识能力，包含基于长高下文输入的逻辑推理能力。

MiniMax-Text-01 模子在责罚 Ruler 的长高下文推理任务时推崇出显耀的上风。

在 64K 输入级别的推崇与顶尖模子 GPT-4o、Claude-3.5-Sonnet 等竞争力很是，变化轻微，但从 128K 脱手裸透露昭着的上风，并卓绝了通盘基准模子。

LongBench-V2 包括不同难度级别的问答任务，涵盖多种高下文类型，包括单文档和多文档、多轮对话、代码仓库和长结构化数据等。团队商量了两种测试模式：不使用想维链推理（w/o CoT）和使用想维链推理（w/ CoT）。

MiniMax-Text-01 在 w/ CoT 设备中驱散了通盘评估系统中的最好后果，在 w/o CoT 中推崇也很显耀。

团队还用 MTOB（ Machine Translation from One Book）数据集评估了模子从高下文中学习的能力。

该任务条目模子在英语和 Kalamang（一种在公开数据中相配有限的说话）之间进行翻译，因此在考验语料库中，LLM 仅从一部语法书的部天职容和 375 个翻译示例中学习该说话。

测试后果自大，MiniMax-Text-01 在无高下文场景下 eng → kalam ( ChrF ) 得分最低，团队以为其它模子可能是在预考验或后考验数据中集加入了 kalam 联统统据。在 delta half book 和 full book 上，MiniMax-Text-01 朝上了通盘模子。

在 kalam → eng ( BLEURT ) 得分上 MiniMax-Text-01 也与其它模子推崇很是。

MiniMax-VL-01

MiniMax-VL-01 选拔多模态大说话模子常用的" ViT-MLP-LLM "框架：

一个具有 3.03 亿参数的 ViT 用于视觉编码

一个随即启动化的双层 MLP projector 用于图像适配

以及当作基础 LLM 的 MiniMax-Text-01

MiniMax-VL-01 止境具有动态分辨率功能，不错字据预设网立场整输入图像的大小，分辨率从 336 × 336 到 2016 × 2016 不等，并保留一个 336 × 336 的缩略图。

调整后的图像被分割成大小换取的不重复块，这些块和缩略图分离编码后组合，变成圆善的图像暗意。

MiniMax-VL-01 的考验数据涵盖标题、描摹和提醒。ViT 重新脱手在 6.94 亿图像 - 标题对上进行考验。在考验历程的四个阶段，责罚了合计 5120 亿 token。

最终，MiniMax-VL-01 在多模态名次榜上推崇杰出，阐述了其在责罚复杂多模态任务中的上风和可靠性。

网友们已脱手第一波实测

得知新模子已在 Hailuo AI 上部署，网友们已紧忙赶往测试。

有网友使用换取的 prompt 将它和 Gemini、o1 对比，传诵 MiniMax-01 推崇令东谈主印象深远。

底下这个测试也没能难倒它：

给我 5 个奇数，这些数的英文拼写中不包含字母" e "。

感兴味的童鞋不错玩起来了。

本领论文：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf

参考贯穿：

[ 1 ] https://x.com/MiniMax__AI/status/1879226391352549451

[ 2 ] https://huggingface.co/MiniMaxAI/MiniMax-Text-01

[ 3 ] https://huggingface.co/MiniMaxAI/MiniMax-VL-01杨超越 ai换脸