Key Updates:
1.最新2.7T大版本模型技术进展细节
1）M3后续大版本模型进展: 下一代模型参数预计2.5-3万亿，预训练已启动大半个月，数据准备和结构验证开展2个月，收敛表现超预期，指标优异。
2）大版本模型训练难点与创新点: 聚焦数据规模扩大及结构创新，采用MSA架构升级到MSA2.0，实现训练效率和成本优化。
3）MSA架构技术优势: 支持超长序列任务，成量级降低Attention开销，极致提高硬件利用效率，实现训练时间缩短。MSA及升级版本支撑2.5万亿参数扩展，具强扩展性和复杂任务处理能力，是模型公司核心竞争力关键。
4）MSA架构选择原因: 综合考虑性能与计算资源，基于实际训练和推理任务特性，设计了MSA和后续MSA2.0。重视自主创新架构，避免简单套用其他模型，追求更适合大规模数据训练的可持续学习结构。综合数据规模、模型持续学习能力及显卡算力、显存等硬件限制，实现硬件最大化利用且模型稳定提升。
2. 模型pipeline、评估、毛利率
1）新模型时间节点: 预计暑假后下一代模型具备较成熟状态并对外发布，内部对性能和完成度充满信心，领先国内水平。
2）硬件资源对模型影响: 显卡算力、显存、内存及CPU影响模型表现，通过设计更稀疏和仿稠密结构最大化利用有限硬件资源。
3）M3模型评估: M3开发时间紧张导致缺乏后训练阶段，预训练基准表现好，但后训练问题导致简单任务存在错漏，M3.1改善了这些问题。基于M3经验，后续版本强化样本选择和大规模数据利用，优化模型设计与训练方案提升整体效果。
4）毛利率和使用反馈: 采用MSA降低计算开销，毛利率预计超过M2。从技术和需求判断使用使用反馈良好，销售市场也会稳定增长。
3. Coding 竞争格局
1）coding任务与模型效果: M3及后续预训练效果优异，M3后期强化不足有缺陷，M3.1通过提升数据和质量显著改善。
2）coding模型优势: M3是主力模型中速度最快，TPS有100左右，优于竞品，极大提升用户体验和市场竞争力。
3）关于coding数据飞轮: 市场分为主张领先模型自循环数据和主张高质量专业代码数据两派，偏向后者，认为数据质量和训练方案更关健。
4）coding模型展望: M3.1版本在长程任务数据支持下有倍数级能力提升，改善复杂代码设计，未来攻克复杂难题能力更强。
5）市场竞赛格局：国内外市场混战无明显领跑者，M3据2.7版本已显著提升，M3 更大参数版预计达市场最佳水平。
4. 算力基础设施（海外及国产算力进展）
1）算力优势: 除算法和数据，模型竞争关键还在Infra端算力和集群能力，公司持续布局确保技术生态优势。
2）模型竞争关键点: 竞争体现在数据资源积累和算力集群优势，集群部署优化直接影响训练效率和业务应用。训练端集群建设与系统部门协同仅数月实现高稳定性和性能提升，达到大云集群水平。自主组网节省成本和时间，组网高稳定性超过预期，体现强大技术实力。
3）海外算力使用情况: 公司合规获得优质海外算力，领先多数同行，呈现算力优势。
4）国产算力集群进展: 国产算力产能有限但可用，预计2026年Q3末首个国产集群搭建，推理先行，训练随后，符合生态培养阶段。
全文版本
Q1：能否从您的角度介绍一下我们MiniMax大模型及未来新模型的理解和行业洞察？
A：我隶属于基建团队，主要负责计算平台，包括训练和模型结构设计。之前参加过M3，关注模型结构、效果、效率和训练稳定性。目前我们内部主要在讨论M3更大的版本训练和M3.1的训练，已经在做大量后训练和实验。整体来说，这方面工作正在积极推进，有很多具体实验在跑，主要聚焦模型结构和训练效果的验证。
Q2：您能详细介绍一下M3之后更大模型的进展、训练反馈和表现特点吗？
A：这个模型体量很大，估计是国内最大的，参数在2.5到3万亿量级。训练已启动大半个月，之前花了1-2个月做数据准备和结构验证。我们的目标是做到国内最好，追赶全球头部三家当前水平。从目前训练来看，loss收敛速度和bench中间表现超出预期，信心较足。这一次我们花了很多精力在数据扩展和结构调度上，验证过程顺利。相较M3代，我们之前引入了sparse attention（内部称MSA），显著降低训练成本，提升效率。现在M3模型升级到MSA2.0，结构创新带来更高效率，整体训练进展良好。
Q3：您怎么看当前国内参数量达到2.5-3T的大模型训练进展和挑战？
A：确实是国内现阶段最大甚至是最具挑战性的模型之一。目前进展顺利，从一线情况判断还是不错的。我们会根据checkpoint和中期指标来监控训练进度，具体何时发布仍需官方安排。按现有节奏，预计暑假后能达到相对成熟阶段，内部对该模型都有很大信心，认为这是一款非常优秀的模型。
Q4：能否阐述一下已发布M3与更大版本模型的架构关联及技术传承？
A：整个架构是有明显关联和传承的。M3引入了sparse机制，我们进一步优化了压缩比，同时确保性能基本不下降。其实我们验证了不是盲目扩大模型参数就能提升效果，而是要科学验证数据扩展和结构设计的效果。新一代模型参数从几百亿扩大到2.5T多，激活规模涨幅较小，说明模型更稀疏，这对计算和信息效率都有好处。数据调度方面的表现也符合预期。我虽没直接参与数据调度细节，但从实验报告中看到一切正常，整体技术传承和优化做得较好。
Q5：请从技术角度说明为何MSA架构能支撑我们的超大模型训练和持续提升表现？
A：从任务本身来说，训练数据长度在显著提升，这导致attention复杂度呈平方级别增长。为解决这个问题，我们尝试了多条路线，最终发现sparse attention（SPA）是更稳健有效的方案。它在保持损失性能的同时，能显著减少计算量，降低长序列任务的大约八倍开销。这对我们规模达到几万亿参数的模型尤其重要。新版本MS2.0在细粒度blocking划分上做了优化，提高了计算效率和力度。整体来说，MSA架构在计算复杂度与效果之间取得了良好平衡，为我们未来训练更大、更复杂模型奠定了坚实基础。
Q6：在选择模型架构时，为什么没有沿用现有被行业验证的架构，而是做了自己的设计？您能详细说明其中的考量和实验依据吗？
A：我们的架构选择并不是基于架构提出者身份，而是基于对架构的充分研究和效果验证。我们在预训练方面的工作较为领先，所有主要架构结构都会经过严格的解释性实验和效果验证。比如，我们用过GQA、MQA、MHA等通用结构，通过实验发现GQA在算力和效果之间能够达到较好的平衡。到了MSA这一代，我们发现之前的full attention的模型在长程任务中开销比较大，带来了很大的开销，未来若不调整，模型状态会难以优化，因此必须选择结构去解决效率问题。我们通过对开源工作的学习和自主结构推导，结合实验结论来决定调整哪些部分，哪些不改动。这一切都是基于技术逻辑和实验数据做出的合理决策，虽然内部细节不便透露，但整体过程逻辑严密且顺畅。
Q7：您认为新架构在什么时间点或阶段能够更明显展现其竞争力？针对M3模型，您怎么看它的后续强化学习和性能迭代表现？
A：M3是一个很好的模型，但可能大家还未完全理解其潜力。类似很多模型，大版本发布时性能未必立刻显现，但随着针对性的强化学习和持续迭代，性能会逐步提升，展现出潜力。关于架构选择，我们有两大约束：一是数据量，若数据量巨大，架构必须能支持持续学习而非快速收敛；二是硬件效率，包括显卡算力、显存、内存等，需最大化利用这些资源。针对M3，目前外界评价有改进空间，主要因为当时发布较急，后训练时间不足。M3预训练基础较好，benchmark表现漂亮，但缺少后续训练导致对复杂任务表现优异、简单任务易错的问题。现在M3.1版通过后续训练基本解决了这些问题。我们会总结经验，在未来版本中进行更大规模数据和更长训练时间的优化。
Q8：目前版本迭代节奏快，基本1-2个月有大更新。您感受现阶段模型的ARR和市场反应如何？后续是否还看好持续优化？
A：关于ARR数据，偏向财务范畴，我掌握有限。但从技术和需求层面来看，模型销量与营收正相关，卖得越多收益越多。我看到近期M3使用量增长较快，内部也一直在上优化和加卡，即使这样，目前高峰期负载偶尔会过载，，表明市场需求和销量保持活跃状态。整体来看，销售和优化仍然保持良性循环，没有明显瓶颈。具体财务数据需官方披露，我们这边只能从技术和流量层面观察，感觉目前走势非常健康。
Q9：从一线角度看，目前模型在coding能力上的表现和提升速度如何？能否结合架构帮我们理解coding能力的爬坡和用户体验情况？
A：关于coding，这确实是目前最受关注的重要方向之一。就模型效果来看，预训练表现还算不错，M3系列有令人惊艳的表现。但M3版本的效果不理想，主要源于后续一些SFT的时间不够，以及数据质量和数量的问题。业内普遍认为，关键还是做好数据量和质量，这部分我们在M3.1阶段已经做得较好，预计能够解决这个问题。从体验角度看，速度表现也是一大亮点。以我们M3模型为例，现在国内最快，每秒大约输出100个token，速度领先同行，同档次主力模型的速度均较慢。这对用户体验非常关键，因为速度快意味着能快速输出成品，体验感差距明显。因此，我从内部视角看，coding能力的提升和体验方面目前都稳妥，不用过于担心，后续也会继续保持优势。
Q10：关于coding中的数据飞轮，有观点认为领先公司能通过积累数据持续领先；另一观点则认为优质数据可能来自不同渠道。您怎么看这两派观点？coding领域先发优势究竟重要吗？
A：关于coding领域的数据飞轮，两派观点都有合理之处。先发优势和持续积累好的数据确实能带来领先，但情况并不绝对。比如GitHub Copilot，作为最早、大规模做coding的项目，它并没有长期领先，说明先发优势在coding领域有限。关键原因在于数据来源：无论是否拥有自有空间产品，数据源丰富与否决定了能不能持续拿到优质数据。此外，coding领域最大的优势是专业背景——我们自己都是程序员，找专家支持较为容易，数据和反馈较为直接。相比某些特定专业领域（如医药）coding领域不依赖难以替代的专家知识。因此，coding领域并非靠先发形成无法突破的壁垒，而是本质上靠数据质量与数量，以及合理利用现有方案，去稳步提升模型表现。这一点是相对确定且可控的。
Q11：您从一线反馈看，M3.1及更大参数模型在coding方面表现和特点如何？对当前和未来coding能力有何展望？
A：关于M3.1及更大参数模型的coding表现，首先在长征任务上会明显提升，这部分任务对模型依赖极大，且我们数据量和质量都有倍数级提升，这让我们对表现充满信心。此外，模型在前端审美方面表现优异，这一特点后续也会继续保持。对于某些专业性偏强的编程问题，我们会持续优化和提升。至于更难的挑战，比如复杂设计和代码扩展问题，M3.1版本在攻克这些难题上会比简单问题有更突出表现，因为简单coding问题现在大多数模型都表现得差不多了。整体来看，我们对coding能力的持续提升持乐观态度，期待新版本发布后有更大突破。
Q12：评估目前M3系列模型与国内外顶级大厂模型的差距和竞争状态，是否已有领先者明显跑出？M3系列的表现和未来展望如何？
A：目前M3.1还在训练阶段，效果还未完全显现。从市场角度大家普遍认为M2.7和M3已经有明显提升，且多家公司都在积极训练和优化模型。从实验数据和使用体验来看，M3.1的表现相当乐观，训练趋势和收敛状况显示其潜力巨大。我们团队对最终效果充满信心，认为M3系列将与海外最强模型在实力上相抗衡。尽管还处于中期训练阶段，还不能下定论，但从当前的数字和拟合情况看，没有理由认为M3会落后于国内任何竞争对手。综上，M3系列正在稳步实现预期目标，市场未来会逐渐明朗，领先优势也有望逐步显现。
Q13：从训练端集群规模和基础设施来看，能否分享我们在集群搭建、性能优化和稳定性提升方面的实际情况和经验？
A：这方面情况还挺超预期的。我们与系统团队紧密合作，经过持续迭代，几个月内就实现了集群的搭建和稳定性提升。体感上来说，我们的自研集群训练体验已经基本达到甚至接近以往大云集群的水平。大云集群的质量本来就比较高，但我们自己搭建的集群成熟度提升快，整体性能和稳定性都很令人满意。尤其是网络组网方案成型和优化速度远超预期，几个月内完成了多次方案调整和稳定性提升工作，这在业内其实是非常厉害的。我们这边能在短时间内搭建出高性能稳定网络，体现了团队的能力和效率。总体来看，训练基础设施的进展为模型训练提供了坚实保障。
Q14：从您作为训练用户的角度，国内外算力获取方面的实际体验如何？尤其是相比其他竞争对手，我们在算力硬件更新和部署上的优势或不足？
A：我个人不太清楚其他公司的具体状态，因为没在他们那边工作过。但据我了解，许多公司还停留在NVIDIA Hopper这一代显卡，而我们基本已经全面升级到了最新一代显卡。这使得我们的研发工作更为简单和统一，大家都基于相同架构开展研究，效率更高。当然，我不敢断言其他公司具体情况，但我们整体在算力硬件上处于相对领先状态。训练端几乎全面迁移到了最新硬件。
Q15：您觉得我们当前算力资源充裕吗？在实际使用过程中是否感到算力资源短缺或有瓶颈？
A：从战略层面来说，我们的算力资源已经足够且配置合理。但如果从实际使用者的角度看，只能说给我多少卡我都能用得完，算力总是用不够的。换句话说，当前算力虽然充裕，但对我来说永远不会觉得过剩。
Q16：关于国产算力产品，您是否参与或了解其应用和适配进展？国产集群在性能和产能方面有哪些实际情况？
A：我们进行了关键方面的验证，结果显示国产算力基本是可用的，但产能上存在一定限制，导致供应不够充裕，产能需要逐步调整和提升。据我了解，到今年第三季度末，我们大概率能搭建出第一个国产集群。
Q17：预计第三季度末投用的国产集群，主要是用于训练还是推理？
A：国产集群预计先用于推理，确保推理稳定运行后才逐步转向训练。大家普遍采取的策略是先稳定地跑推理，再开展训练工作。
Q18：您了解我们内部新一代大模型“海螺”系列吗？能否分享些相关进展或信息？
A：我本人没有直接参与“海螺”系列模型的开发，内部集群和团队较多且划分不同，相关信息不容易直接获取，也平时不常关注细节。不过据我了解，他们已经发布了新版本的模型，整体进展还是比较顺利的。
Q19：之前Mini Max版本模型幻觉率较高，您能介绍新大模型如何减少幻觉及其产生的主要原因吗？
A：这个问题比较明确，幻觉率高主要是因为对模型生成内容自信度缺乏约束。模型需要在保证高质量内容的同时，避免轻率生成不准确的信息。从根本上讲，幻觉问题来源于后训练阶段的约束不够，常见的抑制方法包括后期的微调和强化学习手段。之前M3版本发布较仓促，未能充分压制幻觉。通过收集用户反馈，我们明确了这一点，预计M3.1版将通过优化数据质量和提高数据量，增强训练机制，显著降低幻觉率，效果接近预期。
Q20：请问M3模型采用的百T级数据是如何准备的？动态混合训练是否可能影响Agent或编码能力？
A：数据准备方面，我们非常谨慎，数据来源丰富多样，包括爬虫抓取、购买的数据以及标注数据。实际用于训练的数据量是在总数据量基础上经过严格筛选后的子集。关于多模态动态混合训练，我们的原则是保证多模态能力的增强不会牺牲文本等单一能力，相反，应该互相促进。过程中遇到过一些效果不佳的试验数据，我们会剔除，确保进入训练的数据不会削弱模型原有文本理解和生成能力。总体而言，动态混合训练在增强模型整体理解能力的同时，保持了各项能力的平衡和提升。