超算云
AI智算云文心4.5开源 × 北京超算：无界“模”力，即刻开跑！
6月30日，百度正式开源文心大模型4.5系列模型，作为文心开源模型平台伙伴，北京超算AI智算云平台在开源首日即打通云端部署链路，在“模型及服务（MaaS）”平台大模型广场上线文心开源4.5系列模型，为开发者们打造“算力驱动型”大模型落地新范式。
文心4.5系列模型开源说明及能力
此次文心4.5系列开源模型共10款，涵盖了激活参数规模分别为47B和3B的混合专家（MoE）模型（最大的模型总参数量为424B），以及0.3B的稠密参数模型。
针对 MoE 架构，百度提出了一种创新性的多模态异构模型结构，通过跨模态参数共享机制实现模态间知识融合，同时为各单一模态保留专用参数空间。此架构非常适用于从大语言模型向多模态模型的持续预训练范式，在保持甚至提升文本任务性能的基础上，显著增强多模态理解能力。
文心4.5系列模型均使用飞桨深度学习框架进行高效训练、推理和部署。根据百度公开的测试结果，在大语言模型的预训练中，模型FLOPs利用率（MFU）达到47%。实验结果显示，该系列模型在多个文本和多模态基准测试中达到SOTA水平，在指令遵循、世界知识记忆、视觉理解和多模态推理任务上效果尤为突出。模型权重按照Apache 2.0协议开源，支持开展学术研究和产业应用。此外，基于飞桨提供开源的产业级开发套件，广泛兼容多种芯片，降低后训练和部署门槛。
文心4.5系列开源模型核心技术亮点
01 多模态混合专家模型预训练
文心4.5通过在文本和视觉两种模态上进行联合训练，更好地捕捉多模态信息中的细微差别，提升在文本生成、图像理解以及多模态推理等任务中的表现。为了让两种模态学习时互相提升，百度提出了一种多模态异构混合专家模型结构，结合了多维旋转位置编码，并且在损失函数计算时，增强了不同专家间的正交性，同时对不同模态间的词元进行平衡优化，达到多模态相互促进提升的目的。
02 高效训练推理框架
为了支持文心4.5模型的高效训练，百度提出了异构混合并行和多层级负载均衡策略。通过节点内专家并行、显存友好的流水线调度、FP8混合精度训练和细粒度重计算等多项技术，显著提升了预训练吞吐。推理方面，百度提出了多专家并行协同量化方法和卷积编码量化算法，实现了效果接近无损的4-bit量化和2-bit量化。此外，百度还实现了动态角色转换的预填充、解码分离部署技术，可以更充分地利用资源，提升文心4.5 MoE模型的推理性能。基于飞桨框架，文心4.5在多种硬件平台均表现出优异的推理性能。
03 针对模态的后训练
为了满足实际场景的不同要求，百度对预训练模型进行了针对模态的精调。其中，大语言模型针对通用语言理解和生成进行了优化，多模态大模型侧重于视觉语言理解，支持思考和非思考模式。每个模型采用了SFT、DPO或UPO（Unified Preference Optimization，统一偏好优化技术）的多阶段后训练。
马上登录ai.blsc.cn
体验文心4.5超能“模”力
【API申请及使用步骤】
1.登录北京超算AI智算云-大模型平台https://ai.blsc.cn/#/lms/model
2.打开【模型广场】，选择文心模型，点击“申请API”即可跳转至API密钥创建页面，密钥可支持本平台所有模型~
注：可点击申请Tokens后免费体验~
3.选择Chatbox、Cherry Studio、代码接入等多种使用方式，均可完成接入使用~
详细接入手册，可参考平台【大模型平台使用指南-API使用文档】
无界“模”力，即刻开跑！
百度文心开源，开放生态迈出关键一步。北京超算以首日接入的迅捷响应，彰显平台级伙伴的担当。依托超算架构的算力融合调度优势与千卡级集群服务经验，北京超算AI智算云平台将为文心模型提供高质量、高性能、高性价比的算力服务支持。开发者无需担忧硬件适配与资源瓶颈，即可调用文心领先的多模态理解与复杂推理能力，专注场景创新。这种“开放模型+共享算力”的双轮驱动，正加速打破AI落地的藩篱——让前沿的模型，跑在高效的算力之上；让最灵感的创造，获得最坚实的支撑。
无界“模”力，即刻开跑！中国AI创新的燎原之势已然可期，北京超算将与百度飞桨及广大开发者并肩，以开放、协同、共赢之姿，共拓大模型赋能的千行百业！
相关阅读
