摩尔线程成功构建中国首个全国产千卡千亿模型训练平台

摩尔线程成功构建中国首个全国产千卡千亿模型训练平台

大模型智算加速卡MTT S4000（图片来源：摩尔线程）

在被美国列入“实体清单”下，摩尔线程成功构建中国首个全国产千卡千亿模型训练的智算中心平台。

钛媒体App获悉，12月19日下午，国内GPU（图形处理器）芯片设计公司摩尔线程在北京发布其首款大模型智算加速卡MTT S4000，以及专为千亿参数大模型训练和推理提供强大支持的摩尔线程KUAE平台。

其中，摩尔线程首款大模型智算加速卡MTT S4000，采用第三代MUSA内核，单卡支持48GB显存和768GB/s的显存带宽，片间互联为240GB/s，TF32精度下算力为，FP16/BF16精度下算力达，INT8精度下达到200 TOPS，而且拥有自研开发工具以及MUSA平台等软件栈。

摩尔线程的KUAE智算中心支持千亿参数模型的预训练、微调和推理，主要是70B到130B参数的大模型训练，线性加速比均可达到91%，算力利用率基本保持不变。此外，摩尔线程KUAE千卡集群支持长时间连续稳定运行，支持断点续训，最高达3096块GPU显卡，FP16算力最高达300P。

以2000亿训练数据量为例，利用摩尔线程KUAE智算中心，智源研究院700亿参数模型可在33天完成训练；1300亿参数规模的模型可在56天完成训练。

摩尔线程CEO张建中表示，摩尔线程KUAE智算中心的正式启用是公司发展的重要里程碑。摩尔线程构建了从芯片到显卡到集群的智算产品线，依托全功能GPU的多元计算优势，旨在满足不断增长的大模型训练和推理需求，以绿色、安全的智能算力，大力推动AIGC、数字孪生、物理仿真、元宇宙等多模态应用的落地。

摩尔线程称，这是国内落地的首个以国产全功能GPU为底座的大模型智能算力训练平台。

据悉，摩尔线程成立于2020年10月，团队成员主要来自英伟达、AMD、Arm公司等。2021年11月，摩尔线程宣布完成A轮20亿元人民币融资，由上海国盛资本、五源资本、中银国际旗下渤海中盛基金联合领投，建银国际、前海母基金、招商证券和湖北高质量发展产业基金等九家机构联合参投；2022年12月，摩尔线程宣布完成15亿B轮融资，由中移数字新经济产业基金、和谐健康保险领投，典实资本等跟投。

产品方面，在此之前，摩尔线程已发布多款产品，包括国产消费级显卡产品MTT S80、MTT S70等，重点在图像渲染，主要用于娱乐与创作领域。另外，摩尔线程还面向数字办公、专业用途推出相应GPU产品，用于商用市场领域。

今年10月17日，美国商务部下属工业安全局（BIS）发布新一轮芯片管制新规，收紧AI芯片出口管制，并将摩尔线程、壁仞科技及子公司等13家中国公司加入“实体清单”。彼时，摩尔线程发布声明称，公司严格遵守相关国家和地区的法律、法规，对此表示强烈抗议。

今年11月中旬，摩尔线程完成B+轮融资，金额为数亿元人民币，注册资本增长约61.5万元人民币，新增股东包括厚雪资本、中和资本、拓锋投资、策源资本和恒基浦业等。这是摩尔线程成立以来的第四轮融资。

此次在北京发布的摩尔线程大模型智算加速卡MTT S4000，采用第三代MUSA内核，单卡支持48GB显存和768GB/s的显存带宽。基于摩尔线程自研.0技术，MTT S4000可以支持多卡互联，同时提供先进的图形渲染能力、视频编解码能力和超高清8K HDR显示能力，在AI计算、图形渲染、多媒体等场景中落地。而且，借助摩尔线程自研开发工具，MTT S4000计算卡可以充分利用现有CUDA软件生态，实现CUDA代码零成本迁移到MUSA平台。

摩尔线程KUAE智算中心解决方案则是基于MTT S4000和双路8卡GPU服务器MCCX D800，集群支持从单机多卡到多机多卡，从单卡到千卡集群的无缝扩展，是以全功能GPU为底座的软硬一体化的全栈解决方案，旨在以一体化交付的方式解决大规模GPU算力的建设和运营管理问题。该方案可实现开箱即用，大大降低传统算力建设、应用开发和运维运营平台搭建的时间成本，此次发布的摩尔线程KUAE千卡模型训练平台，建设周期只需30天，可实现快速投放市场开展商业化运营。

另外，摩尔线程还联合中国移动北京公司、中国电信北京分公司、联想、世纪互联、360、京东言犀、智谱AI、网易、清华大学、复旦大学、浙江大学、北京理工大学等多家国内公司发起并成立摩尔线程PES-KUAE智算联盟和摩尔线程PES-大模型生态联盟。

摩尔线程表示，未来，公司将以MUSA为中心的软硬一体化大模型解决方案，积极与广泛的生态伙伴开展兼容适配及技术调优等工作，共同推动国产大模型生态全面发展。

（本文首发钛媒体App，作者｜林志佳）