摩尔线程携手无问芯穹:0到1端到端大模型实训在国产GPU首次突破
摩尔线程联合无问芯穹宣布,线程携手芯穹型实训国双方在近日正式完成基于国产全功能GPU千卡集群的无问3B规模大模型实训。该模型名为“MT-infini-3B”,到端到端大模在摩尔线程夸娥(KUAE)千卡智算集群与无问芯穹AIStudio PaaS平台(https://cloud.infini-ai.com/aistudio)上完成了高效稳定的首次训练。本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的突破可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的线程携手芯穹型实训国新范式。 MT-infini-3B模型训练总用时13.2天,无问经过精度调试,到端到端大模实现全程稳定训练不中断,首次集群训练稳定性达到100%,突破千卡训练和单机相比扩展效率超过90%。线程携手芯穹型实训国目前,无问实训出来的到端到端大模MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上训练而成的首次其他模型,在C-Eval,突破MMLU,CMMLU等3个测试集上均实现性能领先。 MT-infini-3B性能表现 无问芯穹联合创始人兼CEO夏立雪表示:“国内大模型与国产芯片的软硬件协同发展,最终目标是构建一个成熟的生态系统。无问芯穹正在打造‘M种模型’和‘N种芯片’间的‘M×N’中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,而‘MT-infini-3B’的训练是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。” 摩尔线程创始人兼CEO张建中表示:“无问芯穹在夸娥千卡智算集群上实现的从零开始的大模型训练,不仅是对摩尔线程技术实力的有力认证,更是实现了国内大模型训练的国产化闭环。摩尔线程夸娥千卡智算集群以全功能GPU为底座,提供软硬一体化的全栈解决方案,具备高兼容性、高稳定性、高扩展性等综合优势,我们致力于成为AGI时代大模型训练坚实可靠的先进基础设施。” 此前,摩尔线程与无问芯穹已达成深度战略合作。无问芯穹大模型开发与服务平台“无穹Infini-AI”和摩尔线程大模型智算千卡集群夸娥已完成系统级融合适配,该平台可以灵活调用夸娥的集群能力以完成大模型的训练、微调与推理任务。未来,双方还将开展更多适配与测试,推动国产大模型技术的快速发展与应用普及,为中国人工智能产业的蓬勃发展贡献力量。
- 最近发表
- 随机阅读
-
- 乳糖酶添加剂对早产儿乳糖不耐受有效性和安全性的前瞻性随机对照研究(一)
- 【專訪】聲色Sounds Good主理人林珮如:不只要保留這些黑膠唱片,希望能讓更多人聽到屬於自己的青春
- 瓦基《只工作、不上班的自主人生》:懂得放棄的人不是魯蛇,而是贏家
- Google發表人工智慧聊天機器人Bard,迎戰ChatGPT
- 营销员、保洁员…为何这些从业门槛较低岗位总缺人
- 泰國警察形象一直都負面的嗎?泰國警察地位如何從備受敬仰到一落千丈
- 「二月先生」捎來的禮物:童年無法改變,但我們可以用不同的方式經驗它
- 香港與中國大陸「全面通關」:開放所有口岸、不設人數限制、「南下」免核酸檢測
- “名校父母”运营号营造教育焦虑 博主的话可信吗?
- 【影評】《奇異博士2》如果交給李安執導,能不能成就《臥虎藏龍》的經典?
- 音樂家壓力爆棚!貝多芬精神備受煎熬、舒曼企圖跳河自殺,心理師教你如何排解紓壓?
- 《魔鬼詩篇》作者魯西迪遇刺後推出新作《勝利之城》,透露精神創傷寫作變得「非常艱難」
- 溶剂萃取法纯化迷迭香酸研究(一)
- 「自然產 vs. 剖腹產」到底該如何選擇?生產流程、優缺點一次看
- 評《流雲抄》賦法特徵與李日康自我技藝觀(下):李日康的多重影分身與自我技藝
- 張錫銘18次假釋遭駁回上訴再敗定讞,監所關注小組:假釋標準不明,將繼續聲請釋憲
- 安徽合肥入选首批10个国家知识产权保护示范区名单
- 【小說】葉揚《安然與實恩》選摘:當袁實恩看見鄭安然的時候,他立刻就感覺到同一族類的氣息
- 渡渡鳥滅絕逾300年,科學家盼藉科技讓牠復活
- 【小說】《奶奶的夏威夷祭祀》選摘:帶上這一千多本書,就可以忍受與大姑和小姑們的旅行了
- 搜索
-
- 友情链接
-