天垓100率先完成百亿级参数大模型训练,天数智芯迎来新的里程碑
2023-06-13 14:38:28爱云资讯
6月10日,在第五届智源大会AI系统分论坛上,上海天数智芯半导体有限公司(以下简称“天数智芯”)对外宣布,在天垓100加速卡的算力集群,基于北京智源人工智能研究院(以下简称“智源研究院”)70亿参数的Aquila语言基础模型,使用代码数据进行继续训练,稳定运行19天,模型收敛效果符合预期,证明天数智芯有支持百亿级参数大模型训练的能力。
图 天数智芯产品线总监宋煜
在北京市海淀区的大力支持下,智源研究院、天数智芯与爱特云翔共同合作,联手开展基于自主通用GPU的大模型CodeGen(高效编码)项目,通过中文描述来生成可用的C、Java、Python代码以实现高效编码。智源研究院负责算法设计、训练框架开发、大模型的训练与调优,天数智芯负责提供天垓100加速卡、构建算力集群及全程技术支持,爱特云翔负责提供算存网基础硬件及智能化运维服务。
图 天数智芯大模型训练全栈方案
在三方的共同努力下,在基于天垓100加速卡的算力集群上,100B Tokens编程语料、70亿参数量的AquilaCode大模型参数优化工作结果显示,1个Epoch后loss下降到0.8,训练速度达到87K Tokens/s,线性加速比高达95%以上。与国际主流的A100加速卡集群相比,天垓100加速卡集群的收敛效果、训练速度、线性加速比相当,稳定性更优。在HumanEval基准数据集上,以Pass@1作为评估指标,自主算力集群训练出来的模型测试结果达到相近参数级别大模型的SOTA水平,在AI编程能力与国际主流GPU产品训练结果相近。
图 基于天垓100算力集群的AquilaCode大模型训练性能采样
天垓100率先完成百亿级参数大模型训练,迈出了自主通用GPU大模型应用的重要的一步。这一成果充分证明了天垓产品可以支持大模型训练,打通了国内大模型创新发展的关键“堵点”,对于我国大模型自主生态建设、产业链安全保障具有十分重大的意义。
接下来,天数智芯将与合作伙伴们继续深入合作,建设更大规模的天垓100算力集群,完成更大参数规模的大模型训练,以自主通用GPU产品更好支持国内大模型创新应用,进一步夯实我国算力基础,助力人工智能产业自主生态建设。
- 品高软件AI大模型融合平台技术研讨会圆满落幕!
- 讯飞星火V3.5春季上新,科大讯飞首发星火图文识别大模型
- 海鑫科金与百度智能云深化合作 | 共探行业大模型应用
- AI大模型持续演进引领科技浪潮,苹果/微美全息积极布局激发发展新动力
- 中科视语亮相2024中关村论坛,共论大模型驱动行业创新与发展
- 久其女娲平台2.0全新升级!AI大模型加速,赋能政企数治未来
- 百望云发布金盾企业经营大模型,暨光明食品、法雷奥、西奥电梯财税数字化实践分享
- 科大讯飞发布业界首个长文本、长图文、长语音的大模型,讯飞星火科研助手再升级
- 大模型破局企业AI营销,衔远科技推出MODI摹小仙AI营销大脑
- 大模型扬帆启航新征程,微美全息加速AIGC技术攻“尖”拓展应用边界
- 科大讯飞2023年净利润同增超17%,大模型商业效应开始显现
- 小米SU7引爆北京车展,车企纷纷“上车”通义大模型
- 最早入局大模型,出门问问IPO第二日市值逼近60亿元
- 颜水成挂帅,昆仑万维2050全球研究院联合NUS、NTU发布Vitron,奠定通用视觉多模态大模型终极形态
- CCBN2024|讯飞星火大模型助力产品创新,引领广电视听新体验
- 华为开发者大会2024发布邀请函,盘古大模型又双叒叕要上新了?