阿里云机器学习平台PAI论文入选IJCAI 2022会议
2022-07-25 16:09:48爱云资讯1169
近日,阿里云机器学习平台PAI主导的论文《Parameter-Efficient Sparsity for Large Language Models Fine-Tuning》,大模型参数高效稀疏训练算法PST被IJCAI(International Joint Conference on Artificial Intelligence)2022录取。论文通过减少模型稀疏训练过程中需要更新的参数量,从而减少大模型稀疏训练的时间以及资源开销。
IJCAI(International Joint Conference on Artificial Intelligence)是人工智能领域的顶级国际会议之一,涉及机器学习,计算机视觉,自然语言处理等多个方向。本年度会议投稿超过4500篇,录用率仅为15%,会议于7月在奥地利维也纳召开。此次入选意味着阿里云机器学习平台PAI在大模型优化方向上的研究达到了全球业界先进水平,获得了国际学者的认可,展现了中国深度学习技术在国际上的竞争力。
首个大模型参数高效的稀疏训练算法PST
论文核心内容是通过减少模型稀疏训练过程中需要更新的参数量,从而减少大模型稀疏训练的时间以及资源开销。近几年,越来越多的大模型被提出,这些模型的参数量从百亿到千亿甚至万亿,虽然它们可以达到很高的模型精度,但是过大的模型体积限制了这些大模型的实际落地应用。稀疏作为一个有效的模型压缩手段,可以将大模型压缩到较小的体积,使得它们能够以较少的资源较快的速度运行起来。然而,稀疏训练本身会引入额外的参数,从而使得大模型的稀疏训练需要占用更多的训练资源以及导致训练速度更慢。
针对这一问题,PST提出了一种参数高效的稀疏训练算法,通过分析权重的重要性指标,得出了其拥有两个特性:低秩性和结构性。根据这一结论,PST算法引入了两组小矩阵来计算权重的重要性,相比于原本需要与权重一样大的矩阵来保存和更新重要性指标,稀疏训练需要更新的参数量大大减少。对比常用的稀疏训练算法,PST算法可以在仅更新1.5%的参数的情况下,达到相近的稀疏模型精度。
PST技术已经集成在阿里云机器学习PAI的模型压缩库,以及Alicemind平台大模型稀疏训练功能中。为阿里巴巴集团内部落地使用大模型带来了性能加速,在百亿大模型PLUG上,PST相比于原本的稀疏训练可以在模型精度不下降的情况下,加速2.5倍,内存占用减少10倍。目前,阿里云机器学习PAI已经被广泛应用于各行各业,提供AI开发全链路服务,实现企业自主可控的AI方案,全面提升机器学习工程效率。
论文名字:
Parameter-Efficient Sparsity for Large Language Models Fine-Tuning
论文作者:
李与超、罗福莉、谭传奇、王梦娣、黄松芳、李深、白俊杰
论文链接:https://arxiv.org/pdf/2205.11005.pdf
相关文章
- 阿里云”618创新加速季“开启:先进、领先的大模型限免 超7000万 token,加速多场景 AI 应用落地
- 奥运村街道商会携重点企业参访阿里云,共探AI落地和出海新机遇
- 阿里云全栈AI技术引擎驱动SaaS企业全球化升级 构建出海新范式
- 物联网视频云平台AIRTC上线阿里云!除了兼容90%以上接口,还有三大技术优势
- 份额增速双领跑,阿里云引领中国金融云进入全面智能化新阶段
- 四维图新与阿里云达成战略合作 共筑智能汽车新生态
- TCL与阿里云达成全栈AI合作,显示产业智能化转型全面提速
- 阿里云与华五教学协同中心、超星集团联合发布高校AI实践通识课
- 阿里云携手博登智能升级AI数据标注,打造全栈式数据服务平台
- 从算力升级到场景落地,英特尔与阿里云联手为智能应用开辟 “快车道”
- 智能应用落地慢、成本高?英特尔 + 阿里云给出 “降维打击” 方案!
- 更强劲、更稳定、更划算!阿里云 ECS g9i +英特尔至强 6 处理器,解锁智能应用的 “超现实速度”
- 中国车企加速拥抱公有云,阿里云连续四年稳居第一
- 杭州铭师堂携手阿里云开启AI通识培新,共启AI发展新篇章
- AI火花集|从技术竞速到应用共生,阿里云和AI火花先锋“解锁”中国AI应用的破局之路
- 全球最大线上批发商城与线下商城战略合作,阿里云赋能全球贸易AI时代新篇章
人工智能技术
更多>>人工智能公司
更多>>人工智能硬件
更多>>- 从灵感到成片 三星Galaxy S25 Ultra让影像创作更高效
- 芯原推出经市场验证的ZSP5000视觉核心系列,扩展其面向边缘智能的数字信号处理器IP组合
- 从双城救援到DJI FC100发布:大疆无人机重塑应急救援新方式
- 大朋VR AI眼镜预发布,从 VR 领航者到 AI 穿戴开拓者
- 录音界的“黑科技”!索尼ICD-TX660:专业录音、高效随行
- 重磅!方芯半导体推出国产EtherCAT从站控制芯片,原位替代Microchip LAN9252/9253/9254
- 大疆发布旗舰级运载无人机DJI FC100:80kg载重、9分钟快充,开启无人机运载新时代
- 智能健康领域新突破:Ulook脑机智能眼镜正式上市,重新定义“眼-脑-心理”联动新范式