快手主导研究成果SAMP入选人工智能顶会EMNLP2023
2023-12-16 11:43:33爱云资讯
随着深度学习模型在自然语言处理等领域的广泛应用,模型推理速度和性能成为关键问题。近日,由快手主导的研究成果《SAMP:基于自适应混合精度的训练后量化模型推理库》成功入选该领域顶级会议EMNLP 2023,并于新加坡现场展示和分享。
该研究提出了一种名为SAMP的推理加速工具,通过自适应混合精度技术,在保持模型性能的同时,显著提高推理速度。其中包含自适应混合精度编码器和一系列先进的融合策略。自适应混合精度编码器可以在大量的通用矩阵乘法(GEMM)运算和Transformer层中找到最佳浮点定点混合精度组合方式,使模型推理的性能最贴近用户需求(计算精度或推理效率)。最终,混合精度计算取得了比全定点计算更好的计算精度。融合策略对embedding算子和量化相关计算操作进行融合改进,使得 CUDA 内核调用减少一半。同时,SAMP是由C++编程语言实现的端到端工具包,具有出色的推理速度,也降低了训练后量化推理的工业应用门槛。
表1:SAMP与同类系统相比的创新点
SAMP具有以下几项主要亮点:
1.自适应。SAMP 在训练后量化推理方法中平衡计算精度和延迟性能。用户可以针对不同的任务选择合适精度和推理延迟的混合精度配置。SAMP还可通过自适应分配方法推荐给用户最佳的量化组合模式。
2.推理效率。在较宽的精度范围(浮点到定点)中,SAMP 显示出比其他推理工具包更好的推理加速。在中文语言理解测评基准(CLUE)分类任务数据集中,与FasterTransformer相比,SAMP实现了高达1.05-1.15倍的加速。
3.灵活性。SAMP 涵盖众多下游任务,如分类、序列标记、文本匹配等。 Target 模块是可扩展的并且可以灵活定制。它对用户友好且对平台依赖性较低。 SAMP 支持 C++ 和 Python API,仅需要 CUDA 11.0 或更高版本即可。 另外,SAMP也提供了许多模型转换工具,支持不同格式模型之间相互转换。
图1:该论文在EMNLP2023现场展示和分享
主要研究者来自快手的田荣表示,能在模型推理这样的场景下取得佳绩是整个团队共同努力的结果,SAMP的贡献主要在三个方面,首先是解决了现有后量化(PTQ)推理工具在工业应用中精度损失大的问题;第二是推动了后量化(PTQ)技术在 NLP 多个下游任务中大规模使用;同时,该推理库还有轻量、灵活,对用户友好的特点并支持用户自定义任务目标。
据悉,EMNLP(Empirical Methods in Natural Language Processing)是自然语言处理和人工智能领域的顶级国际会议之一,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力,此次入选也意味着快手在该领域的研究成果获得了国际学者的认可。
- 快手主导研究成果SAMP入选人工智能顶会EMNLP2023
- “AIGC智算之道“圆桌对话: 浪潮信息+百川+快手+金山办公
- 宿华:快手想要为用户和社会创造长期价值
- 容声冰箱上演“隐身玩法”,快手挑战赛趣味来袭
- 快手创始人宿华:让平凡变得不平凡
- 追觅快手超品日主题活动,产品销售额突破3950万元
- 强强联合!快手携 NVIDIA 打造数字人圣诞专场 开创直播新纪元
- 快手联合惠普打造“出手即高手”,以达人原生内容圈粉年轻创作群体
- 快手发布《电子商务智能客服技术要求》企业标准,持续提升商户和用户体验
- iQOO快手直播间购机权益来袭!购性能新机更有盘子女人坊好礼等你拿
- 游戏体验天花板iQOO Neo6新品上市,上快手直播间抽200元免单
- 广电总局联合8家头部平台打造年度盛典 快手为普通人打通展现自我新通道
- 扫拖机器人新锐品牌yeedi一点登顶 抖音、快手、拼多多等新兴电商
- iQOO 9系列上线快手超级打新日!下单有机会赢iQOO新年礼盒
- 上快手购iQOO Neo5超划算!不止加赠耳机,更可赢千元电竞礼包
- 在快手、苏宁等平台拿下第一!iQOO这匹双11黑马太猛了