源2.0-M32大模型发布量化版 运行显存仅需23GB 性能可媲美LLaMA3
2024-08-26 17:15:26AI云资讯153208
源2.0-M32量化版是"源"大模型团队为进一步提高模算效率,降低大模型部署运行的计算资源要求而推出的版本,通过采用领先的量化技术,将原模型精度量化至int4和int8级别,并保持模型性能基本不变。源2.0-M32量化版提高了模型部署加载速度和多线程推理效率,在不同硬件和软件环境中均能高效运行,降低了模型移植和部署门槛,让用户使用更少的计算资源,就能获取源2.0-M32大模型的强大能力。
源2.0-M32大模型是浪潮信息"源2.0"系列大模型的最新版本,其创新性地提出和采用了"基于注意力机制的门控网络"技术,构建包含32个专家(Expert)的混合专家模型(MoE),模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型,大幅提升了模型算力效率。
模型量化(Model Quantization)是优化大模型推理的一种主流技术,它显著减少了模型的内存占用和计算资源消耗,从而加速推理过程。然而,模型量化可能会影响模型的性能。如何在压缩模型的同时维持其精度,是量化技术面临的核心挑战。
源2.0-M32大模型研发团队深入分析当前主流的量化方案,综合评估模型压缩效果和精度损失表现,最终采用了GPTQ量化方法,并采用AutoGPTQ作为量化框架。为了确保模型精度最大化,一方面定制化适配了适合源2.0-M32结构的算子,提高了模型的部署加载速度和多线程推理效率,实现高并发推理;另一方面对需要量化的中间层(inter_layers)进行了严格评估和筛选,确定了最佳的量化层。从而成功将模型精度量化至int4和int8级别,在模型精度几乎无损的前提下,提升模型压缩效果、增加推理吞吐量和降低计算成本,使其更易于部署到移动设备和边缘设备上。
评测结果显示,源2.0-M32量化版在多个业界主流的评测任务中性能表现突出,特别是在MATH(数学竞赛)、ARC-C(科学推理)任务中,比肩拥有700亿参数的LLaMA3大模型。
总之,源2.0-M32大模型量化版在保持推理性能的前提下,显著降低了计算资源消耗和内存占用,其采用的GPTQ量化方法通过精细调整,成功将模型适配至int4和int8精度级别。通过定制化算子优化,源2.0-M32量化版实现了模型结构的深度适配和性能的显著提升,确保在不同硬件和软件环境中均能高效运行。未来,随着量化技术的进一步优化和应用场景的拓展,源2.0-M32量化版有望在移动设备和边缘计算等领域发挥更广泛的作用,为用户提供更高效的智能服务。
相关文章
- Soul全双工语音大模型升级 迭代人机交互体验感
- 模型选型专题系列 | 业界首个!元景MaaS平台上线《大模型选型说明书》
- 获央视点赞 深兰科技AI医疗大模型落地打浦桥街道社区服务中心
- 新达内与百度智能云达成战略合作 联合培养人工智能大模型人才
- 斑马AI大模型:为每个孩子提供专属学习方案
- 打造广东首个地方文献专题处理AI大模型,南沙区图书馆“阿贝数字人”项目重磅上线!
- 商汤大装置跻身中国大模型平台市场头部厂商,万象平台加速AI落地“最后一公里”
- DFRobot 亮相贸泽电子 elexcon 2025 展台,展示与Qwen3 大模型融合的AI 应用
- 旷视赵康:做大模型的“炼金术士”,让AI在千行百业中兑现价值
- 云轴科技ZStack入选IDC大模型推理算力市场报告典型厂商
- 中国具身大模型初创公司眸深智能获得IJCAI2025杰出论文奖,唯一获奖大陆团队!
- 心率血氧监测新玩法:行空板M10融合AI大模型,让数据会“说话”
- 特斯拉在中国市场放弃xAI的Grok大模型 选择接入DeepSeek AI技术
- 昇腾助力中科大团队实现MoE 稀疏大模型并行推理提速超30%
- 聚焦制造业智能化转型 中国科学技术大学依托昇腾突破知识增强大模型关键技术
- 大模型推理成本居高不下,浪潮存储帮你来突围!