性能提升30%!中国电信进一步开源12B星辰大模型
2024-04-16 21:31:15爱云资讯838
近日中国电信开源12B参数规模星辰语义大模型TeleChat-12B,相较1月开源7B版本,内容、性能和应用等方面整体效果提升30%,其中,多轮推理、安全问题等领域提升超40%。在C-eval、MMLU、AGIEVAL等国际权威榜单上,排名处于国内同级别参数开源模型的前列,进一步促进大模型开源生态繁荣,助力AI产业加速高质量发展。另据悉,中国电信将于年内开源千亿级参数大模型。
中国电信人工智能研究院(TeleAI)坚持完全自研自主可控,在中国电信首席技术官、人工智能首席科学家、TeleAI院长李学龙带领下,加快研发创新,不断优化底层模型结构,解除Word Embedding与lmhead共享参数,有效提升模型稳定性和训练效果,并基于精细化的CheckPoint效果验证,进行动态的数据配比优化调整,大幅提升模型训练效果。
海量高质量数据是保证大模型效果的基础,TeleChat-12B将7B版本1.5T训练数据提升至3T,优化数据清洗、标注策略,持续构建专项任务SFT(监督微调)数据,优化数据构建规范,大大提升数据质量;同时,基于电信星辰大模型用户真实回流数据,优化奖励模型和强化学习模型,有效提升模型问答效果。
TeleAI通过更彻底地开源推动大模型技术进步和大模型国产化进程。此次开源提供基础模型以及基于相应版本的对话模型、不仅支持传统的全量参数更新还支持 LoRA 等只更新部分参数的高效微调方法、支持Deepspeed微调、支持int8、int4量化和国产芯片训练推理,推动大模型国产化进程。
加速探索创新的同时,星辰大模型也在深入推动人工智能与各行各业的融合,积极探索新兴的应用场景。星辰语义大模型已应用于行文写作、代码编程、网络故障分析以及经营分析等场景,以行文写作为例,其平均生成字数超过1500字,有效采纳率达到85.7%;在对外企事业单位客户的业务中,星辰语义大模型支持企业经营分析、政务公开咨询、民生诉求接待等场景,可覆盖95%的实际业务场景,多轮理解准确率达到90%。除传统行业应用场景,星辰大模型积极探索前沿领域应用,赋能具身智能,解决无人机编排投入多、开发量大的问题,实现无人机智能编排轻量化建设。
据悉,星辰大模型已广泛应用落地,赋能千行百业转型升级。客服大模型在全国试点上线18个服务场景,充分赋能智慧客服和数字人,在激活十亿级的日志、百亿级的网络参数等海量数据资产的基础上,进一步深化智能化运营;星辰政务大模型已落地某市民生诉求场景,为市民提供在线文本问答服务,提升政务服务能力,提高市民满意度;星辰经分大模型已落地某市经信局行业大模型,利用大模型生成能力快速草拟相关产业研究报告,简化知识检索流程,快速、精准查询所需知识内容,以便迅速、准确地掌握发展动态,支持决策过程,并追踪全球经济形势和科技创新,满足迫切的产业洞察和分析需求。
相关文章
- 青云AI算力云上新 Qwen3-30B-A3B,大模型 API 一键调用
- 聚焦大模型训练效率提升 北大依托昇腾突破细粒度混合并行技术
- 智云健康AI大模型新突破,助力妊娠期糖尿病干预成果登国际顶刊
- 央国企大模型落地难题频现,科大讯飞知识工程平台何以破局?
- WAIC2025:澳鹏发布新一代技术平台矩阵 助力大模型垂直应用落地
- 值得买科技CTO王云峰出席WAIC 2025智谱大模型论坛:让模型能力在场景中兑现价值
- 科大讯飞以自主可控技术突破 加速定义国际大模型新生态
- 引领大模型推理效率革命!浪潮存储发布国内首款推理加速存储AS3000G7
- SuperCLUE测评榜单第一!骄阳·工业大模型正式发布
- 中国移动助力中国中化发布央企首个AI+农业种植领域大模型
- 2025中国互联网大会|大模型安全发展论坛暨中国电信第五届科技节·北京站成功举办
- 大模型品牌全新升级,京东JoyAI加速走向深度应用
- “光明大模型”领航能源革命——国家电网WAIC 2025展示AI赋能新型电力系统中国方案
- 亿咖通科技亮相2025世界人工智能大会,以舱驾融合领跑AI大模型应用市场
- 端侧大模型迎来“轻“革命:移远通信 × RWKV 打造“轻量AI大脑“
- 从智鑫多维到Agentic大模型:易鑫亮相WAIC彰显金融科技实力
人工智能技术
更多>>人工智能公司
更多>>人工智能硬件
更多>>- 技嘉 M27Q2 QD 高清2K 量子点电竞显示器正式上市
- 新型Xsens Avior OEM IMU,体积小、重量轻,可在苛刻的工作条件下提供高精度和高稳定性
- 从 “认知优势” 到现实赋能:DPVR AI Glasses 重构智能穿戴价值
- 韶音闪耀2025ChinaJoy:OpenDots ONE斩获黑金奖,引领开放聆听新风尚
- IBM调研报告:13%的企业曾遭遇AI模型或AI应用的安全漏洞
- 国内首证!驰芯半导体CX500车规级UWB SoC芯片通过FiRa Core 3.0认证
- 解锁AI新玩法 三星Galaxy Z Flip7带来升维的智能体验
- 昇腾赋能三维生成新突破!浙大团队实现跨模态可控3D CAD建模