腾讯混元大模型亮相:全链路自主研发
2023-09-11 14:43:50爱云资讯
9月7日,在2023腾讯全球数字生态大会上,腾讯首次公开了完全自主研发的通用大语言模型——腾讯混元大模型。得益于全链路自研技术,腾讯混元大模型能够理解上下文的含义,并且有长文记忆能力,可以流畅地进行专业领域的多轮对话。
腾讯从2021年开始,曾先后推出了千亿、万亿级参数模型。经过多年时间的持续研发投入和积累,以及在实际应用中不断地自主研发创新,腾讯目前已经完全掌握了从模型算法到机器学习框架,再到AI基础设施的全链路自研技术。腾讯混元大模型的诞生,也是腾讯在大模型领域多年的积累和探索的成果。
据了解,混元大模型是从第一个token开始从零训练的。通过采用预训练“探真”技术、动态锯齿状注意力机制、位置编码优化、原创思维链策略等创新的大模型算法,使得大模型事实幻觉率相比主流开源大模型减少30%—50%,并让大模型能够真正像人一样识别问题陷阱,并结合实际的应用场景进行推理和决策。
此外,混元大模型还使用了自研的机器学习框架Angel,使得训练速度相比业界主流框架提升1倍,推理速度比业界主流框架提升1.3倍。
得益于在算法、学习框架等各个层面进行的一系列自研创新,混元大模型已经具备良好的可靠性和成熟度,其上下文理解、长文记忆能力和逻辑推理能力表现优秀。
在中国信通院《大规模预训练模型技术和应用的评估方法》的标准符合性测试中,混元大模型共测评66个能力项,在“模型开发”和“模型能力”两个重要领域的综合评价均获得了当前的最高分。在主流的评测集MMLU、CEval和AGI-eval上,混元大模型均有优异的表现,特别是在中文的理科、高考题和数学等子项上表现突出。
腾讯混元大模型是一个从实践中来,到实践中去的实用级大模型。它不仅展示了腾讯在大模型领域的技术实力和创新能力,更体现了腾讯在将人工智能技术应用到实际场景中的探索和实践。通过与产业数据和场景相结合,混元大模型为解决产业痛点带来了全新的思路和方案。
- 腾讯汤道生:夯实云图汽车智能化底座,AI驱动企业全链路升级
- 腾讯云发布汽车行业大模型解决方案,助力产业智能化升级
- 黑芝麻智能与腾讯云签署战略合作,共同推动自动驾驶芯片生态合作
- 腾讯云与元想视界达成战略合作,共建3D视觉交互体验
- 已落后于友商?腾讯游戏收入抛离网易上千亿,海外市场表现强势
- 《开心消消乐》探索AI游戏革新,携手英特尔与腾讯云推动创新!
- 搭载自研文档品类和开物引擎技术,腾讯文档以专业、智能体验重塑生产力
- 港股“回购王”腾讯再发力:Q1日均回购达8.24亿港元,碾压Prosus减持额四倍
- 腾讯云&天融信联合倡议:携手生态伙伴共筑大模型安全防线
- 聚焦整车信息安全合规 腾讯给出新“对策”
- 2024武汉重点数字文化企业·腾讯游戏学堂公开课进高校华科专场顺利开展
- 聚焦中国国际音频产业大会:腾讯音乐与产业伙伴共探AI赋能新答案
- 腾讯游戏安全亮相GDC2024,向全球开发者展现反作弊技术
- AI、脑机接口、大数据,腾讯云携手行业领袖共探新一代数字化转型
- 助力全球企业和开发者们应对多方网络挑战,腾讯云EdgeOne已成企业高质量出海“首选”
- 腾讯2023财报发布,海外游戏收入创新高