百川智能发布超千亿大模型Baichuan3，中文评测超GPT-4

1月29日午间消息，百川智能宣布发布超千亿参数的大语言模型Baichuan 3。在 CMMLU、GAOKAO 和 AGI-Eval 等评测中，Baichuan 3 号称在中文任务上超越了 GPT-4。

据介绍，百川智能在 Baichuan 3 训练过程中提出了“动态数据选择”、“重要度保持”以及“异步 CheckPoint 存储”等多种技术手段及方案，稳定训练时间达到一个月以上，故障恢复时间不超过 10 分钟。

百川智能官方表示，Baichuan 3 还突破“迭代式强化学习”技术，进一步提升了语义理解和生成能力，在诗词创作的格式、韵律、表意等方面进行了提升，对于宋词这种格式多变，结构深细、韵律丰富的高难度文体，生成的内容亦能工整对仗、韵脚和谐，让每个人都能创作出咏物、寄思的五言律诗、七言绝句，写下的言志、抒情的“沁园春”、“定风波”。

据介绍，面向医疗行业，百川智能在模型预训练阶段构建了超过千亿Token的医疗数据集，该数据集涵盖了从理论到实际操作，从基础理论到临床应用等各个方面的医学知识，确保了模型在医疗领域的专业度和知识深度。在对逻辑推理能力及专业性要求极高的MCMLE、MedExam等权威医疗评测上的中文效果同样超过了GPT-4。