大学生从零打造AI大模型，ASC22超算竞赛发出极限挑战

2022 ASC世界大学生超级计算机竞赛（ASC22）已进入预赛阶段。来自全球各地的300多支参赛队伍正在挑战一道人工智能难题 -- AI语言大模型。组委会提供了100GB高质量中文数据集，要求参赛队基于此数据集实现一个47亿参数的“源”AI语言大模型，以此激发参赛大学生对自然语言处理的兴趣与创造力，激励他们向这一人工智能“皇冠上的明珠”发起冲击。

AI大模型以其优秀的精度表现以及在应用中较高的智能化水平，成为了当今人工智能研究的热点。李飞飞教授联名发表的论文中提出，AI大模型的意义在于突现和均质，突现意味着通过大模型隐含的知识和推纳可带来让人振奋的科学创新灵感，而均质则表示大量模型可以为诸多应用任务泛化支持提供统一强大的算法支撑。

过去一年中，AI大模型领域涌现出了一批优秀成果，如“源1.0”、“威震天·图灵”。这些大模型不但能胜任传统的自然语言处理任务，还会写诗、编程、写小说、写论文摘要等等，在医疗、金融、零售、气象、新闻传播、文学艺术等领域表现出了广阔的应用前景。

虽然大模型拥有巨大的发展潜力和应用前景，但同样面临着算力挑战。以“源”为例，其采用2128颗加速器训练了16天，算力开销巨大。于是，分布式训练性能优化成为大模型研究的重要方向。

ASC22组委会提供了100GB高质量中文数据集，要求参赛队基于这一数据集实现一个47亿参数的“源”AI语言大模型。但是，组委会并未提供大模型设计的参考代码。这就意味着参赛队需要从零开始，自行完成模型结构构建和全部训练过程，并合理设计模型训练策略，以期得到最佳的计算性能。因此，这道赛题也变得更具挑战性：在追求极致性能的同时，还要满足精度约束，这也是在实际大模型研发中，行业人士经常会面临的关键问题。

正如ASC发起人、中国工程院院士王恩东所说，随着人工智能与算力的完美融合，计算正在向智算演变，可能让下一代超级计算机成为超级智算机，它不仅是计算性能的数量级跃升，同时也能更好地集成机器学习和物理建模。因此，ASC22将自然语言处理这个高性能计算和人工智能完美结合的前沿应用设为赛题，将成为参赛队比拼AI与超算融合能力的绝佳试验场。

AI大模型赛题专家、浪潮人工智能研究院首席研究员吴韶华表示，这道赛题瞄准的是分布式训练性能优化方向，要求参赛队伍在100GB的数据集上完成10亿个令牌的训练，在满足精度的条件下，性能越快，得分越高。而训练性能的提升，将直接降低大模型的训练开销、降低集群能耗，进而降低碳排放。希望通过该赛题，参赛队伍能对自然语言处理领域的前沿研究形成清晰的认知，并且通过创新实践，找到具有普适意义的方法，取得计算性能上的突破。

ASC世界大学生超算竞赛由中国发起组织，并得到亚洲及欧美相关专家和机构支持，旨在通过大赛平台推动各国及地区间超算青年人才交流和培养，提升超算应用水平和研发能力，发挥超算的科技驱动力，促进科技与产业创新。ASC超算大赛迄今已举行至第10届，吸引超万名世界各国大学生参赛，是全球最大规模的超算竞赛。在最新的2022年赛季，来自世界各国的300多支队伍报名参赛，经初赛选拔的队伍将参加5月7日-11日在位于合肥的中国科学技术大学举行的总决赛。