2023 CCF国际AIOps挑战赛决赛暨“大模型时代的AIOps”研讨会成功举办

12月16日，2023 CCF国际AIOps挑战赛决赛暨“大模型时代的AIOps”研讨会于北京西郊宾馆成功举办。活动吸引了来自行业内众多一流专家、学者参与，共同探讨和展示了他们在智能运维领域的最新研究成果和技术应用，为智能运维技术的学术研究、生产实践和生态发展打开了新思路和新局面。

本届CCF国际AIOps挑战赛由中国计算机学会（CCF）、清华大学、中国建设银行股份有限公司、南开大学联合主办；CCF互联网专委会、清华大学计算机科学与技术系、中国建设银行股份有限公司运营数据中心、南开大学软件学院、北京必示科技有限公司承办；华为技术有限公司、国网宁夏电力有限公司电力科学研究院、软通动力信息技术（集团）股份有限公司特别赞助支持。

CCF国际AIOps挑战赛由CCF、清华大学和南开大学自2018年联合发起，旨在借助社区力量，运用人工智能算法解决各类运维难题。迄今为止已经成功举办六届，吸引了大量AIOps从业者和关注者，随着赛事规模和影响力的不断扩大，逐渐成为智能运维领域具有影响力的专业赛事。

本届CCF国际AIOps挑战赛更迎来全新升级，开放型赛题吸引了更广泛的参与，共有来自265支队伍的677名选手报名参赛，辐射圈层广泛涵盖产学研用各界行业代表。同时，本次大会采用线下参会＋线上全程直播形式，决赛现场有超300人线下参会，同时有近5万人次观看线上直播。

大会开场，中国计算机学会互联网专委会主任苏金树，中国建设银行运营数据中心副主任常冬冬，南开大学软件学院院长张玉志，华为云核心网网络自动驾驶产品总监韩宁，清华大学计算机系长聘副教授裴丹作为主办方和赞助方代表致辞。

接下来，由清华大学、中国科学院计算机网络信息中心、南开大学、必示科技、中兴通讯、中亦科技、腾讯、华为、联想、国泰君安证券、基石数据、Zabbix中国宏时数据、日志易等多家首批社区成员单位共同发布了国内首个运维大语言模型评测基准OpsEval。中科院计算机网络信息中心副研究员裴昶华对OpsEval的社区定位、榜单结果解读以及后续规划进行了分享。目前OpsEval已经拥有近一万七千道多场景评测题目，评估了十余种主流大模型及其变种，并不断有新的社区成员加入。

接下来的AIOps挑战赛决赛答辩环节，十支入围决赛的队伍分别向评审专家及观众展示各自的方案，并进行了现场答辩。值得一提的是，本届开放型赛题恰逢其时，多支队伍提出了基于大语言模型的智能运维方案，引发了评审专家和观众的热烈讨论。

本届挑战赛决赛由学术届及工业届的资深评审专家组成，邀请中国计算机学会互联网专委会主任苏金树，北京邮电大学计算机学院（国家示范性软件学院）副院长（主持工作）王尚广，南开大学杰出教授张海宁，中国建设银行运营数据中心云计算产品处处长王荔，中国移动研究院主任研究员朱琳，华为5.5G核心网云原生首席架构师姚弋宇，中兴通讯无线及算力研究院算法部部长耿鹏，香港中文大学（深圳）助理教授贺品嘉等8位重量级专家，从多个维度对决赛答辩进行了评议。

经评委认真审议后确定最终名次：字节跳动的SRE－Copilot战队获得本届大赛冠军。华为技术有限公司的轻舟已过万重山、国电南瑞科技股份有限公司的CheerX两支队伍获得亚军。季军获得者分别是：中山大学的DDopS、浙商银行的系统随机生成、亿阳信通股份有限公司aiboco三支队伍。中原银行的zybank_aiops、南开大学的尊嘟假嘟战队、华为技术有限公司的轻舟队、北京城建智控科技股份有限公司的UCI四支队伍获得优秀奖。

同时，大会也为在本届竞赛附加赛活动“龙舟生态节”中取得优胜成绩的龙舟SAAS项目和选手颁奖。以“授渔之道，以舟载云，众擎易举”为主题的龙舟生态节旨在为竞赛选手、龙舟用户提供一个培训交流、一展身手的舞台，并持续探索优秀竞赛方案孵化。

下午的研讨会主题围绕“大模型时代的AIOps”，清华大学计算机系裴丹副教授首先带来主旨演讲。他从大模型时代运维界普遍关注的几个问题开始，提出了大模型时代的AIOps整体框架是“建立多AIOps智能体的人机协同系统”。同时，结合落地挑战以近期、中期、中长期的应用为例，具体回答了大模型时代的AIOps发力方向。最后，他提出了建立OpenAIOpsAlliance社区的建议，构建一个“AIOps领域的HuggingFace”的开放联盟，使大家的数据集和知识能够共享，并呼吁更多的组织和企业加入进来，共同受益。

接下来的“运维大模型论文闪电分享”环节，带来了ESEC／FSE2023、ICLR2023、NeurIPS2023、IWQoS2023、ICSE2024等多场国际会议的优质论文，从大模型应用、指标大模型、日志大模型三个方向分享基于大语言模型的智能运维最新的研究成果和观点。现场南开大学软件学院副教授张圣林、微软主管研究员马明华、清华大学计算机系周煊赫、香港中文大学（深圳）助理教授贺品嘉、莫纳什大学金明、清华大学软件学院吴海旭、东华大学副教授徐波、华为技术专家陶仕敏，分别带来《评估和总结：使用大语言模型提高对故障的理解》、《基于大语言模型的云故障根因分析》、《基于大语言模型的数据库异常诊断系统》、《基于上下文学习的自动化日志语句生成研究》、《Time－LLM：通过重编程大型语言模型进行时间序列预测》、《TimesNet：任务通用的时间序列分析骨干网络》、《SimMTM：时间序列掩码预训练框架》、《KnowLog：基于知识增强的日志预训练语言模型》、《BigLog：面向统一日志表示的无监督大规模预训练方法》、《LogPrompt：面向零样本和可解释性日志分析的提示工程》等顶会论文分享。

华为云核心网自动驾驶网络解决方案首席SE魏宏带来了《核心网运维大模型应用展望》的主题报告。从场景选择、面临挑战以及对未来展望等方面，分享了在向未来5．5G智能化演进过程中，核心网如何结合大模型技术实现运维领域的跨代演进，助力运营运维转型。

圆桌论坛一“运维大模型技术探讨”，由中科院计算机网络信息中心副研究员裴昶华主持，建信金融科技有限责任公司基础技术中心人工智能工程部总经理刘东东、中国移动研究院人工智能与智慧运营中心主任研究员朱琳、华为云核心网网络自动驾驶产品总监韩宁、中兴通讯无线及算力研究院算法部部长耿鹏、腾讯研发效能专家、腾讯研究院特约研究员张乐、亚信科技智能运维产品总监董昭阳、必示科技产品总监温希道共同参与，围绕训练运维大语言模型、指标大模型、日志大模型的必要性，幻觉在实际场景中的影响及解决方案，大模型在AIOps的终极形态等问题，阐述了各自的观点。

圆桌论坛二“运维大模型落地探索”，由IDC金融行业研究总监高飞主持，广通优云总裁刘东海、基调听云研发VP杨金全、日志易产品VP饶琛琳、图灵天问总经理蔡明、基石数据技术总监徐戟（白鳝）共同参与，首先探讨了运维大模型落地需要的前提条件、面临的挑战，然后讨论了何种运维场景应用最有可能成为运维大模型落地的killerapp，最后对大模型时代的运维可观测性将出现的改变发表了各自的见解。

CCF国际AIOps挑战赛至今已举办至第六届，受到了学术界和工业界的广泛关注。本届挑战赛吸引了来自全球的众多优秀队伍参赛，同时也邀请到学术界和工业界的资深专家学者，分享了智能运维的最新进展，发表了对大模型时代AIOps的深刻见解。这些探讨、分享和交流，将为智能运维行业知识共享与技术交流做出显著贡献。