“大模型+”趋势已来 Testin云测探索大模型在测试领域应用

国内掀起“百模大战”后,通用大模型不断孵化行业大模型,如今,生成式人工智能(AIGC)的影响力正在向千行百业蔓延,涌现出“大模型+”的技术趋势,一如当年的“互联网+”。

9月22日,2023全球软件质量&效能大会(QECon)上海站正式开幕,来自腾讯、字节跳动、华为、Testin云测、快手、蚂蚁集团、美团等公司的专家担任出品人,一同策划自动化测试、LLM助力下的测试能力创新、金融系统质量保障、车行业质效前沿、云原生质量、音视频测试、数据驱动改进、数智化质量工程等13个分论坛。

在本次大会上,最受关注的话题是AI大模型如何助力软件测试行业提速增效。

大模型尚不能完全替代测试员

在Testin云测CTO陈冠诚看来,大模型代替测试员还有距离,但大模型在测试用例分析、测试需求分析、测试报告解读等文本分析领域已经可以发挥能力。

“测试执行不仅需要调用大模型的多模态能力来理解测试逻辑和图像,还需要与物理世界交互操作,所以大模型暂时还不能替代人工。” 陈冠诚进一步解释道。

陈冠诚向《IT时报》记者透露,目前我们开始探索使用大模型辅助生成代码,我们预估软件开发效率将提升20%至30%。同时,我们也正在测试评估国内、国外的开源大模型能力,尝试用大模型助力测试用例分析、测试需求分析、测试报告解读等软件测试环节,从测试的结果来看,也能达到20%至30%的效率提升。

在2023世界人工智能大会上,用大模型测试大模型的技术趋势已经开始涌现。但放诸垂直行业,大模型的能力还不具备,拿金融行业来说,软件测试的门槛是极高的,测试员不仅要懂软件测试业务逻辑,还要懂金融风控业务规则。“而这些优质的专业训练数据一般都为银行、证券公司、专业软件测试公司所有,而市面上的大模型一般只能拿公开数据训练。” 陈冠诚指出了软件测试大模型的开发先要跨过训练数据这一关,而后要有行业达成共识的测试标准。

金融行业进入智能测试时代

在千行百业拥抱智能测试的过程中,金融行业是最为积极的。以往,金融行业往往存在测试过程管理难、测试效率低、测试人才缺乏、专项测试能力受限等痛点。

国内某某头部券商有多个APP端产品以及PC端系统,建立了较为完善的测试体系,但在实际测试工作的进行中,仍存在测试工作以手工为主、测试人效偏低的情况。由于产品用户数量大,在产品迭代上线后,经常收到关于产品闪退、界面展示不全等兼容性问题。而用上Testin云测的证券行业智能测试解决方案后,这些问题得以解决,并使得该券商发版时间提前了5天以上。

2022年中,Testin云测正式对外发布了首个专属于券商的证券行业智能测试解决方案。该方案可以支持App、Web、PC等多端的测试类型,帮助证券行业将IT系统、软件等问题率降低到最低的同时,测试成本降低30%以上,测试效率提高50%以上。

在助力金融行业进入智能测试时代的背后,是Testin云测深耕软件测试领域十数年的一个缩影。

Testin云测的证券行业智能测试解决方案覆盖测试用例近7000个,总脚本数超过2000个,脚本支持跨双平台(Android+iOS)执行,自动化目标覆盖率达60%以上。以兼容性的问题为例,该方案实现了600款安卓机型、70款苹果全系列机型以及Web端多维度组合的兼容测试问题,测试任务下发24小时之内即可收到反馈测试报告。

5天对于券商行业来说,意味着巨大的投资市场先机。在大模型尚不能完全解决一本正经胡说八道的“幻觉”问题前,券商、银行、汽车、电商、地产、工业等应用软件广泛的行业,测试模式也正在向智能测试一点点升级。

陈冠诚认为,测试行业引入大模型的需求肯定是有的,但底线是安全合规,大模型输出的结果不能违反安全风控规则。

相较于其它参会的互联网厂商,Testin云测是为数不多的第三方测试服务企业,也是业内率先步入全面智能测试的企业,如今,它已在拥抱AI大模型。