谷歌:人工智能可以自动完成文本摘要
2020-01-05 10:19:35爱云资讯
自动文本摘要是机器学习算法正在努力的方向之一,微软近期发布的相关论文也表明了这一趋势。对于那些每天要阅读大量文字信息的工作者们来说,这是一个值得庆贺的好消息。有调查显示,这类工作者每天仅在阅读信息上就要花费大约2.6小时。
相应的,Google Brain和伦敦帝国理工学院的一个团队构建了一个系统——Pegasus(Pre-training with Extracted Gap-sentences for Abstractive Summarization Sequence-to-sequence),它使用了谷歌的变形金刚架构,结合了针对文本摘要能力的预训练目标。据称,它在12种测试中均达到了达到最先进的水平,这些测试包括了科学、故事、电子邮件、专利和立法法案等。不仅如此,它在材料缺乏的文本整合测试中也表现惊人。
正如研究人员指出的那样,文本摘要的目的是总结输入的文档,生成其准确和简洁的摘要。
抽象的摘要也不是简单地从输入的文本中复制粘贴文字的片段,而是会产生新单词或总结重要信息,从而使输出的语言保持流畅。
变形金刚是Google Brain (谷歌的人工智能研究部门)的研究人员在介绍的一种神经结构。
它提取特征以及学习做出预测的方式和所有的深度神经网络一样:神经元被安排在相互连接的层中,这些层传递着输入数据的信号,调整每个连接的权重。
但变形金刚架构又有其独特之处:每个输出元素和每个输入元素都有连接,并动态计算它们之间的权重。
在测试中,研究小组选择了表现最佳的Pegasus模型,该模型包含了5.68亿个参数。它有两个训练材料。一个是从3.5亿个网页中提取出来的文本,有750GB。还有一个训练材料则覆盖了15亿篇新闻类型的文章,总计3.8TB。研究人员说,在后者的情况下,他们用白名单域来植入网络爬虫工具,覆盖了质量参差不齐的内容。
根据研究员的说法,Pegasus生成的摘要语言非常优秀,流畅性和连贯性都达到了高水准。此外,在文本匮乏的环境中,即使只有100篇示例文章,它生成的摘要质量与在20,000到200,000篇文章的完整数据集上训练过的模型相当。
- 多模态成新“时尚” 谷歌OpenAI万兴科技等出奇招探索多模态能力及应用
- 谷歌将探索AI写作,小美AI城惊艳亮相:AI世界中挑战与机遇并存
- 妙鸭相机海外同款火了 万兴科技旗下“Pixpic”登陆谷歌商店
- 谷歌开发者大会带来升级版Starline,微美全息推进3D显示+全息技术引领新高潮
- TalentOrg携手谷歌、爱点击,共探全球化发展策略
- 谷歌翻译现支持翻译图片内文字
- 谷歌折叠手机Pixel Fold首次在街头被发现
- 中国版“ChatGPT”真的来了,百度、微软、谷歌谁能突围?
- 谷歌Pixel Fold最新外观细节曝光:内外屏参数变化 相机模组造型熟悉
- 传音与谷歌建立全球战略合作伙伴关系,共推新兴市场数字化发展
- Poly博诣多款产品获谷歌及微软认证 加持混合办公生态
- 谷歌明年推8Gbps宽带服务 上行也不限速
- 谷歌Pixel 6a全球定价公布 新晋中端机7月21日开始发货
- Android 13亮相谷歌I/O大会,OPPO首批推出开发者预览版
- 谷歌收购数据科学公司Kaggle增强机器学习和AI业务
- 谷歌 Pixel 6 拆解,FD-SOI首次被用于5G毫米波