人工智能革命的领军人物 谷歌AutoML幕后的传奇英雄
2018-08-14 17:23:53爱云资讯
提及谷歌大脑、seq2seq、AutoML,许多人已是耳熟能详。在成功的背后,定是有许多研究人员的默默付出。而Quoc Le就是其中一位,堪称谷歌真正的“隐藏人物”、幕后英雄!他,是真正的幕后英雄!
瘦弱的身材,安静的性格,戴着一副厚厚的眼镜,你绝对猜不到如此其貌不扬的Quoc Le,正式引领人工智能革命的领军人物之一。
2011年,Le和他的博士生导师Andrew Ng、谷歌同时Jeff Dean和谷歌研究员Greg Corrado,共同创建了谷歌大脑(Google Brain)。目标是在谷歌庞大的数据背景下探索深度学习。在此之前,Le在斯坦福大学开展了一些关于无监督深度学习的开创性工作。
2012年,Le在ICML上发表了一篇文章,引起了人们对深度学习的浓厚兴趣:他开发了一种深度神经网络模型,可以根据Youtube上的1000万张数字图像以及ImageNet数据集中的3000多个对象来识别猫。这个巨型系统由16000台机器和10亿个突触组成,是以往研究规模的100倍。同年,Le又发表了关于AlexNet的论文,对整个深度学习领域产生了牵引力。
虽然后来证明无监督学习方法对于商业用途是不切实际的(至少在那段时间),但Le在2015年《Wired》采访中表示,“如果我们能挖掘一种算法来解决这个问题就太好不过了,因为实际的情况是,我们无标记的数据远远多于有标记的数据。”
从“序列”到“序列学习”
Le在2013年毕业后正式加入谷歌,成为一名研究科学家,很快就在机器翻译领域取得了惊人的突破(机器翻译是机器学习领域最活跃的研究领域之一)。
为了实现这一结果,他必须超越已有深度学习的方法,这些方法适用于图像和语音,可以使用固定大小的输入进行分析。 而对于自然语言,句子的长度各不相同,词语的顺序也很重要。
2014年,Le与谷歌研究人员Ilya Sutskever和Oriol Vinyals一起提出了序列到序列(seq2seq)学习。它是一个通用的encoder-decoder框架,训练模型将序列从一个域转换到另一个域(例如不同语言之间的句子)。
seq2seq学习在工程设计选择方面的需求较少,并允许Google翻译系统高效准确地处理非常大的数据集。它主要用于机器翻译系统,并被证明适用于更广泛的任务,包括文本摘要,会话AI和问答。
Le进一步发明了doc2vec,这是一种非监督算法,它从句子、段落和文档等不同长度的文本片段中学习固定长度的特征表示。Doc2vec是word2vec的扩展,word2vec于2013年由谷歌成员Tomas Mikolov发布。其思想是每个单词都可以用一个向量表示,这个向量可以从集合文本中自动学习。Le添加了段落向量,因此模型可以生成文档的表示形式,从而不考虑文档的长度。
Le的研究最终得到了回报。在2016年,谷歌宣布了神经机器翻译系统,它利用AI进行学习,能够得到更好更自然的翻译。
2015年,Le在荣登MIT Technology Review的“35岁以下创新者”排行榜,因为他的目标是“让软件变得更智能,帮助人们提高生活品质”。
AutoML:神经网络学习自我提升
训练深层神经网络需要大量的标记数据和反复的实验:选择一个架构,构建隐含层,并根据输出调整权重。对于机器学习专业知识有限的人来说,训练过程时既费时又费力的。
2016年,Le和另一位谷歌同事Barret Zoph提出了神经结构搜索。他们使用一个循环网络来生成神经网络的模型描述,并通过强化学习来训练这个RNN,以最大限度地提高在验证集上生成的体系结构的预期精度。
这种新方法可以帮助研究人员设计一种新的网络体系结构,在CIFA-10数据集的测试集精度方面与人类发明的最佳体系结构相匹配。一年后,Le和Zoph将他们的研究提升到了一个新的高度,他们提出了NASNet-A,一个可移植的大型图像数据集架构。
Le的研究为AutoML奠定了基础,AutoML是一套谷歌产品,专为缺乏机器学习经验和资源的开发人员设计的。然而,在早期阶段,AutoML是用于解决现实问题的:数据科学家使用AutoML建立了一个基于面条图像识别餐厅的模型,准确度几乎达到95%; 日本开发人员使用AutoML构建了一个可以使用其品牌名称对图像进行分类的模型。
在过去的六年里,Le一直处于深度学习发展的前沿。这位36岁的谷歌研究科学家现在准备将深度学习提升到一个新的高度。
- 卓翼智能无人机+人工智能助力森林防灭火,科技赋能守护绿色林海
- 上海人工智能实验室发布自动驾驶视频生成模型GenAD
- Supermicro 采用新一代系统和机架架构以扩大人工智能优化产品组合
- “人工智能+教育” 木愚科技AIGC满足教育新要求
- 推进“人工智能+”行动:全应科技在热电能源领域的创新实践
- 哈尔滨工业大学(深圳)成功举办InsunICC人工智能学术研讨会
- 大咖畅谈AI发展前景:在可见未来,人类都可掌控人工智能
- 喜报!神州医疗获评“医疗大数据与人工智能行业2023年度企业”
- 腾讯钟学丹:人工智能成为汽车行业新质生产力 推动数智化升级
- 助推智慧医疗产业健康发展,云知声加入医学人工智能委员会
- 点燃发展新引擎 天翼数字生活公司以“人工智能+”推动数字经济变革创新
- 飞天云动积极探索“人工智能+”,推动元宇宙数字文旅、VR视频直播应用场景落地
- 人工智能走进产业,CeMeta森宇宙AI营销产品登陆AWE2024
- 易联众“智鼎云帆”行业大模型发布,打造民生领域人工智能得力助手
- AIport报告:全球生成式人工智能发展格局揭晓,中国亚洲领先地位凸显
- 科大讯飞人工智能赋能司法事业,讯飞智能录音笔全程助力