Google的Neural Tangents库为AI模型的行为提供了前所未有的见解
2020-03-26 13:09:33爱云资讯
谷歌今天提供了神经切线(Neural Tangents),这是一个用JAX编写的开源软件库,该系统用于高性能机器学习研究。它旨在帮助同时构建可变宽度的AI模型,Google表示可以允许“前所未有的”洞察模型的行为,并“帮助...打开机器学习的黑匣子”。
正如Google高级研究科学家Samuel S.Schoenholz和研究工程师Roman Novak在博客文章中所解释的那样,推动AI研究取得进展的主要见解之一是,增加模型的宽度会导致更规则的行为,并使它们更易于理解。通过复习,所有神经网络模型都包含排列在互连层中的神经元(数学功能),这些层传输来自输入数据的信号并缓慢调整每个连接的突触强度(权重)。他们就是这样提取特征并学习进行预测的。
允许无限扩展的机器学习模型趋于收敛到另一种更简单的模型,称为高斯过程。在这个极限内,复杂的现象归结为简单的线性代数方程,可以用作研究AI的镜头。但是,推导有限模型的无限宽度限制需要数学专业知识,并且必须针对每种体系结构分别进行计算。一旦推导出无限宽度模型,要想实现高效且可扩展的实施,就需要精通工程技术,这可能需要几个月的时间。
这就是神经切线的用处-它使数据科学家仅使用五行代码即可一次构建和训练无限宽网络的集合。根据Schoenholz和Novak的说法,所构建的模型可以应用于可以应用常规模型的任何问题。
研究人员写道:“我们看到,无限宽网络模仿有限的神经网络,遵循相似的性能等级,其性能比卷积网络差,而卷积网络反而比卷积网络差。”“但是,与常规训练不同,这些模型的学习动态是完全封闭形式的,可以让[新]洞察其行为。”
可从GitHub获得Neural Tangents,并附带一个教程和Google Colaboratory笔记本。
值得注意的是,神经切线的发布-与TensorFlow Quantum(一种用于培训的AI框架)紧随发布-TensorFlow Dev Summit是在硅谷Google办事处使用Google TensorFlow平台的机器学习从业者年度会议-紧随其后量子模型。该框架可以构建量子数据集,原型混合量子模型和经典机器学习模型,支持量子电路模拟器以及训练判别和生成量子模型。
- 多模态成新“时尚” 谷歌OpenAI万兴科技等出奇招探索多模态能力及应用
- 谷歌将探索AI写作,小美AI城惊艳亮相:AI世界中挑战与机遇并存
- 妙鸭相机海外同款火了 万兴科技旗下“Pixpic”登陆谷歌商店
- 谷歌开发者大会带来升级版Starline,微美全息推进3D显示+全息技术引领新高潮
- TalentOrg携手谷歌、爱点击,共探全球化发展策略
- 谷歌翻译现支持翻译图片内文字
- 谷歌折叠手机Pixel Fold首次在街头被发现
- 中国版“ChatGPT”真的来了,百度、微软、谷歌谁能突围?
- 谷歌Pixel Fold最新外观细节曝光:内外屏参数变化 相机模组造型熟悉
- 传音与谷歌建立全球战略合作伙伴关系,共推新兴市场数字化发展
- Poly博诣多款产品获谷歌及微软认证 加持混合办公生态
- 谷歌明年推8Gbps宽带服务 上行也不限速
- 谷歌Pixel 6a全球定价公布 新晋中端机7月21日开始发货
- Android 13亮相谷歌I/O大会,OPPO首批推出开发者预览版
- 谷歌收购数据科学公司Kaggle增强机器学习和AI业务
- 谷歌 Pixel 6 拆解,FD-SOI首次被用于5G毫米波