亚马逊使用新的内置算法和Git集成更新SageMaker
2018-11-22 09:45:12爱云资讯
“机器学习是一个高度协作的过程 - 将领域经验与技术技能相结合是成功的基石,通常需要多次迭代和不同数据集和功能的实验,”学习和人工智能(AI)总经理Matt Wood博士在亚马逊网络服务公司的一篇博文中写道。“培训一个成功的模型几乎从来就不是一个一体的,所以能够跟踪重要的决策,重播成功的部分,重用有效的部分,并获得没有的东西的帮助是很重要的。我们正在引入新功能,使这些迭代更易于管理,重复和共享。“
首先列出的是Sagemaker Search,它使AWS客户能够找到使用数据集,算法和参数的独特组合执行的AI模型训练运行。它可以从SageMaker控制台访问。
在新功能列表中加入Sagemaker Search是步骤功能,它跨多个服务协调完成机器学习工作流程所需的步骤。还新的?与Apache Airflow集成,Apache Airflow是一个用于创作,调度和监控工作流的开源框架。
Step Functions和Apache Flow将于下个月开始提供。
“[使用Step Functions,你]可以自动将数据集发布到Amazon S3,使用SageMaker训练数据的ML模型,并部署模型进行预测,”Wood博士写道。“[它会]监视SageMaker(和Glue)作业,直到它们成功或失败,并转换到工作流程的下一步或重试作业。它包括内置的错误处理,参数传递,状态管理和可视控制台,可让您在运行时监控ML工作流程。“
这些改进与添加三个新的内置算法相吻合 - 一个用于可疑IP地址(IP Insights),用于高维对象的低维嵌入(Object2Vec)和无监督分组(K-means聚类) - SageMaker和AWS'对于谷歌Tensorflow的优步开源深度学习框架Horovod的新发现支持;软件机器学习库scikit-learn;和Spark MLeap。
整体升级还包括可视化和与版本控制系统Git的集成,这有助于跟踪和协调文件中的更改。现在,开发人员可以将GitHub,AWS CodeCommit或自托管Git存储库与SageMaker笔记本链接,以便克隆公共和私有存储库,或使用IAM,LDAP和AWS Secrets Manager在Amazon SageMaker中存储存储库信息。
最后,在安全方面,SageMaker现在符合亚马逊的系统和组织控制(SOC)1级,2级和3级审核。
“这些新功能,算法和认证将有助于为更多开发人员带来更多的机器学习工作负载。通过几乎完全专注于客户的要求,我们正在通过亚马逊SageMaker在现实世界中使机器学习变得有用和可用方面取得了实际进展,“Wood博士写道。“在人工智能方面,认证,实验和自动化并不总是你能想到的第一件事,但我们的客户告诉我们,这些功能可以进一步缩短构建,培训和部署模型所需的时间。不需要研发部门。“
- 2024年AIGC元年加速来临,亚马逊/微美全息竞相探索驱动AI创新领先
- 数新x喜得提供完美适配亚马逊云科技的一站式数据开发治理平台
- 涂鸦智能使用亚马逊云科技Amazon Aurora数据库打造IoT最佳实践案例
- HL Mando宣布与亚马逊网络服务合作
- 凯捷(Capgemini)荣膺亚马逊云科技2023年度大中华区可持续发展合作伙伴等多项大奖
- Infor荣获亚马逊云科技2023年度合作伙伴决赛入围奖
- Zenlayer荣膺亚马逊云科技“2023年度合作伙伴”奖项
- 亚马逊云科技向量数据库预览版开售,高性能助力AI应用加速
- 亚马逊云科技首期创业加速器顺利结营
- 亚马逊云科技向量数据库:提高数据管理效率,加速AI应用开发
- 直击亚马逊云科技生成式AI构建者大会现场,Zilliz分享新时代向量数据库
- 世界云计算服务的引领者亚马逊云科技,直接解决了云服务器哪家便宜这个问题
- 百川智能 x 亚马逊云科技 AI黑客松完美收官
- 浩方集团:「品效+亚马逊+线下销售」策略助力优质制造勾勒品牌出海新蓝图
- 生成式AI驱动新一轮数字化变革,亚马逊/微美全息并驱争先紧抓AIGC时代机遇
- 亚马逊云科技推出七项生成式AI创新