微软开源大规模数据处理项目 Data Accelerator
2019-04-23 10:44:23爱云资讯
微软开源了一个原为内部使用的大规模数据处理项目 Data Accelerator。自 2017 年开发以来,该项目已经大规模应用在各种微软产品工作管道上。
据微软官方开源博客介绍,Data Accelerator 的一些方法可以更容易地在 Apache Spark 上构建流式传输管道:
- 即插即用:轻松设置输入源和输出接收器,以便在几分钟内建立管道。Data Accelerator 支持从 Eventhub 和 IoThub 取数据,并支持将数据下载到 Azure blob、CosmosDB、Eventhub 等。
- 无代码体验:无需编写任何代码即可设置警报和数据处理。通过规则设计器体验,您可以指定简单和聚合的数据处理,标记和警报。
- SQL 查询:在 SQL 中编写复杂的处理——无需在 Scala 中工作。内置的可扩展性模型还支持用户定义的函数并利用 Azure 功能,例如,用于 ML 中流。
- 实时查询:通过针对传入数据样本运行,在几秒钟内验证您的查询,从而节省设置和测试管道处理的工作时间。
Data Accelerator 不仅仅是 EventHub 和数据库之间的管道。它允许用户在继续流式传输的同时重塑传入的事件,然后将同一事件的不同部分路由到不同的数据存储,同时提供健康监控和整个管道状态的警报。
Data Accelerator 还提供配置 UI 和规则/查询设计器体验,使用户无需编写任何代码即可启动和运行。
此外,任何进行流数据处理的人通常都需要使用滑动窗口处理数据,或处理延迟到达数据,或者随时间累积数据。Data Accelerator 支持并简化了这些高级功能的使用。
最后,微软提到,Data Accelerator 支援 dev-test 循环的快速验证周期,其中查询针对本地采样的事件运行在部署之前就能迭代修正到可用,这可以节省大量测试工作管道处理的时间。
相关文章
- Check Point 与微软展开新合作,Microsoft Azure OpenAI 与 Infinity AI Copilot强强联合
- AI大模型市场商业价值涌现,Google/微软/微美全息创投新机遇完善基建
- AIGC应用爆发式增长,微软/微美全息加入竞赛布局AI办公数字化新蓝海
- AI已成芯片行业复苏关键动力,Meta/微软/微美全息等全力押注进入成长快车道
- 微软携手小米:开启人工智能时代创新
- TCL空调发布小蓝翼P7,联手海思、微软定义新一代空调
- 2023世界互联网大会乌镇峰会:微软新必应特邀登场
- 创投变辩辨:苹果VS微软,谁决定MR的未来?
- 微软全面展望大模型语言技术,微美全息引领自然语言人机交互突破奋进AI时代
- 微软财报大超预期AI成主要驱动力,微美全息把握趋势加速AIGC技术商业化
- 数字人直播热潮涌动,微软/微美全息点燃热情共探AI+数字人发展范式
- 微软全球资深副总裁张祺:聚焦AI大航海时代新契机、新模式、新动能
- 假如“微软断供”,国产操作系统统信UOS能顶上吗?
- 奥比中光获微软授权Azure Kinect技术产品线,携手赋能全球开发者
- 金山办公旗下WPS已上线的单元格插入图片功能,微软刚开启测试
- 微软Build年度大会开幕构建超级AI生态,微美全息超前点播AIGC技术创新
热门文章
头条文章
重点文章
推荐文章
热点文章