数据编织架构是实现现代化数据管理和集成的关键
2021-11-18 09:44:43爱云资讯1038
作者:Ashutosh Gupta
在日益多样、分布和复杂的环境中,敏捷数据管理已然成为企业机构的关键优先事项。为了减少人为错误和降低整体成本,数据和分析(D&A)领导者需要跳脱出传统的数据管理实践,转而使用AI支持的数据整合等现代解决方案。
Gartner副总裁、杰出分析师Mark Beyer表示:“‘数据编织’是一个新兴的设计概念,可以成为持续应对数据管理挑战的强大解决方案。这些挑战包括高成本、低价值的数据整合周期、数据早期整合导致的频繁维护和不断增加的实时和事件驱动型数据共享需求等等。”
下载电子书:人机结合的数据分析如何影响有效决策
Gartner将数据编织定义为一种设计概念,可作为数据和连接流程的集成层(结构)。通过对现有、可发现和可推理的元数据资产进行持续分析,数据编织能够在所有环境(包括混合云和多云平台)中设计、部署和利用可重复使用的集成数据。
数据编织结合了人和机器的优势,可在适当的地点访问或整合数据。它不断识别和连接来自不同应用的数据,以发现可用数据点之间独特的业务相关关系;支持重新设计的决策,能够通过快速访问和理解提供比传统数据管理实践更多的价值。
例如,使用数据编织的供应链领导者可以更迅速将全新的数据资产添加到供应商延误和生产延误之间的已知关系中,并利用新数据(或为新供应商或新客户)优化决策。
请想象以下两种场景。第一种场景下,驾驶者需要完全主动地专注于前方路线,而汽车的自主元素几乎或完全没有干预。第二种场景下,驾驶者稍显懒惰,注意力也不够集中,汽车则立即切换到半自动模式,并可进行必要的路线修正。
这两种情况就能够概括数据编织的工作原理。起初,数据编织作为被动观察者监测数据工作流,然后就可以开始提出更有成效的替代方案。当数据“驾驶者”和机器学习都能适应重复出现的场景时,它们会通过(消耗了太多人工时间的)自动化临时任务相互辅助,让司机有更多的时间专注创新。
1. 数据编织不仅结合了传统和当代的技术,更是一种设计理念,改变了人和机器工作负荷的重点。
2. 语义知识图谱、主动元数据管理和嵌入式机器学习(ML)等全新和未来的技术可助力实现数据编织设计。
3. 该设计通过剖析数据集、发现和调整全新的数据源重点等重复性任务自动化来提高数据管理水平,当达到最佳状态时,它还能挽救失败的数据整合工作。
4. 当前还没有任何独立的解决方案可以生成成熟的数据编织架构。然而,D&A领导者可以混合使用内置和购买的解决方案,从而建立强大的数据编织架构。例如,D&A领导者可以选择一个具有发展前景的数据管理平台,且其中应具有进行数据编织所需的65-70%的功能。而缺少的功能可以通过企业机构自制的解决方案得以实现。
为了通过数据编织设计提供商业价值,D&A领导者应该拥有坚实的技术基础,确定所需的核心能力,并评估现有的数据管理工具。
下面我们将介绍D&A领导者必须了解的四大数据编织架构关键组成部分。
1. 数据编织必须收集和分析所有形式的元数据
上下文信息是动态数据编织设计的基础。因此,企业机构应该制定机制(如连接良好的元数据池),便于数据编织识别、连接和分析各种技术、业务、运营和社会元数据。
数据编织架构的关键组成部分
2. 数据编织必须将被动元数据转换为主动元数据
为了实现无摩擦的数据共享,企业必须激活元数据。为此,数据编织应该:
- 不断分析可用元数据,以获得关键指标和统计数据,并建立图形模型。
- 根据元数据独特的业务相关性,以易于理解的方式通过图形呈现元数据。
- 利用关键的元数据指标来启用AI/ML算法,这些算法随着时间的推移可以进行学习,并产生关于数据管理和整合的超前预测。
3. 数据编织必须创建形成知识图谱
知识图谱通过语义丰富数据,能够使数据和分析领导者获得商业价值。
知识图谱的语义层使数据更加直观和容易解释,也使D&A领导者更容易进行分析。另外,它还为数据使用和内容图增加了深度和意义,使AI/ML算法能够将信息用于分析和其他操作用例。
数据集成专家和数据工程师经常使用的集成标准和工具可以轻松访问知识图谱,并从知识图谱中进行交付。D&A领导者应该利用这一特点;否则,数据编织的采用可能会面临诸多干扰。
4. 数据编织必须拥有强大的数据集成主干网
数据编织应该与各种数据交付方式(包括但不限于ETL、流媒体、复制、消息传递和数据虚拟化或数据微服务)兼容,支持所有类型的数据用户,如IT用户(用于复杂的集成需求)和商业用户(用于自助式数据准备)。
相关文章
- 当分布式成为标配:企业数据库选型的误区与真相
- “IPv6+数据空间”双轮驱动 助力汽车产业开启跨境数据可信流通新篇章
- 熊猫群邀请计数器,统计群成员拉人数据,拓展社群规模,私域小帮手
- 30余家上市企业走进药易购,药易购展示数据资产成果与先进经验
- 从恢复到防御,瑞数信息如何用“数据韧性”重构备份系统价值?
- 第20届 R+T Asia 亚洲门窗遮阳展圆满收官!展会数据再创新高!
- 得一微定义“AI存力芯片”,让每比特数据创造更多智能
- 固态电池量产前夜的突围者:比克电池已实现交付,数据领先
- 雁门萨氏萨师煊:中国数据库学科的拓荒人与奠基者
- “数境杯”数据智能创新应用大赛·工业数字孪生 专业赛(第四届)全国总决赛及颁奖典礼成功举办
- 天罡智算助力全国统一大市场建设:破解数据要素流通与中小企业算力困局
- 第十四届双态IT用户大会圆满结束!共论AI管理及数据管理提升之道
- 博大数据廊坊智算中心送电成功,构筑京津冀智算新基座
- 科华数据高压直流新品:解锁智算中心供电“密码”
- 能源领域新兴技术论坛:EMQ 实时数据引擎构建工业智能中枢
- AI竞争关键在于“数据竞赛”, 星环科技AI-Ready Data Platform成破局密钥