数据编织架构是实现现代化数据管理和集成的关键
2021-11-18 09:44:43爱云资讯1075
作者:Ashutosh Gupta
在日益多样、分布和复杂的环境中,敏捷数据管理已然成为企业机构的关键优先事项。为了减少人为错误和降低整体成本,数据和分析(D&A)领导者需要跳脱出传统的数据管理实践,转而使用AI支持的数据整合等现代解决方案。
Gartner副总裁、杰出分析师Mark Beyer表示:“‘数据编织’是一个新兴的设计概念,可以成为持续应对数据管理挑战的强大解决方案。这些挑战包括高成本、低价值的数据整合周期、数据早期整合导致的频繁维护和不断增加的实时和事件驱动型数据共享需求等等。”
下载电子书:人机结合的数据分析如何影响有效决策
Gartner将数据编织定义为一种设计概念,可作为数据和连接流程的集成层(结构)。通过对现有、可发现和可推理的元数据资产进行持续分析,数据编织能够在所有环境(包括混合云和多云平台)中设计、部署和利用可重复使用的集成数据。
数据编织结合了人和机器的优势,可在适当的地点访问或整合数据。它不断识别和连接来自不同应用的数据,以发现可用数据点之间独特的业务相关关系;支持重新设计的决策,能够通过快速访问和理解提供比传统数据管理实践更多的价值。
例如,使用数据编织的供应链领导者可以更迅速将全新的数据资产添加到供应商延误和生产延误之间的已知关系中,并利用新数据(或为新供应商或新客户)优化决策。
请想象以下两种场景。第一种场景下,驾驶者需要完全主动地专注于前方路线,而汽车的自主元素几乎或完全没有干预。第二种场景下,驾驶者稍显懒惰,注意力也不够集中,汽车则立即切换到半自动模式,并可进行必要的路线修正。
这两种情况就能够概括数据编织的工作原理。起初,数据编织作为被动观察者监测数据工作流,然后就可以开始提出更有成效的替代方案。当数据“驾驶者”和机器学习都能适应重复出现的场景时,它们会通过(消耗了太多人工时间的)自动化临时任务相互辅助,让司机有更多的时间专注创新。
1. 数据编织不仅结合了传统和当代的技术,更是一种设计理念,改变了人和机器工作负荷的重点。
2. 语义知识图谱、主动元数据管理和嵌入式机器学习(ML)等全新和未来的技术可助力实现数据编织设计。
3. 该设计通过剖析数据集、发现和调整全新的数据源重点等重复性任务自动化来提高数据管理水平,当达到最佳状态时,它还能挽救失败的数据整合工作。
4. 当前还没有任何独立的解决方案可以生成成熟的数据编织架构。然而,D&A领导者可以混合使用内置和购买的解决方案,从而建立强大的数据编织架构。例如,D&A领导者可以选择一个具有发展前景的数据管理平台,且其中应具有进行数据编织所需的65-70%的功能。而缺少的功能可以通过企业机构自制的解决方案得以实现。
为了通过数据编织设计提供商业价值,D&A领导者应该拥有坚实的技术基础,确定所需的核心能力,并评估现有的数据管理工具。
下面我们将介绍D&A领导者必须了解的四大数据编织架构关键组成部分。
1. 数据编织必须收集和分析所有形式的元数据
上下文信息是动态数据编织设计的基础。因此,企业机构应该制定机制(如连接良好的元数据池),便于数据编织识别、连接和分析各种技术、业务、运营和社会元数据。
数据编织架构的关键组成部分
2. 数据编织必须将被动元数据转换为主动元数据
为了实现无摩擦的数据共享,企业必须激活元数据。为此,数据编织应该:
- 不断分析可用元数据,以获得关键指标和统计数据,并建立图形模型。
- 根据元数据独特的业务相关性,以易于理解的方式通过图形呈现元数据。
- 利用关键的元数据指标来启用AI/ML算法,这些算法随着时间的推移可以进行学习,并产生关于数据管理和整合的超前预测。
3. 数据编织必须创建形成知识图谱
知识图谱通过语义丰富数据,能够使数据和分析领导者获得商业价值。
知识图谱的语义层使数据更加直观和容易解释,也使D&A领导者更容易进行分析。另外,它还为数据使用和内容图增加了深度和意义,使AI/ML算法能够将信息用于分析和其他操作用例。
数据集成专家和数据工程师经常使用的集成标准和工具可以轻松访问知识图谱,并从知识图谱中进行交付。D&A领导者应该利用这一特点;否则,数据编织的采用可能会面临诸多干扰。
4. 数据编织必须拥有强大的数据集成主干网
数据编织应该与各种数据交付方式(包括但不限于ETL、流媒体、复制、消息传递和数据虚拟化或数据微服务)兼容,支持所有类型的数据用户,如IT用户(用于复杂的集成需求)和商业用户(用于自助式数据准备)。
相关文章
- 优刻得x立昂云数据,战略共建AI智算资源池
- 中国移动开通我国首条空芯光纤商用线路 深港证券交易所数据传输时延低至1毫秒
- 启明星辰集团数据库安全审计蝉联市场份额第一
- 2025WAIC丨玻色量子与中国移动、科华数据引领共建“量子+AI”生态
- 三维天地AI智能体应用落地场景:敏感数据识别
- 得瑞领新闪耀2025全球闪存峰会:D8000系列斩获创新大奖,强势赋能AI时代数据基石
- 四维图新亮相2025世界智能汽车大会:以AI新基建与数据闭环赋能智驾新范式
- 启信宝数据洞察:人工智能行业市场规模持续扩大,产业潜力逐步显现
- 中兴通讯金篆数据库GoldenDB荣登中国分布式事务型数据库市场第一!
- 科华数据与多家行业上下游企业签署合作协议,共话多元算力生态构建
- 液冷算力新标杆!科华数据联合沐曦股份在世界人工智能大会首发高密度液冷算力POD
- 如视携伽罗华P4亮相2025世界人工智能大会, 以数据基石赋能空间智能行业突破
- 让AI真正跑通业务流程!数睿数据押注“无代码Agent”,剑指“人人开发”
- 神雲科技首次以全新品牌亮相WAIC 2025,展示AI计算与绿色数据中心创新方案
- 每日互动AI一体机GAI Station:安全融合大模型与大数据 高效驱动企业业务增长
- 场景变化驱动数据库演进,什么才是破局关键?