数据编织架构是实现现代化数据管理和集成的关键

作者:Ashutosh Gupta

D&A领导者应该了解组成数据编织架构的关键组成部分，从而利用机器实现数据整合。

在日益多样、分布和复杂的环境中，敏捷数据管理已然成为企业机构的关键优先事项。为了减少人为错误和降低整体成本，数据和分析（D&A）领导者需要跳脱出传统的数据管理实践，转而使用AI支持的数据整合等现代解决方案。

Gartner副总裁、杰出分析师Mark Beyer表示：“‘数据编织’是一个新兴的设计概念，可以成为持续应对数据管理挑战的强大解决方案。这些挑战包括高成本、低价值的数据整合周期、数据早期整合导致的频繁维护和不断增加的实时和事件驱动型数据共享需求等等。”

下载电子书：人机结合的数据分析如何影响有效决策

什么是数据编织？

Gartner将数据编织定义为一种设计概念，可作为数据和连接流程的集成层（结构）。通过对现有、可发现和可推理的元数据资产进行持续分析，数据编织能够在所有环境（包括混合云和多云平台）中设计、部署和利用可重复使用的集成数据。

数据编织结合了人和机器的优势，可在适当的地点访问或整合数据。它不断识别和连接来自不同应用的数据，以发现可用数据点之间独特的业务相关关系；支持重新设计的决策，能够通过快速访问和理解提供比传统数据管理实践更多的价值。

例如，使用数据编织的供应链领导者可以更迅速将全新的数据资产添加到供应商延误和生产延误之间的已知关系中，并利用新数据（或为新供应商或新客户）优化决策。

把数据编织想象成一辆自动驾驶汽车

请想象以下两种场景。第一种场景下，驾驶者需要完全主动地专注于前方路线，而汽车的自主元素几乎或完全没有干预。第二种场景下，驾驶者稍显懒惰，注意力也不够集中，汽车则立即切换到半自动模式，并可进行必要的路线修正。

这两种情况就能够概括数据编织的工作原理。起初，数据编织作为被动观察者监测数据工作流，然后就可以开始提出更有成效的替代方案。当数据“驾驶者”和机器学习都能适应重复出现的场景时，它们会通过（消耗了太多人工时间的）自动化临时任务相互辅助，让司机有更多的时间专注创新。

D&A领导者需要了解的数据编织内容

1. 数据编织不仅结合了传统和当代的技术，更是一种设计理念，改变了人和机器工作负荷的重点。

2. 语义知识图谱、主动元数据管理和嵌入式机器学习（ML）等全新和未来的技术可助力实现数据编织设计。

3. 该设计通过剖析数据集、发现和调整全新的数据源重点等重复性任务自动化来提高数据管理水平，当达到最佳状态时，它还能挽救失败的数据整合工作。

4. 当前还没有任何独立的解决方案可以生成成熟的数据编织架构。然而，D&A领导者可以混合使用内置和购买的解决方案，从而建立强大的数据编织架构。例如，D&A领导者可以选择一个具有发展前景的数据管理平台，且其中应具有进行数据编织所需的65-70%的功能。而缺少的功能可以通过企业机构自制的解决方案得以实现。

D&A领导者如何确保数据编织架构能够提供商业价值？

为了通过数据编织设计提供商业价值，D&A领导者应该拥有坚实的技术基础，确定所需的核心能力，并评估现有的数据管理工具。

下面我们将介绍D&A领导者必须了解的四大数据编织架构关键组成部分。

1. 数据编织必须收集和分析所有形式的元数据

上下文信息是动态数据编织设计的基础。因此，企业机构应该制定机制（如连接良好的元数据池），便于数据编织识别、连接和分析各种技术、业务、运营和社会元数据。

数据编织架构的关键组成部分

2. 数据编织必须将被动元数据转换为主动元数据

为了实现无摩擦的数据共享，企业必须激活元数据。为此，数据编织应该：

• 不断分析可用元数据，以获得关键指标和统计数据，并建立图形模型。
• 根据元数据独特的业务相关性，以易于理解的方式通过图形呈现元数据。
• 利用关键的元数据指标来启用AI/ML算法，这些算法随着时间的推移可以进行学习，并产生关于数据管理和整合的超前预测。

3. 数据编织必须创建形成知识图谱

知识图谱通过语义丰富数据，能够使数据和分析领导者获得商业价值。

知识图谱的语义层使数据更加直观和容易解释，也使D&A领导者更容易进行分析。另外，它还为数据使用和内容图增加了深度和意义，使AI/ML算法能够将信息用于分析和其他操作用例。

数据集成专家和数据工程师经常使用的集成标准和工具可以轻松访问知识图谱，并从知识图谱中进行交付。D&A领导者应该利用这一特点；否则，数据编织的采用可能会面临诸多干扰。

4. 数据编织必须拥有强大的数据集成主干网

数据编织应该与各种数据交付方式（包括但不限于ETL、流媒体、复制、消息传递和数据虚拟化或数据微服务）兼容，支持所有类型的数据用户，如IT用户（用于复杂的集成需求）和商业用户（用于自助式数据准备）。