基于云原生架构开发 青云QingCloud发布大数据工作台

当前数字经济正在引领新经济发展，数字经济覆盖面广且渗透力强，与各行业融合发展，如大数据、云计算、互联网、人工智能等。因此，数据成为关键生产要素。同时，大数据在社会治理中，如城市交通、老年服务、城市安全等方面也发挥了重要作用。

与大数据时代同频共振，青云一直在行动

从2014年推出第一款数据产品至今，青云科技已经推出了近30款数据产品和服务，同时集成优秀的合作伙伴应用，形成了包括数据库与缓存、消息队列与中间件、大数据服务、数据仓库与BI产品、对象存储在内的数据产品生态。

青云QingCloud大数据产品经理刘雄风告诉记者：“基于近30款产品和服务，结合优秀的合作伙伴应用，我们构建了一个完整的、可插拔的、全流程的大数据平台。从最初的数据源接入，到数据的处理，再到数据的呈现，在任何环节我们都能提供客户所需的数据产品和服务。”

刘雄风强调，多年来，在与客户的密切沟通与服务当中，青云大数据洞察到，现在客户的需求已经升级——从最初的“底层资源”问题，逐步进阶到“数据层”问题。主要体现在：

一，数据同步。目前青云可以提供数据库、数据仓库、消息队列与中间件服务，还需要数据同步服务，打通彼此之间孤立的关系。比如通过Elasticsearch进行数据检索，首先要将MySQL中的数据导入到Elasticsearch，实现数据源和Elasticsearch的实时同步。

二，实时计算。在IoT场景中，数据通过IoT采集网关，把数据统一采集到平台上后，需要大数据平台对大量的设备数据、监控数据进行分析、挖掘，最终转化为设备报告和流程优化相关的信息和知识。这种反馈实时性越高，企业降本增效的效果就越好。因此，通过IoT平台采集设备数据、业务产生的结构化数据以及日志数据，上云后需要实时计算来发挥数据价值。

三，数据开发和作业运维调度。虽然在大数据引擎方面，青云推出了QingMR开源大数据组件，解决了客户的运维和部署问题，但还无法满足数据开发和作业运维调度层面的需求。

除了上面提到的数据集成、实时计算、统一监控和调度以外，客户还存在权限控制、数据仓库、数据服务等典型场景的需求。

基于客户多种真实需求的反馈和实时数据处理的新挑战，青云推出大数据工作台，即一站式智能大数据开发与治理平台，可帮助企业实现云平台各产品之间数据的快速流转，支撑上层业务应用，消除企业“数据孤岛”，统一调度和计算，挖掘数据价值，提升数据洞察。

刘雄风说，不同于市面上的数据中台产品，青云大数据工作台采用云原生架构，基于容器平台，解决了数据集成、流批一体计算、统一运维和统一数据服务共享的问题，通过一站式、便捷低成本的方式，帮助中小型企业快速发挥数据价值，构建“云上数据中台”。

五层架构打通大数据全链路

大数据的价值并不是数据本身，而是数据背后所隐藏的、对业务有影响的信息和知识。目前青云大数据工作台上线1.0版本，主要具备“数据集成、数据加工、统一数据存储和服务”功能模块，为企业数据价值挖掘提供支持。

从整个架构来看，青云大数据工作台从最底层到最上层有五层架构，应对大数据全链路场景的需求。

第一层，云原生。青云大数据工作台基于云原生架构，支持容器化部署，可以部署在开源的Kubernetes容器平台上面，对客户来讲，使用起来更加开放和包容，也不会被云厂商绑定，跨云、跨容器、跨厂商都是可以运行的。

第二层，全托管式计算引擎。青云大数据工作台提供全托管式计算引擎服务，以Flink流批一体的计算引擎为基础，同时兼容多种计算引擎为一体的计算资源服务。

第三层，全生命周期数据开发。解决完计算资源后，青云大数据工作台还提供全生命周期的数据开发服务，通过向导式的数据集成，支持可视化数据加工、调度管理、资源管理、网络管理等多种场景。

第四层，高效的数据同步服务。青云大数据工作台提供高效的数据同步服务，能够兼容结构化、非结构化、半结构化的数据，可对数据进行实时、增量和全量的同步。

第五层，应对丰富的业务场景。在完成数据同步后，青云大数据工作台便可帮助客户应对丰富的业务场景，包括BI商业智能分析、用户画像、增长分析和数据大屏等应用，为业务决策提供有效的数据支撑。

六大产品特性实现全功能、全场景覆盖

青云大数据工作台的产品特性可以概括为六点：

第一，开箱即用。几分钟即可完成环境的创建和部署，即开即用、便捷高效，一键开启数据价值洞察之旅。

第二，弹性扩容。具备云原生弹性扩容的能力，可以帮助客户合理地节省资源，提高资源的使用率。通过提供细粒度管控，最小资源使用的粒度只需要0.5 CU，支持按量、包年包月计费，可以更好地适配不同的需求，价格低廉，安全稳定。

第三，存算分离。与青云的对象存储服务无缝衔接，海量数据可以高效、低成本的存储，并支持数据计算按需扩容，极具性价比。

第四，开放兼容。拥抱开源，百分百兼容Apache Flink，支持平滑上云，通过内嵌的Connector可以无缝对接主流的数据产品和开源大数据生态组件。同时，客户可以将原有的大数据任务迁移到大数据工作台上，进行统一的调度和监控，节省运维和调度成本。

第五，安全可靠。按照云原生的架构模式进行设计，可以基于多种基础设施进行部署。内部功能模块以微服务的方式划分为多个组件，彼此之间相互隔离，避免相互影响。同时，所有的服务都具备高可用和高扩展能力，可以在部分节点故障的情况下保障服务的可用性和数据的可靠性。

第六，生态整合。除了青云大数据工作台本身提供的服务外，还可以在云上与其他产品紧密整合，可以连通云平台上孤立的多种数据存储的服务，让客户在云平台上的数据流转更加便捷。“我们不仅提供青云自己的产品和服务，也可以集成合作伙伴已有的开源产品，共同给客户提供一整套的产品或方案，这样客户也可以根据自己所需，进行选择和搭配。在我们看来，整个生态是开源、开放的。”刘雄风说。

青云大数据工作台可以在精细化运营分析、实时计算、可视化开发运维、构建数仓等场景进行广泛应用。刘雄风特别指出：“我们主要聚焦新兴领域，以物联网和工业大数据为代表。”

青云所提供的方案不仅仅是大数据工作台一个产品，而是与青云的KubeSphere容器平台和IoT平台形成合力，充分发挥各自优势，组建了完善的“大数据工作台＋KubeSphere＋IoT”三位一体解决方案。

以某行业领先工业自动化测试设备与整线系统解决方案厂商为例，其数据源涵盖多种维度，包括机加工设备、物联网的SMT设备和AGV设备，甚至有立库以及将来可能会引入的质监相关设备。除了生产数据以外，企业本身运营也会产生相关的IoT数据，包括水电气、空调供暖、给排水、门闸、温湿度以及各类楼宇/园区运营的信息。

因为数据源不同，所以客户需要统一的数据接收和存储、API服务对接物联网平台，建设统一的“物联网＋大数据”平台。

在青云提供的方案支持下，客户可由IoT平台进行“云、网、边、端”数据源的统一控制，再将数据通过消息中间件进行统一传输，传输到大数据工作台上再做原始库数据集成的操作。数据存储到原始库后，客户可以通过原始库单独对外提供数据权限、数据存储和数据查询的服务。对于原始库存储的数据，客户还能二次加工、处理，形成最终结果库。而结果库，同样可以对外提供数据权限、数据存储和数据查询的服务。

“通过深耕工业、交通等细分领域，我们形成了一整套相对标准的体系和方案。接下来，我们将推广到其他的行业客户中，除了应用到智慧工业上，我们还能应用到智慧零售、智慧政务和智慧校园，覆盖到四个‘数智’化场景，持续产生‘数智’化价值。”刘雄风最后说。