大数据技术的发展与重生

自2006年Hadoop技术问世以来，大数据技术已经走过了15个年头。然而，全球数据量的爆发才刚刚开始。预计到2035年，全球数据总量将达到2142ZB，这意味着未来15年将迎来更大规模的数据增长。2020年至2021年是大数据技术转型的关键时期，大数据技术需要从庞大的技术体系转向更高质量的应用，甚至经历颠覆性的“重生”。

中国信息通信研究院发布的《大数据白皮书（2020）》指出，虽然大量数据资源已成为关键生产要素，但只有56%的数据能够被及时捕捉，而在这其中，只有57%的数据得到有效利用，43%的数据尚未被激活。这意味着仅有32%的企业数据价值得以释放。因此，如何有效利用数据、充分释放数据价值，成为各方努力的方向。其中一个方向是围绕数据中台构建数据开发平台。

数据开发平台的重要性

2021年上半年，中国信息通信研究院进行了第12批大数据产品能力评测，首次将数据开发平台纳入评测范围。云徙科技作为国内数字中台软件的领先者，参与了该评测标准的制定工作。云徙数据研发平台V3.0成为首个通过该评测的品牌。云徙科技数据中台产品负责人蒲继强表示，数据中台和数据开发平台是大数据技术的重要升华，可以帮助企业打通数据孤岛，唤醒数据价值，激活数据要素，真正建立数据战略。

数据开发平台的发展历程

蒲继强将大数据数据开发平台的发展历程分为四个阶段：

1. 关系型数据库和数据仓库时代：2008年以前，市场上已有PowerCenter等数据开发工具，但缺乏统一的数据服务和模型设计。

2. 大数据技术兴起阶段：2008年至2012年，数据源和数据种类增多，传统工具难以支持非结构化数据和分布式大数据技术。许多企业开始手动编写代码调用底层技术，这增加了数据开发和管理的难度。

3. 数据中台时代：2015年，企业开始采用数据中台技术，对大数据技术进行集成和统一管理，解决了数据孤岛问题。数据开发平台实现了数据的全生命周期管理，包括数据采集、分类存储、离线计算、流式计算、数据标签加工等。

4. 数据开发与数据管理并行阶段：当前处于数据开发与数据管理并行的第四阶段。蒲继强认为，同时进行数据管理和开发有助于提高数据质量、数据安全等标准一致性，有利于后续的数据业务化和场景化应用。

面向数据中台的数据开发平台

面向数据中台的数据开发平台是一个新的品类。它不仅支持传统的数据分析和决策场景，还支持智能应用场景，特别是企业和产业互联网应用。蒲继强介绍，云徙科技牵头制定了可视化数据建模的标准，这是为了更好地支持业务和业务驱动。中国的大数据技术正迅速向数据要素市场发展，服务于数字经济。因此，数据开发平台不仅要支持数据的采集、处理和管理，还要支持数据资产的运营，以满足数字经济的需求。

“倒推”的数据开发平台

云徙科技的数据开发平台是基于业务中台和数据中台需求而设计的。它支持多种数据采集、存储和计算方案，灵活满足企业各种场景需求。数据采集、离线和实时计算、调度配置、ID打通、标签计算等一站式数据可视化加工，从数据模型规范、数据全景视图、数据目标体系、数据血缘追溯、数据质量监控等多维度完成数据资产管理。这些功能共同构成了云徙科技的数据中台，帮助企业整合全场景数据，提供一致的数字化服务。

蒲继强强调，云徙科技的数据开发平台不仅是一站式解决数据中台建设全流程的工具，还提供了面向数据资产的数据模型，支持持续的数据资产运营管理。这种综合性的解决方案，旨在帮助企业激活数据要素，实现从数据资源到数据资产的转变，建立基于数据要素的数字经济新商业模式。