IT老兵告诉你数据中台和大数据平台有啥不一样?
作者头像
  • 郑海静
  • 2020-09-21 17:05:43 5

前些日子,《“中台”是怎样臭了大街的》这篇文章再次将“中台”这一话题推至风口浪尖。自2018年中台概念兴起以来,各种观点和评论一直层出不穷。数据中台究竟是什么?它与大数据平台有何不同?这是许多人的疑问。

ITPUB技术栈在疫情期间举办了一系列线上沙龙活动,主题涵盖了大数据应用架构、存储与计算、数据管理和数据中台的建设,以及云计算的应用探索。本期邀请了IT老兵王保强,分享他对大数据平台和数据中台建设的经验和见解。

王保强目前在北方电网旗下的一家IT公司工作,主要负责数据管理工作。他拥有21年的IT从业经验,曾在海南移动担任数据仓库和大数据平台项目的负责人,见证了从传统数据仓库向大数据平台的转型全过程。他对数据中台也有独到的理解。

什么是数据中台?

如今,各种新概念层出不穷,如智慧城市、数字化转型、物联网、云计算、大数据、人工智能等。数据中台的概念也在这样的背景下被广泛提及。王保强总结了数据中台的几个关键概念:

  1. 数据中台是聚合和管理跨域数据,并将其封装成服务,供前台业务使用的逻辑概念。
  2. 数据中台是一种可持续发展的机制,旨在让企业的数据发挥价值。这种机制是根据企业的业务模式和组织架构设计的,通过具体的产品和实施方法论,实现数据资产化并服务于业务。
  3. 数据中台连接前台和后台,打破数据的局限性,为企业提供灵活、高效、低成本的数据分析服务,避免企业因满足某一部门的数据需求而投入大量重复性开发成本。
  4. 数据中台通过数据技术,对海量数据进行采集、计算、存储和加工,并统一标准和口径。数据中台将数据统一后,形成标准数据,进一步存储,形成大数据资产层,从而为企业提供高效的服务。
  5. 数据中台涵盖与企业数据资产利用相关的所有要素,包括平台、工具、数据、组织、流程和规范等。

王保强认为,数据中台的关键在于数据服务化,服务化的核心是数据模型化和服务组件化,而服务化的基础则是大数据平台或数据仓库。

数据仓库、大数据平台和数据中台的区别

数据仓库

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策和全局信息共享。王保强认为,数据仓库的主题建模思想是其核心。主题建模将业务数据按主题进行分类,并通过一致性维度表和一致性事实表确保数据的一致性。合理使用维度退化、变化维和冗余等方法,保证了数据的计算和查询效率。

中国移动省级运营分析系统的数据仓库以七大主题域为基础,采用实体-关系模型和第三范式进行建模。数据仓库通常采用分层架构,底层是来自各业务系统的基础数据,上层是汇总数据,汇总数据用于减轻数据转换的复杂性,提高数据提供的效率。

数据集市

数据集市是数据仓库的一个子集,按照不同的角度组织和存储数据,主要面向特定的业务部门或特定需求。例如,财务分析就是一个常见的数据集市。中国移动的数据集市分为地市数据集市和专业数据集市,其中专业数据集市包括增值业务数据集市、集团客户数据集市和互联网数据集市。

大数据平台

随着4G业务的快速发展,流量业务在中国移动占比迅速增加,原有的数据仓库已无法满足分析需求。为应对这一挑战,中国移动逐步构建了大数据平台。王保强指出,大数据平台的建设是一个逐步演进的过程。

2013年,海南移动先后构建了Hadoop平台和流处理平台。为了防止数据孤岛的形成,海南移动决定统一规划构建大数据平台。2014年底,海南移动搭建了12台Hadoop节点,随后每天接入5TB上网信令和7TB位置信令。为了实现实时数据采集、计算和分析,海南移动搭建了流处理平台。

大数据平台实现了结构化、半结构化和非结构化数据的统一存储和计算,并通过数据封装提供服务功能。此外,大数据平台还提供了自助报表工具和OpenAPI服务,支持多租户管理和数据安全管理。

数据中台:从生产资料到生产力

王保强认为,数据中台是数据服务工厂,其价值在于加速数据到价值的转化过程,提高企业的响应能力。数据中台聚合和管理跨域数据,将其封装成服务,提供给前台业务,这一点与大数据平台的发展是一脉相承的。

如今市场竞争愈发激烈,客户需求更加精确和快速响应,这一切都离不开数据的有效管理和应用。王保强认为,建设数据中台需要考虑如何支持业务创新,同时降低成本、提升能力和应用范围。数据中台能够实现数据资产的复用,推动数据驱动决策和运营。

数据中台自诞生以来,一直伴随着赞誉与争议。王保强提出的中台架构图展示了他对于数据中台的理解。总体来看,中国数据中台仍处于探索阶段,希望企业能够结合自身业务做出更多有益的尝试,减少试错成本,让数据中台真正发挥作用。

    本文来源:图灵汇
责任编辑: : 郑海静
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
中台数据老兵一样告诉平台
    下一篇