数据中台的产生与定义

本文根据马金韬老师在deeplus直播第233期线上分享的内容整理而成。文末有获取本期PPT及回放链接的方式，不要错过。

马金韬简介

马金韬现任爱奇艺数据中台负责人。他主要负责爱奇艺数据中台的规划和建设，对广告业务和大数据体系有着深刻的理解。马金韬毕业于北京邮电大学，先后在百度、阿里巴巴、墨迹和爱奇艺等多家公司从事广告和大数据相关工作。

分享概要

此次分享主要包括以下部分： - 数据中台的产生：数据工作的痛点、数据中台的产生、中台的本质； - 爱奇艺数据中台的定义：了解数据中台、数据中台的发展历程、输入和定位； - 爱奇艺数据中台的建设：中台建设、Pingback体系、数仓体系、数仓平台、离线数仓架构、大数据平台、数据平台架构； - 数据中台的应用场景：统一化、个性化、定制化。

数据中台的产生

1. 数据工作的痛点

数据中台的产生源于数据工作中的诸多痛点。以下是总结出的八个主要问题： - 高门槛：数据工作需要专业的知识和技能，导致数据人力不足，影响业务支持； - 口径不一致：数据口径不一致会导致数据分析效率低下，影响业务决策； - 数据可靠性低：数据链路长且质量不高，导致数据延迟，影响核心报表和模型优化； - 跨业务难度大：缺乏统一标准和规范，难以实现数据融合； - 接入成本高：新业务接入或场景需求需人工处理，耗时低效； - 投递质量差：缺乏标准化流程，导致投递质量不佳； - 获取数据难：数据消费到应用周期长，用户难以快速找到所需数据； - 数据资产管理模糊：缺乏整体管理，导致数据价值难以发挥。

基于这些问题，引入了“数据中台”概念。

2. 数据中台的产生

数据中台的概念最早由阿里巴巴在2015年提出。它旨在通过“大中台+小前台”的模式落地通用能力。数据中台适用于具有多个业务并行发展的公司，需要不断沉淀通用能力。

3. 数据中台的本质

数据中台是一种企业架构，旨在通过抽象通用数据能力，解决公司业务发展中遇到的实际问题，降低数据运用成本，促进业务发展。

爱奇艺数据中台的定义

1. 了解数据中台

数据中台可以理解为数据即服务的产品概念，它包括数据服务、数据平台、数据中台产生的数据以及所有数据工作中的标准和规范。

2. 数据中台的发展历程

爱奇艺数据中台的发展大致经历了以下几个阶段： - 2017年及以前：零散化数据工作，使用Hadoop客户端进行数据开发； - 2018年：开始推进平台化建设，开发数据集成模块，管理数据表； - 2019年：开展标准化工作，制定数据仓库规范，定义目标和维度体系，提供一致的数据接口； - 2020年：完成平台化和标准化，转向定制化，建设数据管理体系。

3. 数据中台的输入

数据中台面向不同用户和场景，提供定制化的数据处理流程，分为服务、数据、平台、投递、标准/规范五种方式。

4. 数据中台的定位

数据中台定位为提供抽象通用能力，支持前台团队定制化，满足业务快速发展需求，实现全局优化。

爱奇艺数据中台建设

1. 建设

爱奇艺数据中台建设主要涵盖服务、数据、平台、投递、标准/规范五个方面，具体包括投递体系、一致数仓体系和大数据平台能力。

2. Pingback体系

Pingback体系用于解决投递数据的规划、管理和质量保证问题。

3. 数仓体系

数仓体系解决数据重复建设、维度和目标定义混乱、口径不一致等问题。

4. 数仓平台

数仓平台提供业务建模、数据建模、物理建模、维度管理和目标管理等功能。

5. 离线数仓架构

离线数仓架构展示了离线数仓的简化结构，强调一致数仓的作用。

6. 大数据平台

大数据平台经历了开发、运维、质量校验和数据运用四个阶段，提供数据图谱模块，提升数据发现效率。

7. 数据平台架构

数据平台架构包括数据层、采集层、传输层、计算层、平台层和数据管理模块。

应用场景

数据中台的应用场景包括一致化、个性化和定制化三种方式。一致化适用于业务初期，个性化适用于业务成长期，定制化适用于成熟业务。

Q&A

Q1：没有做过数据仓库，可以一步到位建设数据中台吗？

不建议这样做，数据仓库是数据的主要组织方式，应最先建设。数据中台建设是一个长期迭代过程。

Q2：数仓到数据中台，和大数据平台到数据中台，哪种途径更好？

两者不冲突，数据中台更注重通用能力输入。建议先建数仓，因为大数据平台可以通过直接运用大数据集群完成相关数据工作。

Q3：建设数据仓库的方法论是什么？次要用到什么系统？

主要依赖Kimball的多维建模方法论，结合Anchor建模方式。使用自建的数仓平台，依赖内部制定的数仓规范。

Q4：数据仓库里，拉链表多吗？

目前拉链表较少，因为其消费和运用成本较高，应用场景有限。

Q5：投递怎样理解？主要涉及哪些工作？

投递是记录用户行为，包括启动APP、播放视频等操作。主要涉及投递设计、管理、日志搜集和ETL。

Q6：什么是埋点？埋点丢失时有预警吗？

埋点记录用户行为，可通过前端SDK监测投递失败情况。埋点丢失预警可通过功能和统计角度进行。

Q7：数据重跑是怎样进行的？

数据重跑涉及数据修复、口径变化、新增目的等情况。通过数据平台管理创建重跑任务，指定重跑时间和参数，最后验证数据。

Q8：数据质量平台稽核涉及哪些数据存储？

数据中台主要涉及离线和实时数据，离线数据以Hive为主，实时数据以Kafka为主。

Q9：如何在中台上开放目录或地图，方便业务方快速获取数据？

数据中台提供数据图谱模块，以搜索和地图形式展示元数据，方便用户发现数据并申请权限。

Q10：数据管理是放在数据服务之后吗？主要管理哪些方面？

数据管理贯穿整个数据生命周期，包括数据质量、消费链路稳定性、资源利用、数据标准化和审计等。

Q11：如何处理数据生命周期？是否做冷热备份？

根据数据资产等级设定TTL，进行垂直裁剪，将冷数据存储到冷备，同时考虑冷备的成本。

Q12：是否支持多租户分配平台资源、工具、开发？

支持，这是数据平台的基本功能。

Q13：爱奇艺使用的大数据集群是开源的还是CDH？

主要基于CDH，进行了定制化开发。

Q14：任务调度系统是自研的吗？哪个调度系统较好？

爱奇艺使用基于Oozie的二次开发系统，主流调度系统包括Oozie、Airflow和Azkaban，具体选择取决于应用场景。

Q15：大数据平台目前对外输出吗？

目前暂未对外输出，但可能会通过文章或书籍的形式分享经验。

获取本期PPT

请添加右侧二维码微信以获取本期PPT。