包勇军：京东全域大数据平台的建设历程

大家好，我是包勇军，目前在京东负责数据基础平台部、广告质量部、引荐研发部的工作，并担任京东集团技术委员会委员、京东批发数据算法委员会会长。我主要负责大数据平台基础架构的建设和产品开发、AI算法平台建设、AI算法在广告系统中的研发和运用，以及推荐策略、数据和推荐系统的研发工作。我拥有丰富的实战经验，特别是在数据系统和算法领域，深知其在电商业务数字化中的重要性。

数据的价值

数据如同石油，正在深刻地改变我们的信息化社会。根据《经济学人》杂志2017年5月的报道，数据已经成为推动行业和社会发展的关键因素。数据显示，全球市值前十的公司中，科技公司占据了大多数席位，而这部分公司大多通过数据处理来提升商业价值。

国内大数据行业趋势

近年来，我国出台了多项关于大数据的相关政策，政府连续六年将大数据纳入政府工作报告。预计到2023年，大数据直接相关产业将达到1.57万亿元规模，而间接关联行业也已经深入到各行各业。这一切都表明，无论是传统企业还是新兴企业都在进行深入的数字化转型。

行业大数据平台现状

大数据平台发展阶段

从技术角度看，当前大数据平台仍处于探索阶段。虽然数据中台概念逐渐受到市场关注，但成功运用案例仍主要集中在头部互联网企业和创新型公司。我们希望未来数据中台能够成为行业内所有企业的标配基础能力。

大数据平台架构

大数据平台架构非常复杂，涉及到多种多样的产品和技术。每年都会有大量新颖的产品和技术涌现，使得建立标准一致的大数据平台和进行数字化转型的技术门槛很高，同时也存在技术路径不明朗的问题。

大数据平台建设的挑战

建设大数据平台面临许多挑战，包括： - 随着数据规模的快速增长，简单堆砌物理资源的方式效率越来越低。 - 面对激烈的市场竞争，传统的数据分析方式难以满足更精准的数据需求。 - 后疫情时代，新基建激发了大量的数据需求，但如何将数字化转型的经验推广到其他行业仍需进一步探索。

京东全域大数据平台的建设历程

结合上述挑战，下面分享一下京东在大数据平台建设中的经验和历程。

京东大数据平台的整体情况

京东的大数据平台拥有数万台服务器，日计算任务数达数百万级别，总存储量达到EB级别。平台不仅支持京东主站的电商业务，还服务于金融业务、京东物流、京东健康等复杂业务场景。

建设历程

京东大数据平台经历了五个阶段：

规模化阶段

随着业务的急剧增长，数据量迅速增加。为解决这一问题，我们对开源技术进行了深度定制和创新，实现了计算和存储的分离，提高了平台的稳定性。

体系化阶段

随着新业务的快速发展，数据平台面临新的挑战。我们逐步构建了标准化、可管理、可维护的数据中台，解决了数据烟囱化、数据腐化等问题，为数据价值的高效发挥奠定了基础。

实时化阶段

随着数据规模的扩大，对实时化能力的要求越来越高。我们打造了Easy Realtime实时计算平台，实现了高可用和高效率的数据处理，使业务决策更加迅速。

智能化阶段

我们希望通过智能化改造，打造以高效精准业务决策为目标的数据化智能服务。京东大数据平台面临的主要挑战包括大规模机器学习算力、跨业务实体数据融合分析以及多模态数据处理等。

商业化阶段

基于以上四个阶段的发展，我们最终打造出一套全域大数据平台，涵盖多个领域的应用，包括批发、物流、金融、健康等。这些技术和工具已经具备一定的通用性，并将在政企数字化转型中发挥重要作用。

未来发展方向

展望未来，我们希望继续加强技术内功，实现云原生的智能数据平台，并深入落实Deep AI概念，加速业务的深度赋能。最终，我们将把京东的经验回馈给整个行业，与合作伙伴携手共赢，共建健康可持续的大数据商业生态。