在3000米的高空，一架民航客机的机翼冒出浓烟，留下两道黑色的轨迹。此时，13名乘客被卷出机舱，命悬一线。

就在附近，老贾（钢铁侠所搭载的智能助手）利用大数据算法评估了数百种解决方案，并逐一排除。突然，钢铁侠启动制动装置，一名身影在空中迅速行动，1、2、3……短短30秒，13名乘客全部获救。

这段《钢铁侠3》中的经典空难救援场景，展示了通过授权AI和大数据、云计算技术实现快速决策的能力。尽管电影中的情节极端，但它激发了人们对这些技术的好奇心。现实中，大数据、云计算等技术的发展和融合正在深刻影响各行各业的应用。

11月6日，腾讯云副总裁、腾讯数据平台总经理蒋杰在腾讯举办的Techo开发者大会上分享了腾讯大数据平台的发展历程和未来方向。

蒋杰指出，腾讯目前的日数据计算量超过30万亿条，其大数据平台的算力资源池拥有超过20万台服务器。十年来，腾讯大数据平台经历了三个主要发展阶段：

1. 离线计算：2009年，腾讯搭建了首个Hadoop集群，开始规模化数据处理。Hadoop及其衍生工具如HDFS和MapReduce，为海量数据提供了存储和计算能力。

2. 实时计算：2012年，随着移动互联网的兴起，腾讯转向Spark和Storm体系，实现了实时数据处理。这一阶段，腾讯构建了实时数据分析系统，应用于实时报表、实时查询和实时监控等领域。

3. 机器学习：2015年以来，为了满足数据挖掘的需求，腾讯开始建设机器学习平台。自研的机器学习平台Angel专注于复杂计算场景，支持内容推荐、广告推荐等应用。

蒋杰强调，腾讯大数据平台的发展是从引进到自研、从离线到实时、从分析计算到人工智能的全维度演进。随着资源管理平台TKE和分布式数据库TBase的开源，腾讯大数据平台形成了一个完整的开源生态。

谈及未来发展，蒋杰提出了“交融”这一关键词，指出了大数据平台的新方向：

1. 批流交融：实现批量计算和实时计算在SQL和底层计算引擎层面的融合。
2. ABC交融：人工智能、大数据和云计算的融合，例如Angel平台的预处理和数据训练融合。
3. 数据湖：实现跨IDC、跨平台、跨异构数据源的数据共享，通过联邦学习解决数据安全和隐私问题。

腾讯大数据平台在发展中遇到许多挑战，例如资源调度、数据采集和数据处理等方面的难题。通过自研调度器、TubeMQ等技术，腾讯逐步解决了这些问题，并将平台全面迁移到云端，为更多企业提供大数据分析的能力。

蒋杰还介绍了TBase数据库的适用场景，以及腾讯大数据平台开源的意义和优势。他指出，开源不仅可以促进技术进步，还能吸引更多开发者加入，推动整个生态的繁荣。

总的来说，腾讯大数据平台的发展历程和未来方向，展示了大数据、云计算和人工智能技术的深度融合和广泛应用。通过持续的创新和技术积累，腾讯致力于为各行各业提供更加高效和可靠的数据解决方案。