“大数据已死”

这句话出自Google的前员工Jordan Tigani，他是数据分析产品BigQuery的创始成员之一。他在一篇博文中表示：“大数据概念虽然在过去十多年间风靡一时，但如今已经不再适用。”

大数据的兴起与现状

十多年前，大数据概念开始兴起，销售团队常用“海量数据带来指数级增长曲线”的说法来吸引客户购买相关服务，否则就会被数字时代淘汰。然而，Jordan Tigani现在认为这种说法已经过时，他认为数据的大小并不是问题的关键。

数据大小不再是关键问题

如今，数据大小已经不再是一个重要的问题，更重要的是如何使用数据来做出更好的决策。Jordan Tigani认为，过去那种夸大数据量的说法已经不再有效，而且大多数应用程序并不需要处理大量数据。

数据量的真实情况

Jordan Tigani指出，很多企业的数据量并没有想象中那么大。例如，许多企业数据存储量不超过1TB，即便是大型企业也是如此。实际上，客户数据大小与数量呈幂律分布，只有极少数客户拥有PB级数据。

数据存储与计算的关系

现代云平台将存储与计算分开，导致数据存储的增长速度远大于计算资源需求增速。企业数据的存储量随着时间推移是线性增加的，但大多数分析计算需求是对近期数据的需求，不会一遍又一遍地反复读取旧数据。因此，计算需求并不会同步迅速增加。

数据分析的实际需求

Jordan Tigani举了一个例子，一家全球头部零售商的数据量从100TB增加到30PB，但这并不意味着计算资源需求也会随之增加。实际上，他们只需要很小一部分计算资源就可以完成数据分析工作。

数据查询的实际需求

大多数时候，人们只会查询最近一小时、一天或一周的数据。查询小表的频率很高，但查询大表的频率则较低。Jordan Tigani在BigQuery工作的经历中发现，数据量巨大的客户很少查询大量数据，除非他们正在生成一些报告。

数据挖掘的重要性

Jordan Tigani认为，大数据的另一重内涵是“当数据保存的成本大于其挖掘的价值，就应该放弃”。这意味着，我们需要判定哪些数据需要及时清除，以及背后的原因，这将成为数据工作的重要部分。

不同观点

尽管Jordan Tigani提出了这些观点，但并非所有人都认同。例如，ChatGPT背后的老板Sam Altman认为，AI的进步不仅依赖于海量数据，还需要海量计算。另一位名叫Lewis Gavin的大数据与软件工程师则认为，大数据不会消亡，只会变得更加重要。

总结

大数据的概念在过去十年间曾经非常流行，但现在其实际价值已经被质疑。虽然数据量庞大，但真正需要的数据量并不多，更多的是如何有效地使用这些数据。数据的价值在于其挖掘和分析，而不是单纯的数据量本身。