大数据发展的趋势与挑战

数据的重要性在当今企业中日益凸显。《跨越鸿沟》的作者Geoffrey Moore曾指出，“没有数据，运营企业就像一个又聋又瞎的人在高速上开车一样”。据IDC预测，到2020年，全球将产生约44万亿GB的数据。无论是世界500强的CEO还是独角兽创业公司的创始人，都在积极探索如何利用数据来推动业务创新和增长。

一、2019年大数据发展的两个主要趋势

在2019年，大数据领域出现了两大重要趋势：

1. 客户更加重视数据驱动的应用：如今，企业和机构在实施新技术时，更注重技术与业务的深度融合。例如，大数据和人工智能技术不再仅仅是寻找技术落脚点，而是真正融入业务流程，推动业务创新。

2. 对速度的追求：业务部门希望通过数据辅助决策或创造新的商业模式，这对数据的获取速度和响应时间提出了更高要求。例如，银行需要实时处理交易和风险控制，零售业需要实时营销，工业界需要灵活生产。这些都要求数据系统能够快速响应，提高市场竞争力。

以某房地产企业为例，过去两个业务系统间的数据交互需要3个人工作3天才能完成。但采用DataPipeline等数据同步工具后，同样的任务只需几分钟即可完成。这表明，许多企业的数据部门在数据时效性方面仍面临巨大压力。

二、从建设到运营数据平台，企业还有很长的路要走

尽管越来越多的企业认识到数据的重要性，但在实际操作过程中，很多企业仍然陷入高投入低产出的困境。构建一个数据平台仅仅是第一步，更重要的是如何高效地管理和运营这些数据。许多企业已经建立了大数据平台，但并未充分利用其内部业务数据，导致数据价值无法充分发挥。

此外，企业还需要面对以下几个挑战：

• 数据源的复杂性：随着5G和区块链技术的发展，数据来源变得更加多样化和复杂，包括结构化、半结构化和非结构化数据。
• 人才短缺：缺乏能够从海量数据中挖掘价值的专业人才和技术工具。
• 文化和流程的变革：为了更好地实现数据驱动的业务模式，企业需要在文化、流程和工具等方面进行全方位的改革。

三、2020年，从商业智能向数据应用转变

随着业务部门对数据的需求不断增长，单纯依靠传统的商业智能（BI）分析已不能满足需求。企业需要提供更多样化的数据服务，如API接口，以支持业务创新。这不仅需要互联网公司具备较高的灵活性，也需要传统大型企业改进其数据管理和应用方式，使其能够快速响应市场需求。

四、业务数据自动化监控和异常检测将成为有效数据质量管理手段

Gartner提出的“增强数据管理”概念强调减少数据管理过程中的手工操作，利用AI和机器学习技术提高数据处理的自动化和智能化水平。这将有助于数据部门更高效地处理数据多样性、动态性和质量监控等问题，从而为企业带来更大的价值。

结语

DataPipeline作为一家专注于数据融合的服务商，已经成功服务于多个行业领先企业，如星巴克、金风科技、财通证券等。未来，他们将继续致力于帮助企业实现数据驱动的业务转型，推动更多创新实践。

作者简介

陈诚，DataPipeline创始人兼CEO，拥有上海交通大学和美国密歇根大学的学位背景。曾在Google、Yelp等国际知名企业工作，专注于大数据、计算机算法、软件工程等领域，曾参与构建实时可扩展的大数据平台，为Yelp节省了大量成本。