大数据技术和实际正迅速发展,数据湖,大数据分析将来的8大趋向
作者头像
  • 彭慧君
  • 2020-08-31 19:16:39 5

大数据和分析领域的前沿趋势涵盖了多种技术和方法,旨在帮助企业更好地管理和利用海量数据。尽管技术选项尚未完全成熟,但企业已经不能等待,必须积极应对。

1. 云中的大数据分析

随着技术的发展,越来越多的工具能够在云端处理数据。例如,Amazon的Redshift、Google的BigQuery、IBM的Bluemix和亚马逊的Kinesis等服务都在提供云数据分析解决方案。Forrester Research的分析师Brian Hopkins认为,未来大数据的形态将是混合部署,即内部部署和云端部署相结合。

Smarter Remarketer是一家位于印第安纳波利斯的公司,它将数据迁移到Amazon Redshift的云数据仓库,从而实现了更高效的管理和分析。雅培表示,Redshift的成本效益更高,尤其是因为其具备强大的结构化数据报告功能。

2. Hadoop:新的企业数据操作系统

Hadoop正在演变为一种通用的数据操作系统,支持各种类型的数据操作和分析。例如,MapReduce正在演变为分布式资源管理器,这使得Hadoop能够更好地处理不同类型的数据。Intuit已经在其Hadoop平台上构建了自己的解决方案,以支持各种交互和分析任务。

3. 大数据湖

大数据湖允许企业在不预先设计数据模型的情况下,将所有数据汇集在一起。这种方法使得数据分析师可以更灵活地处理数据,但也要求使用者具备较高的技术能力。Intuit正在构建自己的数据湖,注重“民主化”工具,使商务人员也能有效利用这些数据。

4. 更具预测性的分析

大数据与强大的计算能力相结合,使得分析师能够处理大量记录,并从中提取出有价值的信息。传统机器学习算法难以处理这种大规模数据,但现在可以通过高性能计算资源来解决这些问题。Intuit正在测试Apache Spark及其相关的SQL查询工具,以实现更快的实时分析和预测建模。

5. Hadoop上的SQL:更快,更好

虽然可以直接在Hadoop中处理数据,但许多企业更倾向于使用熟悉的技术,如SQL。Hadoop上的SQL产品使得业务用户能够更方便地使用这些数据,而不必依赖于高端数据科学家。商业替代产品不仅提供了更高的性能,还支持“迭代分析”,即分析师可以快速提出问题并获得答案。

6. 更多,更好的NoSQL

NoSQL数据库作为一种替代关系型数据库的方法,正在迅速普及。例如,具有关系图数据库功能的NoSQL产品(如ArangoDB)提供了更快、更直接的方法来分析复杂的数据关系。普华永道的客户正在使用NoSQL数据库来处理传感器数据,以监控产品的使用情况。

7. 深度学习

深度学习是一种基于神经网络的机器学习技术,它在处理大量非结构化数据方面表现出色。深度学习算法能够识别和推断大量数据中的模式,而无需事先建模。例如,Google在2012年建立的神经网络可以识别图像中的物体,这表明深度学习在未来将发挥重要作用。

8. 内存分析

内存数据库在适当环境下可以显著提升分析速度。然而,过度使用HTAP可能会导致成本增加。Intuit正在采用Apache Spark来处理大部分分析任务,而不是全面采用内存数据库,以平衡成本和性能。

抢先一步

随着大数据和分析领域不断涌现出新的趋势和技术,企业需要为分析师和数据科学家创造实验和创新的条件。IT经理和实施者不能以技术成熟度不足为理由推迟实验。相反,他们应该与分析师合作,逐步将新技术整合到业务流程中。

    本文来源:图灵汇
责任编辑: : 彭慧君
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
数据数据分析趋向将来迅速实际发展技术
    下一篇