一、什么是大数据

在维克托·迈尔-舍恩伯格和肯尼斯·库克耶编著的《大数据时代》中，大数据指的是不依赖于传统的抽样分析方法，而是对所有数据进行分析处理的方法。研究机构Gartner则将大数据定义为一种需要新的处理模式才能具备更强决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。维基百科认为，大数据是指无法在可接受的时间内用常规软件工具捕捉、管理和处理的数据集合。

我们主要采用第三种定义，即涉及的数据量规模庞大到无法通过目前主流软件工具在合理时间内获取、管理和处理，并转化为有助于企业运营决策的信息。

二、大数据对企业的好处

大数据在物理、生物、环境等领域以及军事、金融、通信等行业已经存在多年，但由于近年来互联网和信息技术的发展，它引起了人们的广泛关注。据统计，企业内部的运营交易信息、互联网中的商品物流信息、人际互动信息、位置信息等数据，每2至3年就会成倍增长。

信息是现代企业的重要资源，是科学管理和决策分析的基础。这些数据蕴含着巨大的商业价值，然而企业通常只利用总数据量的2%至4%。因此，企业并未充分利用现有数据资源，导致浪费时间和资金，并失去制定关键商业决策的最佳机会。

1. 帮助企业了解用户

大数据通过相关性分析，将客户和产品、服务关联起来，从而定位用户的偏好，提供更精准的产品和服务，提升销售业绩。典型例子是电子商务平台，如淘宝，积累了大量用户购买数据。这些数据现在是阿里巴巴最宝贵的财富。

大数据的效率和准确性远超传统用户调研方法。除了电商，大数据在能源、影视、证券、金融、农业、工业、交通运输、公共事业等多个领域都有广泛应用。

2. 帮助企业了解自身

除了了解用户，大数据还能帮助企业了解自身。企业运营需要大量资源，大数据可以分析和锁定资源的具体情况，例如储量分布和需求趋势。这些资源的可视化可以帮助企业管理者更直观地了解企业的运作状态，更快地发现问题，并及时调整经营策略，降低运营风险。总之，“知己知彼，百战百胜”，大数据正是为了支持决策服务的。

三、大数据的特点

大数据有四个主要特点：

1. 海量化：数据体量巨大，从TB级别跃升到PB级别。
2. 多样化：数据的形式多种多样，包括数字（如价格、交易数据、体重、人数等）、文本（如邮件、网页等）、图像、音频、视频、位置信息（如经纬度、海拔等）等。
3. 时效性：处理速度快，从数据生成到消耗的时间窗口非常短。数据的变化速率和处理过程越来越快，从按天变化变为按秒甚至毫秒变化。
4. 价值密度低：虽然数据量很大，但其中真正有价值的部分很少。只有合理应用并正确分析数据，才能获得高价值回报。

四、大数据的开发

1. 数据采集

数据采集可以通过线上和线下两种方式进行，线上通常通过爬虫抓取数据，线下则通过已有系统采集。

在这个阶段，我们可以构建一个大数据采集平台，使用自动爬虫（如Python或Node.js）进行数据抓取，使用ETL工具或自定义的抽取转换引擎从文件、数据库和网页中提取数据。如果这一步通过自动化系统完成，可以方便地管理所有原始数据，并在数据源头进行标签采集，规范开发人员的工作，同时更容易管理目标数据源。

数据采集的难点在于处理多数据源，如MySQL、PostgreSQL、SQL Server、MongoDB、SQLite等，还包括本地文件、Excel统计文档、Word文档等。如何将它们有计划地整合到大数据流程中是必不可少的一环。

2. 数据汇聚

数据汇聚是大数据流程中最关键的一步，可以在此添加数据标准化、数据清洗、数据合并等操作，还可以在此将数据存档。将确认可用的数据通过可监控的流程整理归类，这些数据将成为整个公司的数据资产，达到一定规模后就成为固定资产。

数据汇聚的难点在于数据标准化，例如表名标准化、表的标签分类、表的用途、数据量、是否有数据增量、数据是否可用等。这些需要在业务上下很大的功夫，必要时还需要引入智能化处理，如根据内容训练结果自动打标签、自动分配推荐表名和字段名等。

3. 数据转化与映射

经过数据汇聚的数据资产如何提供给具体的应用？在这一步，主要考虑数据如何使用，如何将几个数据表转换成一张可以提供服务的数据表，并定期更新增量。

经过前面的步骤，这一步的难点并不太多，主要是如何转换数据和如何清洗数据、标准化数据。例如，将两个字段的值转换成一个字段，或者根据多个可用表统计出一张图表数据等。

4. 数据应用

数据的应用方式很多，有对外的，也有对内的。如果拥有大量的数据资产，可以通过RESTful API提供给用户，或者提供流式引擎（如Kafka）给应用消费，或者直接组成专题数据供自己的应用查询。这里对数据资产的要求较高，因此前期工作做好了，这里的自由度很高。

五、大数据、数据分析和数据挖掘的区别

大数据、数据分析和数据挖掘的区别在于：

1. 大数据：指无法在可接受的时间内用常规软件工具捕捉、管理和处理的数据集合，是需要新处理模式才能具备更强决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
2. 数据分析：是指用适当的统计分析方法对大量数据进行分析，提取有用信息和形成结论的过程。这一过程也是质量管理体系的支持过程。在实际应用中，数据分析可以帮助人们作出判断，以便采取适当行动。
3. 数据挖掘：又称为数据探勘或数据采矿，是数据库知识发现（KDD）的一个步骤。数据挖掘是指从大量数据中通过算法搜索隐藏信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统等多种方法来实现。

数据挖掘是从大量、不完全、有噪声、模糊、随机的数据中提取隐含的、事先未知但潜在有用的信息和知识的过程。根据信息存储格式，用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时态数据库、异构数据库以及互联网等。

大数据是范围较广的数据分析和数据挖掘。按照数据分析的流程来说，数据挖掘工作较数据分析工作靠前一些，二者有重合之处，数据挖掘侧重数据的清洗和梳理。数据分析处于数据处理的最末端，是最后阶段。数据分析和数据挖掘的概念较为模糊，二者难以明确区分。大数据概念更为广泛，是把创新思想、信息技术、统计学等技术结合在一起的综合体。

六、大数据的应用

大数据在各个行业的应用越来越广泛，以下是其在当前的一些杰出表现：

1. 政府应用：大数据帮助政府进行市场经济调控、公共卫生安全防范、灾害预警、社会舆论监督。大数据还帮助城市预防犯罪，提升智慧交通水平，增强紧急应急能力。
2. 医疗应用：大数据在医疗领域的应用非常广泛，包括基因工程、疾病预测分析和每位病人的手术方案等。大数据帮助医疗机构建立患者的疾病风险跟踪机制，提升药品临床应用效果，为艾滋病研究机构提供定制药物。
3. 电商应用：大数据帮助电商平台向用户推荐商品和服务，帮助旅游网站为旅行者提供心仪的旅游路线，帮助二手市场交易双方找到最合适的交易对象，帮助用户找到最佳的商品购买时机、商家和最优惠的价格。
4. 企业应用：大数据帮助企业在营销方面更具针对性，降低物流和库存成本，减少投资风险，提升广告投放精准度。大数据还帮助社交网站提供更准确的好友推荐，为用户提供更精准的企业招聘信息，向用户推荐喜欢的游戏和适合购买的商品。
5. 娱乐行业：大数据帮助娱乐行业预测歌手、歌曲、电影、电视剧的受欢迎程度，并为投资者分析评估拍摄电影所需的投入金额，以避免亏损。电影制作过程中，通过云计算和大数据技术，原本需要数周时间的渲染工作，现在可以在短短几秒钟内完成。
6. 其他行业：大数据帮助航空公司节省运营成本，提升电信企业的售后服务质量，识别保险欺诈行为，提前预警快递公司的运输车辆故障，帮助电力公司识别即将出现故障的设备。

七、大数据的展望

除了上述大数据的应用外，未来大数据将在更多领域发挥作用，即使无法准确预测大数据将把人类社会带向何种最终形态，但我相信只要发展脚步不停止，由大数据引发的变革浪潮将迅速席卷全球的每一个角落。

例如，亚马逊希望最成功的书籍推荐只需要一本书——用户想要买的下一本书。谷歌也希望用户在搜索时，最佳体验是搜索结果只包含他们所需的内容，而不需要用户提供过多提示。

随着物联网的发展，通过条形码、二维码、RFID等唯一标识产品，传感器、可穿戴设备、智能感知、视频采集、增强现实等技术，可以实时采集和分析信息。这些数据将支持智慧城市、智慧交通、智慧能源、智慧医疗、智慧环保等理念的需求。这些所谓的智慧都将源于大数据的采集和应用。

未来的大数据不仅将更好地解决社会问题、商业营销问题和技术问题，还将有一个可预见的趋势——以人为本的大数据方针。人才是地球的主宰，大多数数据与人类息息相关，通过大数据解决人类的问题将是未来的方向。