为促进数据要素市场的快速发展,更好地支持国家大数据战略,推动“十四五”期间大数据产业的合作与交流,近日,由国家信息通信研究院与中国通信标准化协会联合主办的2020大数据产业峰会·成果发布会在线上顺利举行。会上,国家信息通信研究院云大所所长何宝宏发布了《2020大数据十大关键词》。
2020年4月,《中共中央、国务院关于构建更加完善的要素市场化配置体制机制的意见》正式发布,明确了土地、劳动力、资本、技术和数据五大要素领域的改革方向。数据作为新型生产要素,受到了前所未有的重视。由于数据具有可无限复制、通用性强、流动性高、难以确权等特点,传统的资源配置模式无法完全适应。因此,数据要素市场的培育需要新的制度和机制,需要在法规、机制和技术等方面进行大胆创新。
数据管理的目标是释放数据的价值,其核心在于保障数据的安全、有序管理和流动,提升数据质量。近期,国家各部门陆续出台了多项数据管理的相关政策法规,数据管理的重要性愈发突出。例如,全国人大发布了《数据安全法(草案)》,中国银保监会开展了数据质量专项管理工作,地方网信办出台了《数据安全管理办法》等。此外,工信部积极推进数据管理能力成熟度评估(DCMM)。智能化是数据管理的新特点之一,它不仅为人工智能提供了高质量的数据,还提高了数据管理的效率。
数据流通不畅已成为制约大数据产业发展的重要因素。由于数据拥有者担心数据泄露,不愿共享数据,导致不同企业之间难以获取对方的数据进行联合分析或建模。为解决这一问题,大数据从业者探索了多种途径,其中隐私计算技术被认为是最有可能实现突破的关键。隐私计算主要分为多方安全计算和可信硬件两大流派。近年来,多方安全计算技术受到广泛关注,多家企业相继推出相关产品。根据信通院的统计,截至2020年上半年,已有15款多方安全计算产品通过评测。随着硬件升级和算法优化,多方安全计算产品的性能不断提高,并已在精准营销和金融风控等领域落地应用。
大数据技术经过十余年的演进,已经形成了丰富的技术栈,涵盖了查询引擎、计算引擎、存储引擎、数据集成和数据管理等多个方向。然而,企业对于大数据平台的需求更为综合,希望有一个能满足多个业务部门需求的一体化平台。这种平台将SQL层、计算层、存储层、资源调度层和管理层有机整合在一起,通过组件化和标准化设计,提供便捷的开发能力和丰富的运维能力。典型的例子包括Cloudera的CDP、阿里巴巴的MaxCompute、星环的TDH和华为的FusionInsight。
DataOps概念源自DevOps,已经成为近年来数据管理领域的重要趋势。DataOps是一种融合了数据开发、管理、分析和运营的方法论,强调灵活性、协作、自动化和价值导向。DataOps不仅促进了数据中台的良好运行,还通过自动化工具实现了数据生产的自动化,并建立了监测和反馈机制,持续改进数据生产流程,形成完整的闭环。
早期的大数据系统主要是为决策者提供依据,随着企业数字化转型的深入,业务人员也开始需要参与数据相关工作。数据与分析技能不再局限于IT人员,而是呈现“平民化”趋势。这意味着企业需要构建积极的数据文化,提供简单易用的数据服务和分析工具,鼓励业务人员掌握数据技能并分享成果。核心能力包括提供按需可得的数据集、简单易用的分析工具以及完善的数据管控机制。
存储与计算分离正在成为大数据和云数据库架构的重要趋势。传统架构下,数据的“就地计算”虽然减少了网络开支,但资源扩展时需要同时进行,导致资源浪费。而在分离架构下,存储层和计算层可以根据需求分别扩展,解决了混合计算存储带来的资源浪费问题,并且能更好地适应云计算的发展趋势。例如,Snowflake数据仓库提出了独特的存储、计算和管理服务分离架构,AWS的数据湖产品则通过统一集中存储数据降低了数据迁移成本。
近年来,国内数据库市场竞争加剧,越来越多的企业涌入这一领域。分布式数据库成为许多企业的重点布局方向。据统计,目前有30多款基于开源技术二次开发的分布式事务数据库产品。云数据库厂商、初创企业和传统数据库企业纷纷聚焦金融、电信、政府等行业,提供公有云和私有部署两种形式。为了在竞争中脱颖而出,供应商不仅需要打造过硬的产品,还需要构建完善的服务生态,与外部服务商紧密合作,提供咨询、实施和运维等服务,推进人才培养。
图数据库是一种以节点和边的形式存储数据关系的数据库,适用于社交、推荐系统等多种场景。近年来,图数据库在国内的发展速度显著加快,2020年以来,大型互联网企业如阿里云和腾讯云相继推出图数据库和图计算服务。图数据库也成为创业公司的热点,一些场景如知识图谱、金融风控和公共安全等领域已经有了落地案例。
优秀的大数据产品并不等同于成功的大数据项目,从产品到应用离不开实施、部署和运维等服务能力。主流的大数据产品厂商非常重视服务生态的建设,纷纷结合核心服务企业,围绕自身产品构建咨询、实施、管理和应用等服务体系。然而,企业的大数据服务能力和水平参差不齐,存在流程不规范、人员经验不足等问题,导致许多大数据项目以失败告终。为了规范大数据项目的实施,建立标准的服务流程和产出物,信通院联合多家企业制定了大数据服务成熟度模型系列标准,从技术、人员和流程等维度评价企业的大数据服务能力。