释放数据价值,华为云为何底气十足?
作者头像
  • 雷富斯
  • 2020-09-13 08:21:34 1

假如说石油定义了20世纪的发展,那么数据正在快速地塑造21世纪。尤其在数字化进程不断加速的背景下,数据已成为整个社会运行的基石。正如舍恩伯格在其著作《大数据时代》中指出,大数据引发的信息风暴正深刻改变我们的生活、工作和思维方式,开启了重大的时代变革。

当前,企业在进行数字化转型和智能化升级的过程中,离不开数据的支持。就像石油需要经过提炼才能应用于各行各业一样,数据也需要经过整合、加工和处理,才能更好地被分析和利用。

然而,从数据到实现数据价值的全生命周期并非易事。当前,由于数据规模庞大、种类繁多以及实时性要求高等因素,数据价值的实现仍存在较高的技术门槛。因此,如何降低这一门槛,成为了各行各业实现数字化转型和智能化升级的关键问题。

数据湖是一个虽然并不新鲜却日益受到重视的概念。业界普遍认为,数据湖是降低大数据技术门槛并加速数据价值实现的最佳途径之一。尤其是在企业上云的趋势推动下,云计算提供的灵活性、敏捷性和高效性,正为数据湖注入前所未有的活力,使其成为越来越多用户实现数据价值的首选。

在众多数据湖解决方案中,华为云的智能数据湖FusionInsight在业内享有盛誉。不仅因为华为云在数据湖领域拥有全面的技术、产品和方案,更因为这些方案已在金融、电信等行业得到了充分的应用和验证。

最近,在华为云TechWave 2020大数据专题日活动中,华为云介绍了其智能数据湖FusionInsight的最新进展,包括MRS大数据引领全球大数据技术的发展,新一代全场景数据仓库GaussDB(DWS),以及一站式融合、开放的数据运营平台DAYU等产品,为用户描绘了一幅完整的数据湖蓝图。

为了满足政企用户在物联网和运维监控等场景下对数据仓库实时性的需求,华为云在TechWave 2020大数据专题日发布了GaussDB(DWS)实时数仓新品。

正如华为云人工智能领域总裁贾永利所说:“华为云希望通过大数据技术普惠创新,帮助各行各业真正释放数据的价值。”

华为云FusionInsight:非同寻常的数据湖

自2010年首次提出以来,数据湖已走过十年历程,其在数字化时代的巨大价值愈加凸显。时至今日,数据已经成为数字化时代不可或缺的生产资料,正在加速重塑企业的生产和运营模式。数据湖的最大价值在于能够帮助用户清晰地管理从数据存储、数据汇集到数据挖掘的全过程。这看似简单的步骤,却是数字化时代发挥数据价值不可或缺的基础。

华为云人工智能领域总裁贾永利表示:“为了应对企业面临的各种挑战,华为云推出了智能数据湖FusionInsight,围绕客户在使用数据、管理数据全生命周期方面提供整体解决方案。”

华为云FusionInsight智能数据湖方案具备构建大型集群的能力,支持单集群达2万节点,处于行业领先地位。其采用湖仓一体设计,将批处理和交互式查询融合,实现了“零”数据迁移。数据可以T+0实时入库、生产和分析,大大提升了数据分析和应用的速度,满足了实时性的需求。此外,华为云FusionInsight作为统一的数据湖,易于实现统一管理。

华为云FusionInsight智能数据湖包含MRS大数据、GaussDB(DWS)数据仓库、GES图计算、DAYU数据运营等多种强大的云服务。

其中,华为云FusionInsight MRS大数据和GaussDB(DWS)数据仓库可以帮助用户在数字化转型中建立坚实的数据基础,并通过HetuEngine数据虚拟化引擎简化数据使用、提高效率。同时,DAYU一站式数据运营平台支持接入各种类型的数据,包括日志、文本、视频、音频、图片等,并通过多样性算力和CarbonData实现全局统一格式存储,为伙伴开发50多个数据集成开发API,助力数据生态系统的发展。

华为云FusionInsight智能数据湖方案之所以广受好评,关键在于其在核心行业的实际应用中得到了充分验证。目前,该方案已在全球60多个国家和地区得到应用,服务于3000多个客户,拥有800多个合作伙伴,广泛应用于金融、电信、政府、能源、医疗、制造、交通等多个行业。

以工商银行为例,数据在金融机构中的作用日益显著。作为全球领先的商业银行,工商银行致力于探索数据驱动的金融服务新模式,不断推动基于数据的创新应用。华为云FusionInsight智能数据湖帮助工商银行建立了大数据云平台,解决了大数据全场景生态化应用中的存储、算力和算法难题,推动了企业级数据湖、数据仓库和集团信息库的建设,促进了数据智能服务从预先阶段快速演进到事前和事中阶段,大幅提升了各项金融服务的创新速度。

GaussDB(DWS):十年磨一剑的新数仓

在大数据时代,数据仓库正面临巨大的变革。随着数据规模的扩大、数据类型的增多以及实时分析需求的提升,传统数据仓库难以满足各行业对数据分析的需求。

例如,过去数据仓库主要对接的是企业外部的交易数据,而现在企业希望数据仓库能够对接更多元化的数据源,如行为数据、CRM数据、财务数据等。这些新增的数据源导致数据量急剧增加,对数据仓库的架构、性能和稳定性提出了更高的要求。

像数据仓库在大规模集群上的挑战,随着集群规模的扩大,数据仓库对资源和连接的需求呈指数级增长,会导致端口占用、资源占用等一系列问题。解决这些问题需要新一代数据仓库在架构上实现突破。例如,在华为云TechWave大数据专题日上,华为云发布的GaussDB(DWS)新一代全场景云数据仓库就带来了全新的思路。

作为一款十年磨一剑的新产品,华为云GaussDB(DWS)新一代全场景云数据仓库具有以下特点:

  • 架构优化:采用无共享的分布式架构,突破了大规模通信和大规模集群管理等一系列关键技术,支持单集群PB级以上的数据容量,设计规格最大可扩展至2048个节点。随着节点数的增加,集群性能和容量线性增长,线性加速比大于0.9。

  • 高性能计算:采用全并行计算架构,支持多个物理节点并行计算,并在一个物理节点中支持多个CPU核心并行计算,甚至在一个CPU核心的指令序列中支持SIMD指令,实现一条指令同时操作多条数据,充分聚合海量算力资源。此外,GaussDB(DWS)还采用了智能优化器技术、高效的算子算法和动态编译等核心技术,带来了高效的指令效率。在海量算力资源和高效指令效率的双重加持下,数据仓库的数据导入和分析速度大幅领先。例如,TB级数据可以在几分钟内导入,百亿行数据的关联分析可以在几秒钟内完成。

  • 高可靠性和稳定性:采用多层备份和多级保护机制,极大地提升了其稳定性和可靠性。例如,在GaussDB(DWS)系统部署中,关键硬件如磁盘、交换机、网卡、主机电源等都有冗余备份。所有软件组件如CN、DN、GTM、CM Server等均实现了实例多活或Active-Standby互备。同时,全方位的软硬件故障检测功能可以快速检测和响应,实现自动故障切换,保证业务持续可用。

从2011年开始,华为十年来一直在致力于GaussDB(DWS)产品的研发,并在金融、电信、政府等多个行业积累了丰富的经验和严格的测试。目前,全球已有超过500家大客户采用了华为GaussDB(DWS)产品。例如,全球最大的商业银行——工商银行,已经成功将GaussDB(DWS)应用于全球知名数据仓库产品的替代。

未来,华为云GaussDB(DWS)将继续优化内核能力,以支持更大规模的集群、更强的实时分析能力和更高的系统稳定性,并将重点打造Cloud-Native云数据仓库,面向云环境,持续优化引导式、全流程、在线可视化的运维能力,以及在线快速弹性伸缩能力。此外,数据协同能力、新型硬件支持能力以及分析边界的拓展也将是华为云GaussDB(DWS)未来持续突破的重点。

普惠数据创新:华为云信心满满

在华为云智能数据湖FusionInsight解决方案中,除了华为云GaussDB(DWS),还有CarbonData和DAYU这两个重要的数据“利器”。

华为云CarbonData专注于数据存储的优化,实现了全局一份数据、统一格式存储,提高了数据使用的效率。华为云DAYU则是一个融合、开放的云化数据运营平台,支持30多种数据源对接,实现全域联邦数据资产管理。其开放架构体系围绕数据应用构建了端到端的完整工具平台,同时,通过共享型行业资产模型,数据资产化效率提升了三倍,支持伙伴快速构建行业数据资产生态系统。

实际上,数据湖的十年发展历程可谓曲折而充满变化。十年间,各种类型的厂商都在努力加速数据湖的落地,但一个有趣的趋势日益显现,那就是以华为云为代表的云服务提供商正在成为数据湖落地的重要推手。

像华为云这样的云服务提供商之所以能够极大地推动数据湖在各行业的落地,原因在于:

  • 数据湖不是单一的技术,而是多种与数据相关的技术组合。需要充分发挥这种组合的力量,而华为云这样的云服务提供商正好能够提供全面而强大的产品和技术组合,加速数据湖在用户中的落地应用。
  • 云服务的方式是数据湖落地的理想载体。云服务方式屏蔽了传统模式的复杂性,提供了前所未有的灵活性、敏捷性和技术的快速迭代。随着企业用户上云的趋势,云服务提供商将云计算的优势与数据湖相结合。
  • 华为云FusionInsight智能数据湖解决方案已经在金融、电信、制造、政府等多个行业场景中得到了实际应用和验证,其完整度和能力都得到了充分保障。

正是这些因素,构成了华为云在数据湖落地和加速用户实现数据价值的强大信心。数据湖已经走过了十个年头,未来随着5G、物联网等技术的应用,用户对于数据湖的需求必将进一步提升,而华为云智能数据湖FusionInsight有望迎来更加广阔的舞台!

    本文来源:图灵汇
责任编辑: : 雷富斯
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
华为底气十足释放为何价值数据
    下一篇