在大数据生态的构建中,安全是至关重要的基石。优刻得在USDP V3.1版本中显著提升了安全性,为数据保护和管理提供了更为全面的解决方案。引入的LDAP服务可视化配置集成功能简化了服务的管理和集成过程,只需通过配置向导即可为集群内的大数据服务组件无缝集成LDAP服务。此外,一键解除LDAP功能和对FreeIPA类型KDC的支持,为用户构建统一且灵活的安全管理系统提供了便利。
为应对日益增长的数据处理和分析需求,USDP V3.1版整合了Hudi、Iceberg、Canal等组件,进一步丰富了其大数据服务生态。Hudi和Iceberg提供高效的数据管理和存储能力,支持增量更新、事务性写入和元数据管理,助力构建湖仓一体的数据湖架构,实现数据统一存储与管理。而Canal作为流式数据采集工具,实现实时数据捕获与传输,满足实时数据采集和处理的需求。
针对YARN和Impala集群资源池的管理,USDP V3.1版提供了可视化动态配置工具,允许用户根据业务需求灵活调整资源分配策略。通过容量调度或公平调度模式的选择,确保不同业务获得合理的计算资源,有效应对复杂业务场景下的资源争抢问题。
新增的自定义监控图表功能为用户提供了个性化的监控体验,可根据业务需求自主选择关键指标并可视化展示。这不仅加速了对集群、主机及大数据服务状态的捕获,还支持指标的汇总与对比,便于快速获取关键监控数据。同时,USDP V3.1版支持用户自定义业务监控的拓展,通过扩展采集端采集更多系统或服务的监控指标,实现更全面的监控覆盖。
运维审计能力的增强为管理员提供了强大的监控工具,包括记录和展示关键状态变化的功能,帮助快速发现异常情况并及时处理。新增的操作日志审计功能,允许管理员追溯操作行为,通过筛选器快速检索操作日志,增强系统的安全性和合规性。通过实时监控平台、集群和大数据服务的关键信息,包括硬件资源异常、服务状态异常等,管理员能迅速识别和解决潜在问题。
此版本的全面升级旨在为企业提供更安全、高效、灵活的大数据生态体验,通过强化安全防护、拓展数据湖服务、优化资源管理、增强监控能力与运维审计,满足企业在数据处理、分析与管理方面的多样化需求。