Skylab 5.0的核心组件包括:
OushuDB:自主研发的云原生分布式数据库,具备高性能、高并发与高可用性,且兼容国产软硬件平台,符合信创标准。借助新一代执行器,OushuDB大幅提升批处理与即时查询效率,支持PB级大数据复杂查询,性能超越传统MPP与SQL-on-Hadoop系统一个数量级。采用计算存储分离技术,优化扩展能力,支持主流云平台接入。新版本通过Hive元数据集成,支持直接使用HDFS存储的数据,同时增强了Magma稳定性和性能,支持HDFS协议URL完整集成与文本/CSV格式、GZ压缩数据类型处理。
LittleBoy:自动化机器学习平台,集成数据预处理、深度学习、AutoML、模型管理与AI服务,通过可视化交互简化模型创建流程。支持监督与无监督学习,内置算法丰富,结合OushuDB高效读写能力,加速模型收敛,助力快速实现业务价值。
Kepler:数据分析与应用平台,提供数据资产整合与高效分析功能,支持指标、标签、报表、模型共享,优化数据访问与应用性能。
Orbit:数据资产管理平台,提供可视化的数据资产图谱、自动分类、多维血缘分析与数据标准实施,提升数据运营效率与价值。
Flow:数据开发与调度平台,支持任务调度与大规模集群管理,提供高性能、高吞吐的数据处理与调度服务,包括作业重跑、历史任务追踪等功能。
Wasp:数据工厂,实现多源数据的高效同步与加工,确保数据一致性,支持实时与离线同步,灵活处理数据容错与断点续传。
Lava:平台集群管理与运维服务,提供安全可靠的基础服务,包括用户管理、权限控制与消息管理,简化运维工作,提升效率。
此外,Skylab 5.0实现了湖仓一体的ANCHOR标准特性,通过虚拟计算集群技术实现数据与查询一体化,支持大规模集群上的高并发处理,保障事务支持与实时能力,形成一个统一的数据平台,统一业务数据与元数据管理。这一平台革新了数据处理模式,显著提升了数据应用的效率与灵活性。