偶数科技亮相2023中国程序员节——数据库技术高峰论坛
作者头像
  • 钟文萍
  • 2023-11-02 00:00:00 3006

近期,由国内软件行业协会发起的“中国程序员节”在首都北京、南方的深圳与东南沿海的宁波等地同步举行。在此次盛会上,一场聚焦数据库技术的高峰会议在北京召开,偶数科技代表出席并以《大模型与即时需求驱动湖仓平台开放化》为主题发表演讲。

面对全球政治经济格局的复杂演变与科技竞赛的激烈竞争,数据库技术作为关键基础设施,其在信息处理、决策辅助、数据分析领域的角色愈发重要。为此,此次论坛汇集了行业内的专家与学者,共同探讨多模态数据库、分布式架构、国产数据库迁移、湖仓一体化解决方案以及开源社区的发展趋势,旨在加深开发者对最新技术及其应用场景的理解,拓宽专业视野。

当前,人工智能与实时场景的需求日益增长,AI与实时技术已成为企业数据平台不可或缺的核心竞争力。偶数科技的市场总监杨哲在论坛上分享了如何利用开放的数据平台,结合AI与实时技术,为企业提供全面赋能的方法。

在数据存储层面,偶数科技倡导采用开放格式的数据存储方式(例如Parquet、ORC、Hudi等),以实现数据的高效共享与复用。通过统一的开放文件格式,数据能被多个计算引擎多次直接读取与操作。

为优化计算流程,偶数科技建议减少计算引擎数量,根据不同数据类型(如流数据、非结构化数据、结构化数据)选择最适合的引擎。对于流数据处理,推荐使用Flink;非结构化数据与机器学习应用则可依托Spark平台;而针对结构化数据的处理,则需选配兼容开放数据格式、支持实时查询、离线分析、高并发与高可用性的分析引擎,如偶数自主研发的OushuDB。

通过构建开放格式、单一数据存储机制与多引擎协同工作的架构,即所谓的“一数多擎”,偶数科技提出了一种应对企业数据挑战的有效策略——实时湖仓(Realtime Lakehouse)。这种架构不仅简化了数据处理流程,而且能够充分发挥各引擎的优势,实现资源优化配置。

在实践中,偶数科技在多个行业推行湖仓一体解决方案时,不断总结并优化“一数多擎”的实施策略。企业在选择计算引擎时应遵循“化繁为简”与“扬长避短”的原则,以确保系统稳定、高效地运行,满足不同业务场景的需求。

    本文来源:图灵汇
责任编辑: : 钟文萍
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
偶数中国程序员高峰亮相数据库技术科技论坛2023
    下一篇