上海市大数据中心的核心业务主要集中在两个方面:整合和管理全市数据资源,以及推动全市“一网通办”建设。建设大数据资源平台主要是为了汇聚和管理全市的数据,并服务于“一网通办”业务。
该平台的核心需求主要包括:
星环科技的TDC数据云平台为大数据资源平台提供了重要的技术支持。
星环科技的政务大数据云平台系统架构如下:
大数据资源平台主要由五个部分组成:大数据基础支撑平台、数据管理平台、数据分析平台、数据共享交换平台以及数据资源中心。其中,基于星环数据云平台(TDC)构建的大数据基础支撑平台是平台的核心技术底座,为平台提供多架构联邦管理、多租户资源管理、多模型数据处理、多源异构数据存储和全技术场景支撑。
大数据基础支撑平台不仅提供技术支撑,还为数据资源中心提供基础运行支撑,并为数据管理平台提供架构支撑。它涵盖了数据承载、共享交换管理、三清单、目录管理、数据质量管控、数据安全保障与数据服务等六大关键能力。
基于大数据基础支撑平台,数据归集子系统将各区、各委办局以及边缘侧物联感知设备的数据实时接入,数据汇集到数据资源中心的数据湖(低价值数据区)。数据管理平台负责管理、分类数据湖中的低价值数据,形成高价值的数据资产,构建数据资源中心的基础库/主题库,并为数据共享交换平台提供资源目录,服务于顶层应用。数据分析平台通过对资源中心内数据的AI分析,提供数据分析展示服务,支持顶层应用。数据共享交换子系统则作为大数据资源平台的门户,与外部应用对接,实现数据资源的共享与请求审批、数据接口封装与下发等功能。
上海市大数据中心采用“以测代建”的方式,邀请多家大数据厂商参与平台建设,最终通过实际测试选择了星环科技等合作伙伴来搭建大数据资源平台。在此过程中,星环科技主要负责大数据基础支撑平台的搭建工作,提供大数据存储和计算能力的基础平台,并按照门户集成规范进行二次开发,实现用户和权限的统一管理,提供相关接口服务。此外,星环科技还参与了公共数据归集的实施,并开发了指导驾驶舱功能,探索数据应用展示。
上海市大数据资源平台的建设可分为两个阶段:
数据共享交换平台阶段:这一阶段的主要任务是建设数据通道,服务于“一网通办”建设。此阶段还包括五个分包:总集成及部分应用开发、数据管理子系统、数据共享交换子系统、数据质量监管及支撑子系统以及大数据支撑管理子系统。星环科技主要负责大数据支撑管理子系统的建设。
大数据资源平台阶段:在第一阶段成功建设通道后,平台进入数据接入与应用运营阶段。在此阶段,平台持续接入各委办局的数据,直至全面覆盖。上海市大数据中心优先考虑接入能服务“一网通办”建设的公共数据。
上海市大数据中心与星环科技的合作为大数据资源平台提供了强大的技术支持,具体体现在以下几个方面: