以数据赋能,星环科技支撑上海市大数据资源平台建设
作者头像
  • 田燕妮
  • 2021-02-02 10:17:40 0

上海市大数据中心的核心业务主要集中在两个方面:整合和管理全市数据资源,以及推动全市“一网通办”建设。建设大数据资源平台主要是为了汇聚和管理全市的数据,并服务于“一网通办”业务。

该平台的核心需求主要包括:

  1. 公共数据的汇聚:实现全市各部门和各区政务数据的统一归集、整合、共享和开放。
  2. 公共数据的管理:实现有序和按需的公共数据管理,统一数据技术、业务和管理标准,并定期监控数据质量。
  3. 公共数据湖和基础库的构建:汇集来自70多个单位的原始数据,形成市级数据湖,并通过业务管理形成四大基础库和相关行业应用主题库。
  4. 租户资源和开发环境的提供:通过大数据资源平台提供租户资源和开发环境,减少各部门自建平台的需求。
  5. 智慧城市应用的数据和算力支持:大数据资源平台为全市智慧城市应用提供数据、算力和算法的底层支撑,包括“一网通办”查询、高考分数查询、健康码等高频访问的“互联网+政务服务”。

星环科技的TDC数据云平台为大数据资源平台提供了重要的技术支持。

星环科技TDC数据云平台作为大数据资源平台的技术基石

星环科技的政务大数据云平台系统架构如下:

大数据资源平台的主要组成部分

大数据资源平台主要由五个部分组成:大数据基础支撑平台、数据管理平台、数据分析平台、数据共享交换平台以及数据资源中心。其中,基于星环数据云平台(TDC)构建的大数据基础支撑平台是平台的核心技术底座,为平台提供多架构联邦管理、多租户资源管理、多模型数据处理、多源异构数据存储和全技术场景支撑。

大数据基础支撑平台不仅提供技术支撑,还为数据资源中心提供基础运行支撑,并为数据管理平台提供架构支撑。它涵盖了数据承载、共享交换管理、三清单、目录管理、数据质量管控、数据安全保障与数据服务等六大关键能力。

数据流程与功能

基于大数据基础支撑平台,数据归集子系统将各区、各委办局以及边缘侧物联感知设备的数据实时接入,数据汇集到数据资源中心的数据湖(低价值数据区)。数据管理平台负责管理、分类数据湖中的低价值数据,形成高价值的数据资产,构建数据资源中心的基础库/主题库,并为数据共享交换平台提供资源目录,服务于顶层应用。数据分析平台通过对资源中心内数据的AI分析,提供数据分析展示服务,支持顶层应用。数据共享交换子系统则作为大数据资源平台的门户,与外部应用对接,实现数据资源的共享与请求审批、数据接口封装与下发等功能。

建设过程

上海市大数据中心采用“以测代建”的方式,邀请多家大数据厂商参与平台建设,最终通过实际测试选择了星环科技等合作伙伴来搭建大数据资源平台。在此过程中,星环科技主要负责大数据基础支撑平台的搭建工作,提供大数据存储和计算能力的基础平台,并按照门户集成规范进行二次开发,实现用户和权限的统一管理,提供相关接口服务。此外,星环科技还参与了公共数据归集的实施,并开发了指导驾驶舱功能,探索数据应用展示。

平台建设阶段

上海市大数据资源平台的建设可分为两个阶段:

  1. 数据共享交换平台阶段:这一阶段的主要任务是建设数据通道,服务于“一网通办”建设。此阶段还包括五个分包:总集成及部分应用开发、数据管理子系统、数据共享交换子系统、数据质量监管及支撑子系统以及大数据支撑管理子系统。星环科技主要负责大数据支撑管理子系统的建设。

  2. 大数据资源平台阶段:在第一阶段成功建设通道后,平台进入数据接入与应用运营阶段。在此阶段,平台持续接入各委办局的数据,直至全面覆盖。上海市大数据中心优先考虑接入能服务“一网通办”建设的公共数据。

实践成果

上海市大数据中心与星环科技的合作为大数据资源平台提供了强大的技术支持,具体体现在以下几个方面:

  1. 公共数据汇聚:上海市大数据中心通过星环科技政务大数据云平台实现了对74个公共管理和服务机构、16个区、四大库等各类政务数据资源的汇聚。
  2. 公共数据管理:星环科技建立了市、区两级的数据资源共享体系,包括组织角色、平台工具、标准规范和管理制度,确保数据资源的有效管理和利用。
  3. 公共数据湖和基础库的构建:平台构建了包含业务数据、物联数据、视频图片、地图数据以及华联数据的数据湖,并形成了综合人口、综合法人、空间地理、城市信用、电子证照、宏观经济的基础库以及标准地址、家庭关系、房屋地址、一网通办、城市管理、经济运行的主题库。
  4. 租户资源和开发环境的提供:大数据基础支撑平台基于多用户管理框架,为各部门提供租户资源和开发环境。
  5. 数据与算力资源的支持:星环科技搭建的大数据基础支撑平台为上海大数据云平台提供了大数据存储、查询和计算能力。
  6. 疫情时期的“随申码”应用:疫情期间,星环科技借助容器云技术,迅速研发、测试并上线了“随申码”,确保每秒支持20万以上的并发查询。截至2020年9月,“随申码”累计亮码超过12.6亿次,用户数超过3400万。
  7. 其他基层应用支持:星环科技还为上海市“一网通办”、市民主页、2019及2020年的中高考成绩查询、上海随申办市民云提供了基础软件和技术支持。
    本文来源:图灵汇
责任编辑: : 田燕妮
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
星环数据上海市支撑建设资源平台科技
    下一篇