标准规范下载简介

GB／T 38672-2020 信息技术 大数据 接口基本要求.pdf

ICS 35.240 L. 67

GB/T38672—2020

信息技术 大数据 接口基本要求

本标准按照GB/T1.1一2009给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本标准由全国信息技术标准化技术委员会（SAC/TC28)提出并归口。 本标准起草单位：华为技术有限公司、中国电子技术标准化研究院、浪潮电子信息产业股份有限公 司、浪潮软件集团有限公司、智慧神州（北京）科技有限公司、美林数据技术股份有限公司、深圳讯策科技 有限公司、北京软件和信息服务交易所有限公司、内蒙古大学、中电长城网际系统应用有限公司、西藏国 路安科技股份有限公司。 本标准主要起草人：光亮、符海芳、杨彦林、王为中、尹卓、赵江、王功明、黄先芝、张慧敏、赵志强、 刘雪、董艳、李华、闵京华、龙祥、孙嘉阳、李冰。

本标准按照GB/T1.1一2009给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本标准由全国信息技术标准化技术委员会（SAC/TC28)提出并归口。 本标准起草单位：华为技术有限公司、中国电子技术标准化研究院、浪潮电子信息产业股份有限公 同、浪潮软件集团有限公司、智慧神州（北京)科技有限公司、美林数据技术股份有限公司、深圳讯策科技 有限公司、北京软件和信息服务交易所有限公司、内蒙古大学、中电长城网际系统应用有限公司、西藏国 路安科技股份有限公司。 本标准主要起草人：光亮、符海芳、杨彦林、王为中、尹卓、赵江、王功明、黄先芝、张慧敏、赵志强 刘雪、董艳、李华、闵京华、龙祥、孙嘉阳、李冰

本标推给出了基于天数据参 接口的基本要求。 本标准适用于指导 应用部著

依据GB/T35589一2017描述的大数据参考架构，数据提供者将新的数据或信息引入大数据系统。 数据消费者使用大数据应用提供者提供的应用。大数据应用提供者执行数据生命周期操作，以满足系 统协调者定义的需求以及安全和隐私保护需求。大数据框架提供者建立一种计算框架，在此框架中执 行转换应用，同时保护数据完整性和隐私。在数据提供者、数据消费者、大数据应用提供者、大数据框架 提供者、安全和隐私、管理模块之间存在丰富的接口，支持模块间的信息传递和互操作，对大数据系统集 成、兼容性、互操作性有着重要影响。模块内的组件间也有接口支持组件间的互操作。按照所连接的模 块可以对接口进行分类。各类别的接口提供相应的信息传递和交互功能，满足接口使用对象的需求。 本标准基于GB/T35589一2017描述的大数据参考架构，给出接口框架（见图1），包含数据提供者、 数据消费者、大数据应用提供者、大数据框架提供者、安全和隐私、管理模块之间的接口： 接口1是数据提供者与大数据应用提供者之间的接口； 接口2是数据消费者与大数据应用提供者之间的接口； 接口3是大数据应用提供者与大数据框架提供者之间的接口； 接口4是管理模块与其他模块（数据提供者、数据消费者、大数据应用提供者、大数据框架提供者、 安全和隐私）间的接口； 接口5是安全和隐私模块与其他模块（数据提供者、数据消费者、大数据应用提供者、大数据框架提 供者、管理）间的接口。 注：本标准不涉及大数据参考架构中的系统协调者与大数据应用提供者间的接口

示一个模块与多个模块之间

图1基于大数据参考架构的接口框架

一方面，数据提供者通过接口1向大数据应用提供者传送需要分析或处理的数据，包括结构化数 、半结构化数据和非结构化数据等各种数据格式。另一方面，大数据应用提供者可以通过接口1向数 提供者传递数据请求。 接口1的常见类别包括但不限于： a）数据访问接口：用于实时访问数据提供者的数据信息，包括业务系统访问接口、数据库访问接 口、文件访问接口等各种数据来源接口，可由数据提供者开放二次开发接口、从数据提供者应 用层面接口重构生成、或通过数据库生成数据库表访问接口等方式提供。 b） 数据采集接口：用于将数据提供者的数据信息按照一定的原则和规则进行获取，并按照指定的 方式存储。 C 数据核验接口：用于按照数据共享开放准则、信息保护和访问服务约束，进行跨层级、跨部门、 跨系统数据在线核验，返回核验信息。 注：例如来源于某一信息系统的单一信息核验、多项信息联合核验，及来源于多信息系统的某一信息联查对 比、多项信息联合比对核验等

一方面，数据提供者通过接口1向大数据应用提供者传送需要分析或处理的数据，包括结构 、半结构化数据和非结构化数据等各种数据格式。另一方面，大数据应用提供者可以通过接口1「 提供者传递数据请求。 接口1的常见类别包括但不限于

GB/T 38672—2020

共享数据同步更新《国家电网公司输变电工程通用设计 110(66)～750kV变电站分册110kV变电站A3方案》2011，不需要重复录人。这类接口在跨层级、跨系统业务数据共享共用、系统 联互通中广泛使用。

一方面，大数据应用提供者通过接口3向大数据框架提供者下发数据计算、存储或访问指令，利用 数据框架提供者的各类计算、存储和网络资源。另一方面，大数据框架提供者通过接口3向大数据应 提供者返回数据计算的结果或需要访问的数据。大数据框架提供者包括各类计算、存储组件，一般基 开源版本进行增强。 根据访问的大数据框架提供者组件，接口3的常见类型包括但不限于： a）离线计算接口：用于对数据进行离线计算，支持数据读取、分发、聚集、输出等操作。同时对计 算任务进行编排和调度； b）内存计算接口：用于使用内存对数据进行计算、分析，支持数据聚集、数据集转换等操作； c 分布式文件存储接口：用于对分布式文件数据进行交互，支持文件系统连接、文件访问、文件流 及存储空间管理等操作； d 分布式列式存储接口：用于对分布式列式数据进行交互，支持实时查询、分析等操作； e） 关系型数据库接口：用于对关系型数据进行交互，支持数据库连接、数据库管理、数据表管理、 数据访问等操作； f 多维分析数据库接口：用于对多维数据进行交互，支持数据查询，和数据表的动态修改等操作； g 分布式内存数据库接口：用于对分布式内存数据进行交互，支持数据库连接、数据访问、数据管 理等操作； h） 海量全文检索接口：用于对海量文本数据进行检索和查询，支持索引库连接、数据表管理、数据 访问等操作

一方面，管理模块通过接口4向大数据系统的其他模块发送监控、配置指令，监管大数据系统其他 模块的资源和运行状态。另一方面，大数据系统的其他模块通过接口4向管理模块传送自身状态、配置 请求、出错或告警信息。