Q/GDW 12118.1-2021 人工智能平台架构及技术要求 第1部分:总体架构与技术要求.pdf

Q/GDW 12118.1-2021 人工智能平台架构及技术要求 第1部分:总体架构与技术要求.pdf
仅供个人学习
反馈
标准编号:
文件类型:Q/GDW12118.1—2021
资源大小:5.1 M
标准类别:电力标准
资源ID:351075
下载资源

标准规范下载简介

Q/GDW 12118.1-2021 人工智能平台架构及技术要求 第1部分:总体架构与技术要求.pdf

ICS 35. 020

Q/GDW12118.1—2021

GBT29756-2013 干混砂浆物理性能试验方法.pdf人工智能平台架构及技术要求

Architectureandtechnicalrequirementsofartificialintelligenceplatforn

国家电网有限公司 发布

Q/GDW12118.12021

[Q/GDW 1211812021

为规范国家电网有限公司人工智能平台建设,明确人工智能平台架构和技术要求,提升公司人工智 能基础支撑能力及应用水平,制定本部分, 《人工智能平台架构及技术要求》标准分为三个部分: 一第1部分:总体架构与技术要求; 一第2部分:算法模型共享应用要求; 一第3部分:样本库格式要求, 本部分为《人工智能平台架构及技术要求》的第1部分。 本部分由国家电网有限公司互联网部提出并解释。 本部分由国家电网公司科技部归口。 本部分起草单位:中国电力科学研究院有限公司、国网山东省电力公司、全球能源互联网研究院有 限公司、国网浙江省电力有限公司、国家电网有限公司大数据中心、国家电网有限公司信息通信分公司、 国网信息通信产业集团有限公司、国网江苏省电力有限公司、南瑞集团有限公司。 本部分主要起草人:魏晓菁、蒲天骄、曾楠、王勇、高灵超、谢可、赵婷、蒋炜、张攀、王晓辉 徐康、冯珺、刘鹏、沈雪晴、席丁鼎、韦磊、蔡常雨。 本部分首次发布。 本部分在执行过程中的意见或建议反馈至国家电网有限公司科技部。

本部分规定了人工智能平台建设的架构要求和技术要求。 本部分适用于人工智能平台的规划、设计、建设和运维。

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文件。 凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。 GB/T5271.1一2000信息技术词汇第1部分:基本术语 GB/T5271.28—2001 信息技术词汇第28部分:人工智能基本概念与专家系统 GB/T 5271.29—2006 信息技术词汇第29部分:人工智能语音识别与合成 GB/T5271.31—2006 信息技术词汇第31部分:人工智能机器学习 GB/T5271.34—2006 信息技术词汇第34部分:人工智能神经网络

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文件。 凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。 GB/T5271.1一2000信息技术词汇第1部分:基本术语 GB/T5271.28—2001 信息技术词汇第28部分:人工智能基本概念与专家系统 GB/T5271.29—2006 信息技术词汇第29部分:人工智能语音识别与合成 GB/T5271.31—2006 信息技术词汇第31部分:人工智能机器学习 GB/T5271.34—2006 信息技术词汇第34部分:人工智能神经网络

下列术语和定义适用于本文件。

Q/GDW 12118.12021

3.7 深度学习deeplearning 深度学习是机器学习的一种,深度学习的概念源于人工神经网络的研究,含多个隐藏层的多层感知 器就是一种深度学习结构。

深度学习deeplearning 深度学习是机器学习的一种,深度学习的概念源于人工神经网络的研究,含多个隐藏层的 器就是一种深度学习结构。

语音识别speechrecognition 利用功能单元进行的,从语音信号到语音内容的某一表示的转换。 [GB/T5271.29—2006,定义29.01.30]

数据标注dataannotatior 通过分类、画框、注释等方式对数据进行标记,形成可供计算机分析识别的数据

数据标注dataannotatio 通过分类、画框、注释等方式对数据进行标记,形成可供计算机分析识另

人工智能平台架构要求包括: a 总体架构:规定人工智能平台总体结构以及和其它平台及组件的关系: b 功能架构:规定人工智能平台总体功能结构: C 技术架构:规定人工智能平台主体组件的技术选型和技术范围 d 数据架构:规定人工智能平台数据的架构; e) 多级协同:规定人工智能平台的总部、省、地市、边缘端的多级结构

人工智能平台架构应包括:模型库、样本库和训练运行平台3部分,这3部分基于国网云提供的基础 资源共同构成平台层。平台层和服务层构成人工智能中台,支撑应用层的各类业务应用。人工智能平台 总体架构如下图1,各部分要求为: a)人工智能平台的建设应基于国网云的CPU计算资源、AI芯片计算资源、存储资源和网络资源; b)实验训练应使用样本库的样本集,通过训练得到可用的模型,模型可输出至模型库; c)模型库存放训练出的算法模型或采购来的第三方算法模型; d)人工智能平台应提供模型推送功能,可通过云边协同套件推送至边侧设备:

[Q/GDW 121181202]

服务层应包括:计算机视觉、自然语言处理、智能语音和知识图谱等基础服务,以及变压器渗 漏油识别等专用服务; f 人工智能中台可支撑设备运维、电网调度、客户服务、安全管控和企业经营等电力业务: 名 边缘侧设备的样本数据可通过云边协同套件上传至样本库: h)平台层支撑各类人工智能服务,并通过服务支撑应用层的业务应用

5.2.2训练运行平台

图1人工智能平台总体架构图

训练运行平台应包括:模型训练、模型部署、模型评估和服务发布等4部分。各部分应满足的要 a)不同框架的环境创建采用统一的操作入口; 模型开发提供命令行式全功能操作方式; C 模型训练包括命令行式训练、可视化建模和自动化建模: d)模型评估包括模型选择、验证集选择、验证环境选择和结果展示

模型库应包括:模型管理和镜像封装2部分。模型库支撑的服务层的具体要求为: 基础模型服务可包括: 1)智能语音:语音识别和语音合成等; 2)自然语言处理:信息检索和问答对话等:

样本库应包括:样本管理和样本标注2部分,应满足如下要求: a)样本管理包括:样本数据集管理、标签管理和样本信息管理等; b)样本标注包括:文本标注、视频标注、音频标注和图像标注。

人工智能平台功能应包括:样本库、模型库和训练运行平台。人工智能平台功能架构如下图2,功 能架构应满足如下要求: a) 训练运行平台可分为训练环境和运行环境,训练环境包括:模型开发、模型训练、模型评估、 模型服务、算法管理、资源调度、权限管理和服务监控,运行环境包括:模型导入、模型校验、 模型部署、模型服务、服务发布、边缘部署、资源调度、权限管理和服务监控; D 样本库包括:样本资源服务目录、样本入库、样本预处理、样本标注、样本审核、样本集管理、 样本发布、样本脱敏、样本共享和存储管理; C 模型库包括:模型资源服务目录、模型文件存储、模型镜像封装、模型版本管理、模型调试、 模型同步和模型下载

[Q/GDW 1211812021

图2人工智能平台功能架构图

人工智能平台技术架构要求主要包括:应用层、服务层、能力层和资源层的要求。管理中 务层和能力层。人工智能平台技术架构如下图3:

人工智能平台技术架构要求为:

图3人工智能平台技术架构图

应构建样本资源目录的总部和省公司两级管理体系,实现资源目录上送、下发的双向同步及样本资 原目录、标注和原始数据的推送分发功能。应将数据按照图像、视频、语音、文本等类型存储,经过数 居标注后形成样本库。人工智能平台数据架构如下图4,数据架构要求为: 样本数据应来源于业务系统或通过离线数据采集,经由数据总线和消息总线推送至样本库,也 可来源于边缘端; 6) 训练组件读取样本库的数据和模型库的模型,并将训练好的模型入库存储到模型库: C 推理组件调用模型库的模型,使用业务应用推送的业务数据,推理计算,将推理结果反馈给业 务应用; d 总部和省公司的样本库可实现样本目录同步; e) 总部和省公司的模型库可实现模型目录同步; 模型库的模型可通过云边协同套件下发到边端。

Q/GDW 12118. 12021

图4人工智能平台数据架构

人工智能平台从结构上应分为公司级、省公司级、云侧、边侧和端侧,人工智能平台多级协同结构 如下图5,各级要求为: a 公司级人工智能平台应集成数据训练、推理计算、样本管理、模型管理、模型验证、基础模型 服务及部分实时性要求不高的业务模型服务模块; b 省公司级人工智能平台应集成推理计算、样本管理、模型管理、基础模型服务及业务模型服务 模块,可支持训练计算,训练计算能力按需部署: C 边缘端应至少具备推理计算及业务模型服务能力 d 公司级人工智能平台应为公司各业务部门、各省公司及各地市公司提供高效共享的算法训练, 验证、管理及推理服务: 省公司级人工智能平台应为省公司各业务部门及各地市公司提供人工智能服务能力: 公司级和省公司级人工智能平台应具备模型推送能力。

6.1.1训练运行平台

图5人工智能平台多级协同结构图

训练运行平台功能要求为: a)项目管理:项目创建、项目切换、项目删除和项目监控; b 模型训练:应至少兼容飞桨、MindSpore、TensorFlow、MXNet、PyTorch和Caffe等开源深度 学习框架,训练任务宜支持单卡内存级分配; C 模型评估:评估指标和评估报告管理,按算法类型分为: 1)分类算法:准确率指标评估、召回率指标评估、F1指标评估: 2)回归算法:误差平方和、决定系数和校正决定系数; 3)聚类算法:紧密型、间隔性、纯度、标准化互信息、兰德指数、FMI、Jaccard指数等。 d 算法管理:算法上架、算法分类和算法下架等 e) 容器管理:容器镜像文件导入和导出。

模型库功能要求为: a 模型管理:模型导入、模型删除、版本管理、模型标签、模型收藏和模型共享; b) 模型测试:模型部署、在线测试和服务管理,模型测试服务发布应支持向导模式,宜支持一键 自动发布测试服务,模型测试服务宜支持单卡内存级分配。

Q/GDW 12118.12021

样本库功能要求为: a)数据接入:本地文件导入、HDFS数据导入、FTP文件导入、NFS数据导入和数据库数据导入; b)数据预处理:特征提取、灰度校正和平滑去噪等; )数据标注:宜支持智能标注,以模型来给未标注数据进行标注

人工智能平台响应时限应符合Q/GDW/Z 信息系统非功能性需求规范》的规定

人工智能平台应提供主要网络设备、通信线路和集群系统的硬件几余住宅为主、局部商业街综合性开发项目后浇带施工方案,保证高可用性, 环境下应满足7×24小时服务不中断,具体要求为: 数据完整性:存储节点发生故障时,应确保数据完整; D 算力完整性:计算节点发生故障时,应不影响训练和推理的执行结果; 消息完整性:消息队列节点发生故障时,应确保消息不丢失,且不影响消息正常提交和消费; d 任务调度完整性:任务调度节点发生故障时,应不影响任务调度和执行; 网络完整性:网络发生故障并恢复后,系统和任务、服务均应自动继续运行

人工智能平合应支持资源横向扩展和系统平滑开级,资源扩展和系统开级过程应不影响现 务和推理服务。

人工智能平台中运行训练组件、推理组件和具有预标注功能的标注组件的服务器应具备独立的AI 片计算资源。具体要求如下: a)对训练平台,AI芯片计算资源单卡内存不应低于8GB,宜达到32GB或以上,单卡内存带宽不 应低于700GB/秒,单卡算力应达到以下条件之一: 1)单精度浮点算力至少达到9TFLOPS; 2)半精度浮点算力至少达到18TFLOPS D 在运行环境,AI芯片计算资源单卡内存不应低于4GB,单卡内存带宽不应低于100GB/秒,单 卡算力应达到以下条件之一: 1)单精度浮点算力至少达到9TFLOPS; 2)半精度浮点算力至少达到18TFLOPS 3)INT8精度算力至少达到36TOPS。 训练平台宜使用固态硬盘作为训练样本集的大容量缓存。

Q/GDW 12118.12021

T/CECS G:D85-05-2019 公路用轴组式称重系统技术规程(完整清晰正版).pdf人工智能平台架构及技术要求

Q/GDW12118.1—2021目次编制背景..132编制主要原则.3与其他标准文件的关系..134主要工作过程..5标准结构和内容...13条文说明12

©版权声明
相关文章