信息技术 大数据 接口基本要求
Information technology -- Big data -- Interface basic requirements
1 范围
本标准给出了基于大数据参考架构的接口框架,规定了接口的基本要求。
本标准适用于指导大数据系统的设计、开发和应用部署。
2 规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文
件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T 35295-2017 信息技术 大数据 术语
GB/T 35589-2017 信息技术 大数据 技术参考模型
3 术语和定义
GB/T 35295-2017、GB/T 35589-2017界定的以及下列术语和定义适用于本文件。
3.1
图数据
基于图解模型的数据。
注:图解模型是一种可以呈现数据元素之间关系的大数据记录存储类型。
3.2
地理数据
与地球某个地点直接或间接相关的数据。
3.3
日志数据
记录在系统运行中发生的事件的数据。
3.4
时间窗口
一段连续的时间区间。
注:用于对数据进行基于时间的分析。
3.5
内存计算
优先使用计算机内存对数据进行计算、分析的一种数据处理技术。
3.6
数据同步
建立源和目标数据存储之间的一致性的过程。
4 缩略语
下列缩略语适用于本文件。
API:应用程序接口
CLI:命令行界面
DDL:数据定义语言
DML:数据操纵语言
HDFS:分布式文件系统
OLAP:在线分析处理
REST:表述性状态转移
SNMP:简单网络管理协议
SQL:结构化查询语言
5 接口框架
5.1 概述
依据GB/T 35589-2017描述的大数据参考架构,数据提供者将新的数据或信息引入大数据系统。
数据消费者使用大数据应用提供者提供的应用。大数据应用提供者执行数据生命周期操作,以满足系统协调者定义的需求以及安全和隐私保护需求。大数据框架提供者建立一种计算框架,在此框架中执行转换应用,同时保护数据完整性和隐私。在数据提供者、数据消费者、大数据应用提供者、大数据框架提供者、安全和隐私、管理模块之间存在丰富的接口,支持模块间的信息传递和互操作,对大数据系统集成、兼容性、互操作性有着重要影响。模块内的组件间也有接口支持组件间的互操作。按照所连接的模块可以对接口进行分类。各类别的接口提供相应的信息传递和交互功能,满足接口使用对象的需求。
本标准基于GB/T 35589-2017描述的大数据参考架构,给出接口框架(见图1),包含数据提供者、
数据消费者、大数据应用提供者、大数据框架提供者、安全和隐私、管理模块之间的接口:
接口1是数据提供者与大数据应用提供者之间的接口;
接口2是数据消费者与大数据应用提供者之间的接口;
接口3是大数据应用提供者与大数据框架提供者之间的接口;
接口4是管理模块与其他模块(数据提供者、数据消费者、大数据应用提供者、大数据框架提供者、安全和隐私)间的接口;
接口5是安全和隐私模块与其他模块(数据提供者、数据消费者、大数据应用提供者、大数据框架提供者、管理)间的接口。
注:本标准不涉及大数据参考架构中的系统协调者与大数据应用提供者间的接口。
* 表示一个模块与多个模块之间的接口。
5.2 接口1
一方面,数据提供者通过接口1向大数据应用提供者传送需要分析或处理的数据,包括结构化数
据、半结构化数据和非结构化数据等各种数据格式。另一方面,大数据应用提供者可以通过接口1向数据提供者传递数据请求。
接口1的常见类别包括但不限于:
a) 数据访问接口:用于实时访问数据提供者的数据信息,包括业务系统访问接口、数据库访问接
口、文件访问接口等各种数据来源接口,可由数据提供者开放二次开发接口、从数据提供者应
用层面接口重构生成、或通过数据库生成数据库表访问接口等方式提供。
b) 数据采集接口:用于将数据提供者的数据信息按照一定的原则和规则进行获取,并按照指定的
方式存储。
c) 数据核验接口:用于按照数据共享开放准则、信息保护和访问服务约束,进行跨层级、跨部门、
跨系统数据在线核验,返回核验信息。
注:例如来源于某一信息系统的单一信息核验、多项信息联合核验,及来源于多信息系统的某一信息联查对比、多项信息联合比对核验等。
5.3 接口2
一方面,数据消费者通过接口2向大数据应用提供者下发所需的各类数据处理指令,例如查询、检
索、数据挖掘、报表生成、可视化等。另一方面,大数据应用提供者通过接口2返回数据消费者所需的数据处理结果。
接口2的常见类型包括但不限于:
a) 流数据分析接口:用于实时流数据的查询,基于SQL扩展提供高级分析功能(如复杂事件分
析、在线机器学习、图计算等)。这类接口在物联网、车联网、智慧城市、金融、在线推荐等应用场景中广泛使用。
b) 图数据分析接口:用于对图数据进行查询、修改、子图和全图遍历及各类图分析(例如关系分
析、路径规划等)。这类接口广泛用于社交关系分析、反欺诈、推荐、精准营销等场景。
c) 日志数据分析接口:用于查询和分析日志数据,提供日志的全文检索、统计分析、关联分析、监
控预警等操作。这类接口在大数据系统的运维、企业信息技术系统的管理和维护、业务及用户
行为分析等场景有广泛应用。
d) 数据同步接口:用于不同业务系统之间的数据同步和共享,支持一次采集多系统共享,跨系统
共享数据同步更新,不需要重复录入。这类接口在跨层级、跨系统业务数据共享共用、系统互
联互通中广泛使用。
5.4 接口3
一方面,大数据应用提供者通过接口3向大数据框架提供者下发数据计算、存储或访问指令,利用
大数据框架提供者的各类计算、存储和网络资源。另一方面,大数据框架提供者通过接口3向大数据应用提供者返回数据计算的结果或需要访问的数据。大数据框架提供者包括各类计算、存储组件,一般基于开源版本进行增强。
根据访问的大数据框架提供者组件,接口3的常见类型包括但不限于:
a) 离线计算接口:用于对数据进行离线计算,支持数据读取、分发、聚集、输出等操作。同时对计
算任务进行编排和调度;
b) 内存计算接口:用于使用内存对数据进行计算、分析,支持数据聚集、数据集转换等操作;
c) 分布式文件存储接口:用于对分布式文件数据进行交互,支持文件系统连接、文件访问、文件流
及存储空间管理等操作;
d) 分布式列式存储接口:用于对分布式列式数据进行交互,支持实时查询、分析等操作;
e) 关系型数据库接口:用于对关系型数据进行交互,支持数据库连接、数据库管理、数据表管理、
数据访问等操作;
f) 多维分析数据库接口:用于对多维数据进行交互,支持数据查询,和数据表的动态修改等操作;
g) 分布式内存数据库接口:用于对分布式内存数据进行交互,支持数据库连接、数据访问、数据管
理等操作;
h) 海量全文检索接口:用于对海量文本数据进行检索和查询,支持索引库连接、数据表管理、数据
访问等操作。
5.5 接口4
一方面,管理模块通过接口4向大数据系统的其他模块发送监控、配置指令,监管大数据系统其他
模块的资源和运行状态。另一方面,大数据系统的其他模块通过接口4向管理模块传送自身状态、配置请求、出错或告警信息。
5.6 接口5
一方面,安全和隐私模块通过接口5向大数据系统的其他模块传送安全和隐私相关配置和指令,支
持身份管理、访问授权、安全审计等操作。另一方面,大数据系统的其他模块通过接口5将数据安全、系统安全、用户隐私相关的状态、操作、验证请求等发送给安全和隐私模块。
6 基本要求
6.1 总体要求
各类接口应满足如下总体要求:
a) 开放性:符合产业习惯,兼容主流开源接口,减小接口定制化带来的重新设计、适配成本;
b) 易用性:尽可能设计成抽象程度高、屏蔽底层实现、语法易理解的接口;
c) 扩展性:同一接口可通过增加函数、操作符、语句等形式支持新的功能。
6.2 接口1
接口1的要求包括:
a) 应支持多种数据来源(业务系统、数据库、文件等)、多种数据类型(例如业务相关数据、监控数据)、多种数据格式(结构化、半结构化、非结构化等)的数据访问;
b) 应支持按照大数据采集留存规则进行数据采集;
c) 应支持接口运行情况(如主要函数调用时延)的监控,能及时发现错误、产生告警信号;
d) 宜支持多种数据访问接口实例的定时(例如按天、小时、分钟等)调用启动;
e) 宜支持对接常用数据库采集工具、主流日志采集工具(如Filebeat);
f) 宜支持对接基于系统应用服务接口(数据提供者提供或第三方重构的)实现数据采集的工具;
g) 接口生成宜不受业务系统的开发语言、所处网络环境、系统形态等限制。
评论
发表评论