信息技术 大数据计算系统通用要求
Information technology -- General requirements for big data computing systems
1 范围
本标准规定了大数据计算系统的硬件、软件、网络及安全要求。
本标准适用于大数据计算系统的开发、设计和运维。
2 规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文
件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T 21028 信息安全技术 服务器安全技术要求
GB/T 35295-2017 信息技术 大数据 术语
3 术语和定义
GB/T 35295-2017界定的以及下列术语和定义适用于本文件。
3.1
大数据计算系统
为大数据系统的存储、处理、分析应用提供基础计算支撑的软硬件系统。
4 缩略语
下列缩略语适用于本文件。
API:应用程序接口
ASIC:专用集成电路
CPU:中央处理器
DDR:双倍数据速率
FC:卡套式连接器
FPGA:现场可编程门阵列
GPU:图形处理器
HDD:硬盘驱动器
IPoIB:infiniband上的网络协议
iSCSI:小型计算机系统间网络接口
NAS:网络附属存储
NFS:网络文件系统
PB:拍字节
PCIe:高速串行计算机扩展总线标准
QoS:服务质量
RDMA:远程数据存取
REST:表述性状态转移
SAS:小型计算机系统串行连接接口
SATA:串行高技术配置接口
SCSI:小型计算机系统接口
SSD:固态硬盘
TCP:传输控制协议
TCP/IP:互联网协议
5 硬件要求
5.1 硬件组成
大数据计算系统硬件部分包括计算单元、计算加速单元、存储单元、高速互联单元、管理监控单元、供电单元和结构及散热单元。
5.2 计算单元
计算单元要求如下:
a) 应有相应措施保证可用性;
b) 应支持多处理器;
c) 应支持硬件状态监控管理、远程管理;
d) 应支持系统内部部件扩展;
e) 应支持多种虚拟化方式;
f) 应支持在停止运行情况下,配置虚拟机的内存数量;
g) 应支持在停止运行情况下,配置扩展内存数量;
h) 每节点内存应不低于8GB ;
i) 应支持扩展DDR3、DDR4或以上内存版本标准;
j) 宜支持内存查错/纠错;
k) 宜支持内存镜像/热备;
l) 宜支持PB以上的读写能力;
m) 宜支持系统外部节点扩展;
n) 宜支持在正常运行的情况下横向及纵向在线扩展;
o) 宜支持混合内存架构。
5.3 计算加速单元
计算加速单元要求如下:
a) 应提供专用计算资源,协助计算单元进行运算处理;
b) 应提供大数据应用加速的专用计算资源,专用计算资源应支持通过高速互联单元与计算单元
连接;
示例:GPU加速单元、FPGA加速单元、ASIC加速单元等。
c) 应具备多线程并发、流水线等模式的计算处理能力;
d) 应具备独立内存控制器,提供用于加速计算任务的独立内存空间;
e) 应具备高速总线接口与主处理器互连;
f) 运行在计算模块上的主程序应能够配置、使用、管理计算加速单元上的硬件计算资源;
g) 运行在计算模块上的主程序与计算加速单元之间应具有高效的数据交换协议,包括与主CPU
内存地址之间的映射关系;
h) 应支持加速单元扩展,接口类型如PCIe等;
i) 宜支持提供批量部署工具,实现固件升级、生效、证书管理等功能。
5.4 存储单元
存储单元要求如下:
a) 应提供对象、文件、块等多种存储服务方式的一种或多种;
b) 应支持REST、NFS、Samba、iSCSI、定制API等存储访问协议或接口的一种或多种;
c) 应支持存储半结构化数据、结构化数据、非结构化数据等数据类型的一种或多种;
d) 应提供用户数据冗余存储功能;
e) 宜支持分层或分级存储方式;
f) 宜支持压缩、重删、缓存加速、配额、QoS等高级特性;
g) 应支持存储节点级动态扩展伸缩及存储数据再均衡;
h) 应支持在线扩展SATA、SAS、PCIe接口SSD、HDD等,支持热插拔;
i) 宜支持扩展连接FC、iSCSI、NAS等协议的存储系统;
j) 应支持在停止运行情况下,扩展内存的数量;
k) 宜支持在线升级;
l) 宜支持PB以上的读写能力;
m) 可用性应有相应措施保证;
n) 应配置企业级硬盘,以保证可靠性;
o) 应支持故障硬盘的数据重构。
5.5 高速互联单元
高速互联单元要求如下:
a) 应提供计算单元、存储单元与计算加速单元之间的互联;
b) 应提供本地计算加速单元中不同加速卡之间的互联;
c) 应支持TCP/IP等网络协议实现节点之间的互联;
d) 宜支持IPoIB、RDMA等协议实现节点之间的高速互联;
e) 应支持节点之间至少百兆网络的连接;
f) 应支持在停止运行情况下,扩展的计算单元、存储单元、计算加速单元之间实现互联;
g) 支持1Gbps以上带宽;
h) 支持基于网络芯片硬件的数据传输或交换加速功能;
i) 网络端口聚合功能,满足系统对网络带宽的需求,同时可以提高系统可用性。
5.6 管理监控单元
管理监控单元要求如下:
a) 应提供对硬件部分部件运行状态部分参数的监控功能,如CPU温度、电源电压、风扇转速等;
b) 应提供计算单元和计算加速单元使用率的监控功能;
c) 应提供存储单元总容量与使用率的监控功能;
d) 应提供网络流量、网络读写速率的监控功能;
e) 应支持远程登录控制台,监控系统运行状态;
f) 应具备精确故障警告;
g) 应具备硬件使用超过阈值的警告功能;
h) 应支持远程外设挂载与程序安装功能;
i) 应支持系统的日志记录与日志查询;
j) 应支持系统远程日常维护。
5.7 供电单元
供电单元要求如下:
a) 应具备电源冗余控制功能,具备在局部故障时提供电源的能力;
b) 电源模块设计支持热插拔,热更换;
c) 应具备故障报警,并将运行状态提供给监控系统;
d) 应具备加电时序控制功能;
e) 应具备电源负载动态调整技术;
f) 应支持机柜级别集中供电;
g) 应支持N+N或N+M电源冗余模式。
5.8 结构及散热单元
结构及散热单元要求如下:
a) 散热方式应支持风冷方式,宜支持液冷及传导散热方式;
b) 散热效率应由传感器监控,在管理监控单元中可见;
c) 应采用模块化设计;
d) 应采用集中散热技术;
e) 风扇应支持免工具热插拔;
f) 应支持前进风、后出风。
6 软件要求
6.1 软件组成
大数据计算系统软件部分包括操作系统、虚拟化软件、资源管理软件和通信管理软件。
6.2 操作系统
操作系统要求如下:
a) 应支持主流的操作系统类型和主要版本;
b) 应提供操作系统自动化批量部署能力;
c) 应提供人机操作界面;
d) 应支持计算加速单元及驱动程序,提供标准化的编程接口;
e) 应提供系统和设备运行日志及监控信息;
f) 应提供大数据系统各种组件所需的运行环境;
g) 宜具备处理器故障隔离支持功能。
6.3 虚拟化软件
虚拟化软件要求如下:
a) 应支持对计算、存储、网络等物理设备资源的虚拟化,能够以虚拟机形式为大数据系统部署和
运行提供资源;
b) 宜支持基于策略的虚拟机动态调度;
c) 宜支持能够根据虚拟机和物理服务器的资源利用率实现虚拟机的动态迁移;
d) 宜支持多个虚拟机批量操作的能力;
e) 宜支持将虚拟存储卷从虚拟机上卸载,并在保证安全的情况下正常删除虚拟存储卷;
f) 宜支持虚拟化高可用,保证在物理服务器宕机后,虚拟机可迁移到其他物理机上;
g) 宜支持虚拟机模板,以加快大数据各组件的部署;
h) 宜支持虚拟机的CPU、内存、磁盘的扩容或缩容;
i) 宜支持虚拟机网卡、磁盘的QoS;
j) 宜支持虚拟化资源的超售比配置,以最大化利用物理资源支撑大数据业务的运行。
6.4 资源管理软件
资源管理软件要求如下:
a) 应支持对虚拟机资源的监控管理;
b) 应支持对虚拟机资源的安全管理,包括但不限于权限管理、访问控制等;
c) 应支持根据工作负载进行动态资源调配,为大数据系统的任务类型和调度队列提供资源分配
能力;
d) 应提供部署和监控代理软件,按照标准接口向大数据系统提供资源运行状况的相关信息以及
执行各种监控任务;
e) 宜提供支持多种资源模式的自动部署工具,用于自动向基础设施添加新的物理或虚拟资源;
示例:裸机、虚拟机、云服务。
f) 宜支持多种资源的统一管理及池化。
6.5 通信管理软件
通信管理软件要求如下:
a) 应提供标准化的消息和通信接口,支持可靠的数据队列、传送和接收数据;
b) 应支持点对点和存储转发模型;
c) 应支持通过发布/订阅模式对基础设施各类资源的运行数据进行收集和传输;
d) 应支持不同通信协议用于不同类型数据的传送;
示例:TCP用于结构化数据、non-TCP用于视频、图像等大文件。
e) 应支持对传输数据的加密和解密。
7 网络要求
网络要求如下:
a) 网络应具备高可用能力,包括路径多样性、具备故障转移能力;
b) 应能够应对网络拥塞,网络设计避免拥塞点以应对高流量的要求;
c) 网络应具备较高的一致性,保障大数据系统并行处理要求;
d) 网络应具备可伸缩性,应能够平稳地扩展支持未来的部署规模;
e) 网络应具备隔离性,保证不同大数据业务集群流量互不影响。
8 安全要求
大数据计算系统安全应符合GB/T 21028的要求,计算系统宜不低于第3级要求。
评论
发表评论