DA/T 82-2019:
(Archive data storage specification based on document-type non-relational database)
中华人民共和国档案行业标准
DA/T ８２-２０１９
基于文档型非关系型数据库的档案
数据存储规范
２０１９Ｇ１２Ｇ１６发布
２０２０Ｇ０５Ｇ０１实施
国家档案局 发 布
２９
DA/T ８２-２０１９
前言
本标准按照GB/T １．１-２００９给出的规则起草.
请注意本文件的某些内容可能涉及专利.本文件的发布机构不承担识别这些专利的责任.
本标准由国家档案局档案科学技术研究所提出.
本标准由国家档案局归口.
本标准起草单位:国家档案局档案科学技术研究所.
本标准起草人:聂曼影、陶光毅、张淑霞、晏杰、王熹、刘春阳、陈吉。
３９
DA/T ８２-２０１９
引 言
目前,我国档案部门大都采用关系型数据库存储和管理档案数据.关系型数据库通常将数据存储
在二维表中,高度结构化,对数据的规范性要求高.关系型数据库能够很好地管理和存储结构化数据,使用简单、功能强大.
非关系型数据库突破了关系型数据库严格的表结构,解决了关系型数据库模型简单、不易表达复杂嵌套数据结构的问题,存储的数据对象包括非结构化数据、半结构化数据和结构化数据.视处理数据对象而言,目前非关系型数据库主要有键值存储、列存储、文档型和图形四大类.
本标准基于文档型数据库具备的功能编制.文档型数据库允许创建不同类型的字段,存储任意格
式的数据.在文档型数据库中,文档是处理信息的基本单位.文档型数据库存储每个对象的所有信息,并且每一个被存储的对象可与任一其它对象不同.采用文档型数据库,能够简单地将不同类型、不同格式的档案数据装入或映射到数据库.
从业务角度看,档案数据主要来自于各类业务系统产生的数据和传统载体档案数字化副本.每条
记录一次写入、多次访问、几乎不可更改,适宜采用文档型数据库存储.
文档型数据库与关系型数据库不相互排斥,它们之间可以相互交换数据,从而相互补充、扩展.为
了解决大规模档案数据集合多重数据种类带来的挑战,优化档案数据存储,推动档案数据科学管理,鉴于关系型数据库和文档型数据库各自的特点和优势,档案部门可以将文档型数据库、关系型数据库共同作为档案数据存储和管理的工具.
４９
DA/T ８２-２０１９
基于文档型非关系型数据库的档案数据存储规范
１ 范围
本标准规定了使用文档型数据库存储档案数据的总体要求,提出了使用文档型数据库存储和管理档案数据的基本功能和实施方法.
本标准适用于各级各类档案馆、机关、团体、企业事业单位对档案数据的存储.
２ 术语和定义
下列术语和定义适用于本文件.
２．１
数据 data
适合传输、诠释或者手动、自动处理,以一种规范的方式表达的事实或指令.
[GB/T ３４８４０．３-２０１７,表A．１]
注:档案数据包括电子档案的内容数据、传统载体档案数字化副本的内容数据以及两者的元数据(含目录数据).
２．２
元数据 metadata
描述电子档案的内容、背景、结构及其管理过程的数据.
[DA/T ５８-２０１４,定义２．１６]
２．３
内容数据 contentdata
电子档案和传统载体档案数字化副本固有的信息.
２．４
数据库 database
按照概念结构组织的数据的汇集,它描述这些数据的特征及与数据对应的实体间的关系并支持一个或多个应用领域.
[GB/T ５２７１．１-２０００,定义０１．０８．０５]
２．５
关系型数据库 relationaldatabase
数据按关系模型来组织的数据库.
[GB/T ５２７１．１７-２０００,定义１７．０４．０５]
注:关系模型指用二维表的形式表示实体和实体间联系的数据模型,而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织.
２．６
非关系型数据库 nonＧrelationaldatabase
数据不按关系模型来组织的数据库.
注:NoSQL泛指非关系型数据库.非关系型数据库去掉了关系型数据库的关系型特性,数据之间无关系,没有关系型数据库严格的表结构,随时可以存储自定义的数据格式.视处理数据对象而言,目前非关系型数据库主要有键值存储、列存储、文档型和图形四大类.文档型数据库允许创建不同类型的字段,存储任意格式的数据.
５９
DA/T ８２-２０１９
在文档型数据库中,文档是处理数据的基本单位.
２．７
结构化数据 structureddata
能够用统一的结构加以表示的数据,或者说能用二维表结构进行逻辑表达的数据.
２．８
半结构化数据 semiＧstructureddata
具有结构性,但结构变化大,且难以用结构化数据的处理方法将其放进二维表的数据.
２．９
非结构化数据 unstructureddata
不能用数字或者统一的结构表示的数据,或没有固定结构的数据.这些数据不能用二维表存放.
２．１０
文档型数据库的拆分 documentＧorienteddatabasesplitting
一个数据库被分成若干个数据完整的子数据库.
２．１１
文档型数据库的合并 documentＧorienteddatabasemerging
若干个子数据库合成一个数据完整的数据库.
３ 总则
３．１ 适用性
文档型数据库应适用于大规模、多种类、多种格式档案数据的存储、备份和管理.
３．２ 规范性
文档型数据库结构应满足档案数据存储的要求.使用文档型数据库存储档案数据应将内容数据和元数据按照规范结构装入或映射到数据库中,保障两者之间的可靠联系.
３．３ 开放性
文档型数据库结构应具有开放性,能与搜索引擎及相关工具软件集成,能与其他类型数据库和系统交换与共享档案数据和相关信息.
３．４ 互补性
基于文档型数据库的档案数据存储与基于关系型数据库的档案数据存储和管理可形成互补.文档型数据库是内容数据的存储方法之一,元数据的存储可采用文档型数据库和关系型数据库,日志等的存储和管理宜采用关系型数据库,建立由关系型数据库和文档型数据库组成的数据库系统.
４ 文档型数据库字段
４．１ 字段要求
文档型数据库应能创建不同类型的字段,存储任意格式的档案数据,并能根据用途和需求变化对字段进行增加、删除和修改.
４．２ 字段类型
文档型数据库字段类型宜包括字符串、数值、日期、时间、文本、二进制等,并符合以下规定:
a) 字符串字段:用于存储定长字符串和变长字符串;
b) 数值字段:用于存储整数和实数;
c) 日期字段:用于存储日期类型数据;
d) 时间字段:用于存储时间类型数据;
e) 文本字段:用于存储文本中的句子和段落;
f) 二进制字段:用于存储任何类型的字符,包括ASCII字符,以及图像、视频、音频等二进制数据.
５ 文档型数据库存储
５．１ 存储对象
文档型数据库的存储对象包括内容数据等非结构化数据、XML文件等半结构化数据以及元数
据等.
５．２ 存储方式
文档型数据库存储方式包括:
a) 将内容数据和元数据全部装入数据库,按照与元数据的匹配关联关系,内容数据存储在文档型数据库的二进制字段中.
b) 将元数据装入数据库,将内容数据映射到数据库.
c) 同一数据库可存储多种格式的内容数据,不同记录(行)的内容数据的格式可不同.
d) 同一条记录可存储一个或多个内容数据,同一条记录(行)中多个内容数据的格式可不同.
５．３ 存储介质
５．３．１ 文档型数据库可存储在磁盘、固态硬盘、光盘等存储介质上.
５．３．２ 文档型数据库可在不同的存储介质之间转移.
５．４ 存储信息管理
文档型数据库存储档案数据的过程中,应显示以下信息:
---存储档案数据进度和存储完成的信息;
---存储过程中出现的问题或错误的信息.
５．５ 存储安全
存储档案数据的文档型数据库应保存在安全的存储系统中和存储介质上,防止被非授权改动数据库存储位置的设置,并保障档案数据不被非授权修改、访问、删除、复制和破坏,对授权修改、访问、删除和复制要做审计跟踪.涉密档案数据在线存储应加密,涉密档案数据导出和备份应采取数字签名等安全措施.
６ 档案数据导入
６．１ 导入对象
导入对象包括内容数据等非结构化数据、XML文件等半结构化数据以及元数据等.
７９
DA/T ８２-２０１９
６．２ 导入方法
６．２．１ 在线录入数据
在线录入是借助录入表单,将内容数据和元数据直接录入到文档型数据库,一次建立一条记录.
６．２．２ 批量导入数据
批量导入是按照内容数据与元数据的匹配关联关系,通过导入程序,将内容数据和元数据批量导入文档型数据库.
６．２．３ 导入XML文件
将XML文件和内容数据通过导入程序导入文档型数据库.
６．２．４ 导入数据库数据
将关系型数据库中的数据,通过导入程序导入文档型数据库,并将挂接在关系型数据库的内容数据装入或映射到文档型数据库;或将一个文档型数据库中的数据,通过导入程序导入另一个文档型数据库.
６．２．５ 导入其他系统的数据
从其他系统导出的数据按照原有的数据类型和文件格式导入文档型数据库.其他系统包括:
---电子档案管理系统;
---档案管理的其他相关系统;
---形成电子文件的业务系统,等等.
６．３ 档案数据导入质量控制
６．３．１ 对导入文档型数据库的档案数据的字段类型和文件格式进行设置,并在导入文档型数据库时按照设置自动进行检查,对不合格的字段类型和文件格式显示提示信息.
６．３．２ 记录档案数据导入文档型数据库的数量、时间、载体、处理人员、格式转换等处理过程相关信息.
６．３．３ 自动监测和过滤错误数据,进行数据完整性校验,日志文件自动记录档案数据导入文档型数据库产生的错误,对错误显示提示信息.
６．３．４ 对内容数据、元数据重复导入文档型数据库进行识别.
６．３．５ 允许不同归档单位的相同档案数据导入文档型数据库.
６．３．６ 设置记录档案数据导入文档型数据库过程的日志,确保能够跟踪、审计、检索(参见附录A)、统
计分析(参见附录B).
购买英文版--点击: DA/T 82-2019英文版
中华人民共和国档案行业标准
DA/T ８２-２０１９
基于文档型非关系型数据库的档案
数据存储规范
２０１９Ｇ１２Ｇ１６发布
２０２０Ｇ０５Ｇ０１实施
国家档案局 发 布
２９
DA/T ８２-２０１９
前言
本标准按照GB/T １．１-２００９给出的规则起草.
请注意本文件的某些内容可能涉及专利.本文件的发布机构不承担识别这些专利的责任.
本标准由国家档案局档案科学技术研究所提出.
本标准由国家档案局归口.
本标准起草单位:国家档案局档案科学技术研究所.
本标准起草人:聂曼影、陶光毅、张淑霞、晏杰、王熹、刘春阳、陈吉。
３９
DA/T ８２-２０１９
引 言
目前,我国档案部门大都采用关系型数据库存储和管理档案数据.关系型数据库通常将数据存储
在二维表中,高度结构化,对数据的规范性要求高.关系型数据库能够很好地管理和存储结构化数据,使用简单、功能强大.
非关系型数据库突破了关系型数据库严格的表结构,解决了关系型数据库模型简单、不易表达复杂嵌套数据结构的问题,存储的数据对象包括非结构化数据、半结构化数据和结构化数据.视处理数据对象而言,目前非关系型数据库主要有键值存储、列存储、文档型和图形四大类.
本标准基于文档型数据库具备的功能编制.文档型数据库允许创建不同类型的字段,存储任意格
式的数据.在文档型数据库中,文档是处理信息的基本单位.文档型数据库存储每个对象的所有信息,并且每一个被存储的对象可与任一其它对象不同.采用文档型数据库,能够简单地将不同类型、不同格式的档案数据装入或映射到数据库.
从业务角度看,档案数据主要来自于各类业务系统产生的数据和传统载体档案数字化副本.每条
记录一次写入、多次访问、几乎不可更改,适宜采用文档型数据库存储.
文档型数据库与关系型数据库不相互排斥,它们之间可以相互交换数据,从而相互补充、扩展.为
了解决大规模档案数据集合多重数据种类带来的挑战,优化档案数据存储,推动档案数据科学管理,鉴于关系型数据库和文档型数据库各自的特点和优势,档案部门可以将文档型数据库、关系型数据库共同作为档案数据存储和管理的工具.
４９
DA/T ８２-２０１９
基于文档型非关系型数据库的档案数据存储规范
１ 范围
本标准规定了使用文档型数据库存储档案数据的总体要求,提出了使用文档型数据库存储和管理档案数据的基本功能和实施方法.
本标准适用于各级各类档案馆、机关、团体、企业事业单位对档案数据的存储.
２ 术语和定义
下列术语和定义适用于本文件.
２．１
数据 data
适合传输、诠释或者手动、自动处理,以一种规范的方式表达的事实或指令.
[GB/T ３４８４０．３-２０１７,表A．１]
注:档案数据包括电子档案的内容数据、传统载体档案数字化副本的内容数据以及两者的元数据(含目录数据).
２．２
元数据 metadata
描述电子档案的内容、背景、结构及其管理过程的数据.
[DA/T ５８-２０１４,定义２．１６]
２．３
内容数据 contentdata
电子档案和传统载体档案数字化副本固有的信息.
２．４
数据库 database
按照概念结构组织的数据的汇集,它描述这些数据的特征及与数据对应的实体间的关系并支持一个或多个应用领域.
[GB/T ５２７１．１-２０００,定义０１．０８．０５]
２．５
关系型数据库 relationaldatabase
数据按关系模型来组织的数据库.
[GB/T ５２７１．１７-２０００,定义１７．０４．０５]
注:关系模型指用二维表的形式表示实体和实体间联系的数据模型,而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织.
２．６
非关系型数据库 nonＧrelationaldatabase
数据不按关系模型来组织的数据库.
注:NoSQL泛指非关系型数据库.非关系型数据库去掉了关系型数据库的关系型特性,数据之间无关系,没有关系型数据库严格的表结构,随时可以存储自定义的数据格式.视处理数据对象而言,目前非关系型数据库主要有键值存储、列存储、文档型和图形四大类.文档型数据库允许创建不同类型的字段,存储任意格式的数据.
５９
DA/T ８２-２０１９
在文档型数据库中,文档是处理数据的基本单位.
２．７
结构化数据 structureddata
能够用统一的结构加以表示的数据,或者说能用二维表结构进行逻辑表达的数据.
２．８
半结构化数据 semiＧstructureddata
具有结构性,但结构变化大,且难以用结构化数据的处理方法将其放进二维表的数据.
２．９
非结构化数据 unstructureddata
不能用数字或者统一的结构表示的数据,或没有固定结构的数据.这些数据不能用二维表存放.
２．１０
文档型数据库的拆分 documentＧorienteddatabasesplitting
一个数据库被分成若干个数据完整的子数据库.
２．１１
文档型数据库的合并 documentＧorienteddatabasemerging
若干个子数据库合成一个数据完整的数据库.
３ 总则
３．１ 适用性
文档型数据库应适用于大规模、多种类、多种格式档案数据的存储、备份和管理.
３．２ 规范性
文档型数据库结构应满足档案数据存储的要求.使用文档型数据库存储档案数据应将内容数据和元数据按照规范结构装入或映射到数据库中,保障两者之间的可靠联系.
３．３ 开放性
文档型数据库结构应具有开放性,能与搜索引擎及相关工具软件集成,能与其他类型数据库和系统交换与共享档案数据和相关信息.
３．４ 互补性
基于文档型数据库的档案数据存储与基于关系型数据库的档案数据存储和管理可形成互补.文档型数据库是内容数据的存储方法之一,元数据的存储可采用文档型数据库和关系型数据库,日志等的存储和管理宜采用关系型数据库,建立由关系型数据库和文档型数据库组成的数据库系统.
４ 文档型数据库字段
４．１ 字段要求
文档型数据库应能创建不同类型的字段,存储任意格式的档案数据,并能根据用途和需求变化对字段进行增加、删除和修改.
４．２ 字段类型
文档型数据库字段类型宜包括字符串、数值、日期、时间、文本、二进制等,并符合以下规定:
a) 字符串字段:用于存储定长字符串和变长字符串;
b) 数值字段:用于存储整数和实数;
c) 日期字段:用于存储日期类型数据;
d) 时间字段:用于存储时间类型数据;
e) 文本字段:用于存储文本中的句子和段落;
f) 二进制字段:用于存储任何类型的字符,包括ASCII字符,以及图像、视频、音频等二进制数据.
５ 文档型数据库存储
５．１ 存储对象
文档型数据库的存储对象包括内容数据等非结构化数据、XML文件等半结构化数据以及元数
据等.
５．２ 存储方式
文档型数据库存储方式包括:
a) 将内容数据和元数据全部装入数据库,按照与元数据的匹配关联关系,内容数据存储在文档型数据库的二进制字段中.
b) 将元数据装入数据库,将内容数据映射到数据库.
c) 同一数据库可存储多种格式的内容数据,不同记录(行)的内容数据的格式可不同.
d) 同一条记录可存储一个或多个内容数据,同一条记录(行)中多个内容数据的格式可不同.
５．３ 存储介质
５．３．１ 文档型数据库可存储在磁盘、固态硬盘、光盘等存储介质上.
５．３．２ 文档型数据库可在不同的存储介质之间转移.
５．４ 存储信息管理
文档型数据库存储档案数据的过程中,应显示以下信息:
---存储档案数据进度和存储完成的信息;
---存储过程中出现的问题或错误的信息.
５．５ 存储安全
存储档案数据的文档型数据库应保存在安全的存储系统中和存储介质上,防止被非授权改动数据库存储位置的设置,并保障档案数据不被非授权修改、访问、删除、复制和破坏,对授权修改、访问、删除和复制要做审计跟踪.涉密档案数据在线存储应加密,涉密档案数据导出和备份应采取数字签名等安全措施.
６ 档案数据导入
６．１ 导入对象
导入对象包括内容数据等非结构化数据、XML文件等半结构化数据以及元数据等.
７９
DA/T ８２-２０１９
６．２ 导入方法
６．２．１ 在线录入数据
在线录入是借助录入表单,将内容数据和元数据直接录入到文档型数据库,一次建立一条记录.
６．２．２ 批量导入数据
批量导入是按照内容数据与元数据的匹配关联关系,通过导入程序,将内容数据和元数据批量导入文档型数据库.
６．２．３ 导入XML文件
将XML文件和内容数据通过导入程序导入文档型数据库.
６．２．４ 导入数据库数据
将关系型数据库中的数据,通过导入程序导入文档型数据库,并将挂接在关系型数据库的内容数据装入或映射到文档型数据库;或将一个文档型数据库中的数据,通过导入程序导入另一个文档型数据库.
６．２．５ 导入其他系统的数据
从其他系统导出的数据按照原有的数据类型和文件格式导入文档型数据库.其他系统包括:
---电子档案管理系统;
---档案管理的其他相关系统;
---形成电子文件的业务系统,等等.
６．３ 档案数据导入质量控制
６．３．１ 对导入文档型数据库的档案数据的字段类型和文件格式进行设置,并在导入文档型数据库时按照设置自动进行检查,对不合格的字段类型和文件格式显示提示信息.
６．３．２ 记录档案数据导入文档型数据库的数量、时间、载体、处理人员、格式转换等处理过程相关信息.
６．３．３ 自动监测和过滤错误数据,进行数据完整性校验,日志文件自动记录档案数据导入文档型数据库产生的错误,对错误显示提示信息.
６．３．４ 对内容数据、元数据重复导入文档型数据库进行识别.
６．３．５ 允许不同归档单位的相同档案数据导入文档型数据库.
６．３．６ 设置记录档案数据导入文档型数据库过程的日志,确保能够跟踪、审计、检索(参见附录A)、统
计分析(参见附录B).
购买英文版--点击: DA/T 82-2019英文版
评论
发表评论