信息技术 手势交互系统 第1部分：通用技术要求
Information technology -- Gesture interaction system -- Part 1: General technical requirements
1 范围
GB/T 38665的本部分规定了手势交互系统通用的功能要求和性能要求。
本部分适用于手势交互系统的研发和测试。
2 规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文
件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T 18976-2003 以人为中心的交互系统设计过程
GB/T 38665.2-2020 信息技术 手势交互系统 第2部分:系统外部接口
3 术语和定义
GB/T 18976-2003界定的以及下列术语和定义适用于本文件。
3.1
手势
用户利用上肢(包括手部和手臂)表达交互意图时,所执行的具体姿态或动作。
3.2
静态手势
以上肢静止姿态表达交互意图的手势。
3.3
动态手势
以上肢运动方式表达交互意图的手势。
3.4
手势控制指令
手势交互控制过程中与手势对应的系统操作指令。
3.5
手势识别
从输入的手势数据判别出手势。
3.6
手势交互系统
对具有特定意义的手势信号,即硬件设备采集到的用户所执行的手势信息,进行手势识别,并做出
响应和反馈的软件系统。
3.7
手势起始
标识手势开始的事件。
3.8
手势结束
标识手势结束的事件。
3.9
手势取消
取消处于执行过程中的手势输入。
3.10
手势集
表达各种交互意图的手势的集合。
示例:在一个幻灯片放映控制软件中,“向左挥手”和“向右挥手”两个手势分别表示“上一页”和“下一页”的交互意图,这两个手势的集合即这个软件的手势集。
4 手势交互系统框架
手势交互系统对输入设备采集到的手势信号流进行处理,向应用输出手势控制指令,应用得到手势
控制指令后进行业务逻辑处理并向手势交互系统下达反馈指令,最后手势交互系统向输出设备输出控制信号,从而给用户输出处理结果。
手势交互系统为应用提供手势集模块、手势识别模块和交互决策模块相关的管理接口,如图1所
示。图中连线表示模块之间互相操作的接口,带有箭头的连线既表示模块之间互相操作的接口,又通过箭头方向表示手势交互信息流的传输方向。
本部分只规定对手势交互系统的通用技术要求。
手势交互系统包括手势集模块、手势识别模块、交互决策模块和反馈模块:
a) 手势集模块是计算机系统用于实现手势集相关功能的模块,它向手势识别模块提供手势模板
数据。手势集模块还向应用提供手势集管理相关的接口。
b) 手势识别模块通过将输入设备得到的手势信号流与手势集模块提供的手势模板进行匹配,将
手势信号流转化为具有一定语义的手势识别结果。同时,手势识别模块通过对手势信号流的
处理,还得到手势起始与结束、手势执行状态以及手势取消等信息,它们与手势识别结果一起
统称为手势识别信息,输出到应用、交互决策模块和反馈模块以便进行下一步处理。手势识别
模块还向应用提供手势识别模块管理的相关接口。
c) 交互决策模块负责根据识别得到的手势做出交互决策,依此向应用下达手势控制指令。交互
决策模块还向应用提供绑定手势与手势控制指令的接口。
d) 反馈模块负责将手势识别模块和应用提供的反馈信息转化为输出设备可处理的信息,以便最
后向用户输出手势交互系统的处理结果。
5 功能要求
5.1 手势集模块
手势集模块功能如下:
a) 应提供至少一个手势集,每个手势集应至少包含两个手势;
b) 应提供每一个手势的名称和操作描述;
c) 宜为应用提供添加手势集、移除手势集的服务功能;
d) 宜为应用提供任一手势集的添加手势、移除手势的服务功能。
示例:手势集模块提供一个手势集,该手势集中包含“五指握拳”和“单指点击”两个手势,“五指握拳”表示调出菜单,“单指点击”表示选择。
5.2 手势识别模块
手势识别模块功能如下:
a) 应提供至少一种手势采集方法,使手势交互系统能感知用户的手势输入行为;
示例1:通过戴在手上的数据手套采集用户的手势,并将其转换成计算机能处理的关键点的位置和姿态变化数据信息。
示例2:通过摄像头采集用户的手势,并将其转换成计算机能处理的图像或视频数据信息。
b) 应提供一种或多种判断手势起始和手势结束的方法,这些判断可以由用户手动执行,也可以由
计算机自动执行,参见ISO/IEC 30113-1:2015的5.1;
示例3:在使用数据手套作为输入设备的手势交互系统进行照片浏览时,伸出右手从右向左挥动一次后收回右手表示翻到下一页。手势交互系统在检测到右手动作出现时认为手势起始,检测到右手动作消失时认为是手势结束。
示例4:在使用摄像头作为输入设备的手势交互系统中移动物品时,检测到握拳认为是手势开始,检测到张开手认为是手势结束。
c) 应提供至少一种允许在输入过程中实现手势取消的方法,参见ISO/IEC 30113-1:2015的5.5;
示例5:如果手势输入持续时间超过5000ms,则自动取消当前手势输入。
示例6:在使用摄像头作为输入设备时,如果在手势输入未完成时快速把手撤出摄像头的拍摄区域,则认为是取消当前手势输入。
d) 应提供手势输入信号的预处理方法,能将用户输入的静态手势或者动态手势输入信号转化为
适合手势识别算法处理的信息形式;
e) 应提供与手势集对应的识别算法的程序集,使系统能对用户输入的手势进行识别,识别算法可
以在本地,也可以在云端;
f) 宜为应用提供对识别算法模块进行添加识别算法、移除识别算法和设置当前识别算法的服务
功能;
g) 应提供唯一的、预先定义好的、可以被交互决策模块所识别的识别结果(指令)。
5.3 交互决策模块
应提供将手势与应用的手势控制指令进行绑定的功能,以便在手势交互系统得到用户输入的手势
之后能够驱动应用完成相应的操作。
示例:当把“握拳”手势与浏览器应用的“翻页”手势控制指令绑定后,用户则可以通过“握拳”手势控制浏览器执行“翻页”操作。
5.4 反馈模块
反馈模块功能如下:
a) 应以视觉、听觉、触觉或其他反馈方式中的至少一种将手势识别结果通知用户,参见ISO/IEC
30113-1:2015的5.4;
示例1:用户执行了一个“握拳”手势,当该手势被识别成功后显示器显示“握拳”手势图标。
示例2:用户执行了一个“握拳”手势,当该手势被识别成功后音箱播放声音“ding”。
示例3:用户执行了一个“握拳”手势,当该手势被识别成功后戴在手腕上的智能手表震动500ms。
b) 应以视觉、听觉、触觉或其他反馈方法中的至少一种将当前手势执行状态通知用户,参见
ISO/IEC 30113-1:2015的5.3;
示例4:通过提示框的方式通知用户当前手势输入状态是在等待输入、输入中或者输入完成。
示例5:通过声音“请输入手势”“手势输入完成”等语音提示用户当前手势输入状态。
c) 应以适当方法使得用户知道当前系统可以识别何种手势、这些手势可以执行哪些应用功能;
示例6:通过文字或者图像提示用户当前可以执行“握拳”手势,并且该“握拳”手势将控制浏览器翻到下一页。
d) 应能够接收应用提出的反馈请求,通知用户的手势在应用中的响应结果。
示例7:当用户执行“握拳”手势后,反馈模块接收浏览器的反馈请求,控制输出设备向用户输出浏览器的翻页响应。
6 性能要求
6.1 手势集模块
手势集模块性能如下:
a) 手势集中任意两个手势之间的相似程度应尽可能低,以便区分;
示例1:两个不同含义的“挥手”手势,一个是先向左挥再向右挥且往复几次,另一个是先向右挥再向左挥且往复几
次,这两个手势相似度高,不便区分。
b) 手势集中的手势宜简单易行;
示例2:通常,伸出食指和中指表示数字“2”是一个便于用户执行的手势,而伸出中指和无名指表示“2”是一个不便
于用户执行的手势。
c) 手势集中手势易被输入设备感知,应适应于不同输入设备,设计不同手势集合。
示例3:在基于视觉的手势识别系统中,不该设计五指并拢和五指张开两个通过视觉传感器难以区分的手势,但可以在基于数据手套的识别系统中使用。
评论
发表评论