1.3.2 手势交互

手是人体最灵活的器官，人们日常生活中大部分的动作通过手的操作完成。手势交互是指人通过手部动作表达特定的含义和交互意图，通过具有符号功能的手势来进行信息交流和控制计算机的交互技术。手势的形状、位置、运动轨迹和方向等能映射成为丰富的语义内容信息。与操作键盘鼠标相比，用户能够较为自然地做出这些手势。例如，可以采用如图1-11所示的6种手势类型，将其语义分别定义为确定/抓取、返回/释放、锁定/解锁、右选、待转/移动、左选操作指令，从而实现基于手势的多媒体交互应用。手势交互将生活中人们习惯的手势符号作为与计算机交互的直接输入，极大地降低了用户学习成本。

手势交互是一种新兴的交互技术，其技术核心是手势识别。根据识别对象可将手势识别技术分为静态手势识别和动态手势识别。静态手势识别是指在某一静态图片中对手姿或手型的识别。动态手势识别是对连续手势轨迹跟踪和变化手型识别的技术，具有较高的实时性和高效性要求。目前，基于手势识别的应用还处于发展阶段，尤其是在实时动态手势识别方面的研究还比较缺乏。

图1-11 手势定义示例

a）拳头 b）开手掌 c）OK手势 d）右挥动 e）闭手掌 f）左挥动

数据手套是一种应用较为广泛的手势识别方式。图1-12形象地描述了数据手套的结构，关键设计是在手指关节等重要部位放置多个传感器，通过传感器采集手指弯曲程度和手指之间的角度数据，从而区分出每根手指的外围轮廓，然后将传感器的输出数列进行计算，从而得出相应的手势。

图1-12 数据手套（在手指关节处设置了传感器）

数据手套的研究起源于近现代，从20世纪80年代开始有不少学者在这个领域进行了深入的探讨。T.Zimmerman等人发明光弯曲传感手套替代笨重的外骨骼式数据手套，加速了数据手套的发展，随着近年来虚拟现实技术的再次崛起，数据手套也再次受到关注。目前市面上较为成熟的数据手套产品有5DT、CyberGlove、Measurand及Dexmo等，如图1-13所示。

图1-13 几种典型的数据手套

a）5DT b）CyberGlove c）Measurand d）Dexmo

手势识别的另一种方式是通过摄像头采集手势数据。这种方式下，人不需要穿戴额外的手套，裸手即可与计算机互动。手势设备在早期的视觉手势研究中，多采用单目视觉进行图像获取。但是单目相机只适合简单背景的应用场合，难以获得手势在三维空间中的位置信息，因此，后期的研究多集中在双目视觉领域。近年来，人们在双目视觉领域的研究已经日臻成熟，并已成功应用于商业领域中。2013年面市的Leap Motion设备就是经典的双目视觉手势识别系统，它被广泛应用于各种3D交互场合。如图1-14所示，Leap Motion主要由两个摄像头和三个红外LED组成，可在传感器前方生成25~600mm的倒四棱锥体检测空间，基于双目视觉实时融合计算三维空间中的3D手模型，能够达到0.1mm的识别精度。

图1-14 Leap Motion的组成结构与图像效果

a）组成结构 b）图像效果