随着计算机技术的进步,人机交互正在朝着人性化与简单化的方向不断发展,非接触式手势交互逐渐成为人机交互的一个重要方式。与鼠标、键盘、触摸屏等接触式的操作方式相比,非接触式的手势交互更加符合人的自然行为。近年来,随着计算机视觉和图像处理技术的发展,基于机器视觉的手势与计算机交互的方式正在成为新型人机交互方式的主流。
01
交互设计发展历程
从简单的二维动作识别发展到复杂的三维空间跟踪
- 命令行界面（CLI）：早期的计算机使用命令行界面，用户通过键入命令与计算机交互。
- 图形用户界面（GUI）：随着技术的进步，图形用户界面取代了命令行界面，交互行为更加直观。
by Dimest
- 自然用户界面（NUI）：用户直接通过触摸屏幕来操作设备，手势控制进一步提升了交互的自然性。
by Johny vino™
手势识别技术的演变：
二维动作识别：最初的手势识别技术主要基于二维图像分析，能够识别简单的手势动作。
三维空间跟踪：随着传感器技术的发展，手势识别可以进行三维空间跟踪，识别更复杂的手势和动作。
“什么是手势？为什么说手势交互是自然交互？”
手势是指人类用语言中枢建立起来的一套用手掌和手指位置、形状的特定语言系统。普遍研究认为，在人类历史中，手势先于语言被发明，且是语言出现的先决条件。其实人们在一直使用手势与他人和世界交互，使用手势早已成为人们的自然行为。
02
空间手势控制技术
- 常见传感设备
Microsoft Kinect：
Leap Motion：
小型手势控制设备，能非常精确地跟踪用户的手和指尖动作。它在医疗、教育和设计等领域的应用展示了手势控制技术的多样性和潜力。
- 基本控制技术
光学传感器：
工作原理：使用摄像头捕捉光线反射和中断，通过图像处理算法识别手势。
应用实例：智能手机和平板电脑的前置摄像头。
红外传感器：
工作原理：发射红外线并捕捉其反射信号，通过变化来识别物体的运动和距离。
应用实例：微软Kinect，用于游戏控制和交互式媒体。
超声波传感器：
工作原理：发射超声波并接收其回声，通过分析回声来确定物体的位置和运动。
应用实例：汽车倒车辅助系统。
数据手套：
- 高级手势识别算法
深度学习：
描述：使用神经网络模型，特别是卷积神经网络（CNN），来学习和识别复杂的手势模式。
优势：能够处理大量数据，提高识别准确性，适应不同的环境和用户。
机器视觉：
描述：结合多种图像处理技术，如边缘检测、特征提取和物体分类，来识别手势。
优势：在复杂背景下仍能保持较高的识别率，适用于多种应用场景。
应用前景
无接触操作
无需物理接触设备即可进行操作，如自动取款机、电梯按钮
- 虚拟现实（VR）和增强现实（AR)
手势控制操作灯光、调节温度、控制媒体播放等。
- 车载系统
减少驾驶员操作界面的次数，从而降低驾驶时分心的风险。
- 辅助技术
为残障人士提供无障碍的交互
教育和培训
游戏和娱乐
丰富和沉浸的游戏体验。
- 人机交互研究
03
空间手势设计要点
隔空手势设计
隔空手势交互有以下优点：有些手势的发出比语音指令的发出还要快；在安静的环境下，隔空手势能替代语音交互发出指令，也比走到设备跟前交互快。
- 了解设备捕捉手势的范围
meta quest2 的摄像头布局在四角，当手的位置过低时，则无法识别
- 使用低负荷、高心理预期的交互方式
多使用手腕摆动和手指摆动的手势，来减少肌肉负荷。
始终考虑用户的舒适度。以尽量减少以下交互：
进行大而剧烈的运动
长时间保持手臂抬起
将手臂举过肩膀
完全伸展手臂
- 减少手势的数量、减少用户记忆和学习成本
在一个应用、系统、或是一组体验环节中，尽量使用少的手势来完成交互。用户能记住的手势数量都非常有限：实验证明人们通常最多可以记住一组6个手势。
- 配合视听觉反馈，来增强手势交互体验
微软HoloLens的按钮反馈，丰富的反馈提供优质的体验
- 谨慎考虑手势的地域性
在不同的文化族群中，同一个手势往往有着截然相反的含义。比如“✌🏻”，这个手势在中国、美国可能表示“2”或者“胜利”，但在英联邦国家中，则有侮辱的含义。“👍🏻”手势在很多国家是赞扬的意思，在一些中东国家则是粗口手势。
- 防止遮挡
当一只手位于另一只手和相机之间时，相机无法正确跟踪手的情况，手部重叠需要避免。
shi（注：meta实验室已经公布了新的手势算法，在手部遮挡的情况下也能识别，希望该技术日后可以被普及）
- 适宜的交互区域
可交互的元素，应该摆放在合适的位置、合适的角度，同时也应当根据位置情况设置成适合手部交互的大小。
比如，根据微软和leap motion提供的数据，适用于近场交互的距离在45-60cm左右，意味着按钮、模型等可交互物体，需要放在此位置，来保证手能直接触达到。同时在45cm处的按钮大小，微软推荐至少要有1.6x1.6cm，来保证适合触摸。在设计时，可以以微软提供的数据作为参考。
- 手势缺乏触觉的一种解决方案——伪触觉反馈
摩擦阻力：让用户远程操控立方体在一个有摩擦力地面上滑动时，控制/显示比（control/display ratio）发生变化，用户会有一种需要更用力、更大幅度的操作，才能继续操控立方体。（阻尼感）
刚度：对正在触摸的物体的变形难易程度，来展示虚拟物体的硬度或柔软度。leap motion 对手物边界的设计研究中，通过关节射线与物体的距离建立视觉动画，使用户感知物体的柔软度。通过这种方式缓解虚拟现实中不可避免的穿模问题
质量：抛两个不同质量的球，根据小球的运动轨迹和回弹，可以让用户感知到这个球的质量大小。再次捡起时，就会产生质量上的心理预期
表面形状：根据虚拟物体的表面形状设置交互，如图所示：当手握到一定程度时（非闭合状态），视觉上物体就被拿起来了，这时候会有伪触觉反馈。leap motion 对手物边界的设计研究中，手在抓取物体时，手部模型不穿模，最多附着在表面边界上，通过此方式构建物理边界认知。
04
未来发展
增强现实（AR）与手势控制的结合：
在AR环境中使用手势进行导航和交互，提供更自然的用户体验。
预测：随着AR技术的成熟，手势控制将成为AR眼镜和应用中的标准交互方式。
微型化和低功耗传感器的发展：
发展更小型、更节能的传感器，使手势控制技术更易于集成到便携设备中。
预测：未来的可穿戴设备将广泛采用手势控制，从智能手表到健康监测设备。
自适应和学习型手势控制系统：
系统能够学习用户的手势习惯，并自动调整识别算法以提供个性化体验。
预测：手势控制系统将通过机器学习变得更加智能，能够预测和适应用户的行为模式。
References
薛志荣《前瞻交互——从语音、手势设计到多模融合》
王锦. 基于视觉的非接触式手势交互技术研究[D].北京工业大学,2017.