第一部分 基础篇

第1章 自然人机交互

第2章 Xtion硬件设备

第3章 OpenNI开发方案

第1章 自然人机交互

第1章主要介绍自然人机交互的一些基本知识，以及最新应用的人机交互的实例，希望读者可以从本章的介绍中了解到目前人机交互领域的最新研究和应用情况，并且感受到新一代的体感交互所散发的无限魅力和广阔前景。

1.1 什么是自然交互

相对于传统交互方式，自然人机交互方式更加强调交互方式的自然性、人际关系的和谐性、交互途径的隐含性，以及感知通道的多样性。自然交互方式必然会将人机交互从二维的桌面交互，拉伸到整个三维物理空间，从而更加适合人们日常完成任务的习惯，尽可能地不分散用户对任务本身的注意。

在人与人的相互交流过程中，人们通过谈话或者文字就可以进行沟通。然而人们通常会倾向于面对面地沟通，因为这样可以用到人们的视觉，相互所见，沟通可以变得更加丰富，更加直接。人们的情感也可以通过一些微小的变化表现出来，比如表情、点头、手势、眼神或者身体的移动方式，这些人与人的交互方式是人类通过视觉通道感知别人行为与意图的最基本的方式，而这些，也是自然人机交互方式必然要追求的目标。

交互发展的趋势是更自然、更人性。“自然交互”实际是指人与产品的交互过程中，产品允许用户利用自身固有认知习惯及所熟知的生活化行为方式进行的交互动作，是一种非精确的自然行为与产品进行交互的方式，旨在提高交互的自然性和高效性。心理学将人接受刺激和做出反应的信息通路称为通道，接受信息和输出信息分别为感觉通道和效应通道。自然交互方式就是综合这些通道应用于交互的一种形式，其中感觉通道主要有视觉、听觉、触觉、力觉等；效应通道主要有手、足、头及身体、语言等。

自然交互的概念包含了两层含义。

第一层是指具体的交互方式，人与机器的交互方式主要有数据交互、图像交互、语音交互、动作交互和行为交互等，其中除数据交互之外，其他的都属于自然交互范畴，人与机器的语音交互、触觉交互、手势控制交互等都属于自然交互形式。

不过在实际应用这些交互方式时，这些方式不一定是自然交互方式，这就是自然交互的第二层含义：自然交互的方式必须以人为中心。通过用户研究并运用各种设备及交互技术，是用户在日常生活中已掌握的技能及其习惯方式与机器进行自然的交互，或者是用户通过符合任职习惯的方式能够快速学习并掌握产品的使用方法。简而言之，就是人机自然交互追求的目标，使人与机器达到自然交流的方式。

目前来说，日常的自然交互主要有声音设备的语音识别、预定义手势识别并控制设备，例如使用双手控制家庭电子产品、Leap Motion等。还有身体跟踪，就是目前流行的体感类应用，通过对全身运动的跟踪、分析、识别以用于游戏、健身类的应用。

1.2 科幻电影场景的人机交互

令人耳目一新的人机交互，一直都是科幻电影的大热卖点。例如《阿凡达》中脑意识控制，《钢铁侠》的全息影像操作（图1-1），《高达》的体感单机操作（图1-2）等。

如今通过艺术家和科学家们的共同努力，这些电影构想的未来自然人机交互界面正在褪去“科幻”色彩，随着Xtion设备的普及，人们很快就能体验到科幻描述中的人机交互。这也正是我们今后要讨论的内容。

虽然电影中的场景是虚幻的，但是我们也不难从中看出人机交互的发展趋势，比如自然、直观、符合人类心理的交互方式。目前，多点触摸、体感技术、语音设备等已经有了比较成熟的应用，在人机交互不断发展的过程中，影片中的设想终究也会变为现实。

1.3 自然人机交互技术发展现状

自然用户界面（Natural User Interface，NUI）是指一类无形的用户界面。“自然”一词是相对图形用户界面（GUI）而言的，GUI要求用户必须学习软件开发者预先设置好的操作，而NUI则只需要人们以最自然的交流方式（如语言和文字）与机器互动。直观地说，就是用NUI的计算机不需要键盘或鼠标。

——维基百科

随着计算机技术和传感器技术的日益更新，新的人机交互技术不断推出，而这些技术正是虚拟世界和现实世界之间的桥梁。

下面是现今一些人机交互技术的简介。

1.第六感设备

这套第六感设备由MIT（麻省理工）Media Lab的Pranan Mistry在TED大会上展示，创意地将迷你放映机、手机、摄像头、多点触摸等技术组合在一起，表现出来的便是通过胸口悬挂的摄像机识别不同的手势动作，完成不同功能操作，如图1-3所示。

2.追影技术

Google的Gmail Motion，如图1-4所示。Gmail登录时启用内置摄像头，通过空间跟踪算法识别侦测到的动作，用来进行浏览、回复、转发等操作。

3.虚拟现实

Google的《街景计划》就是虚拟现实的一大应用，类似的还有模拟飞行游戏、飞行舱模拟器等。Google地图中的虚拟街景如图1-5所示。

4.多点触摸

目前多点触摸已经被广泛应用于触摸屏中，比如iPhone、iPad以及Microsoft Surface，Surface还可以提供多点触摸（Multi-touch）功能，如图1-6所示。

5.语音识别

从IBM的ViaVoice到Apple的Siri，语音设别功能也逐渐大众化。相应的还有Microsoft的Bing Audio和Tellme。苹果手机中的Siri语音识别技术如图1-7所示。

6.眼球追踪

眼球追踪技术的应用也十分广泛，高端相机通过眼球来控制相机焦点，阅读电子书籍时到末尾自动翻页，帮助残障人士操作计算机等。这方面最著名的要属霍金的座椅了。目前瑞典Tobii眼球追踪技术公司的眼动仪是眼球追踪技术上的成熟产品，如图1-8所示。

7.体感操作

美国Intuitive Surgical公司研制的达芬奇机器人手术系统，由装有四支超高自由度的机械手臂的手术台和一台高精度的3D高清视觉系统构成。达芬奇机器人手术系统如图1-9所示，这里机器人成为人身体的自然延伸部分。

8.脑机交互

在《阿凡达》中，下身瘫痪的杰克萨利就是头脑上带着设备，通过意念操控人造混血阿凡达。脑机交互技术目前仍是前沿技术，NeuroVigil公司研制的iBrain，能够捕捉人类“脑电波”的变化，将其转为相应的计算机指令。而著名的物理学家霍金的座椅的升级版就使用了iBrain，如图1-10所示。

1.4 本章小结

本章主要了解Xtion这个硬件设备，以及人机交互的发展情况。下一章将为读者介绍Xtion设备的硬件知识。参数和一些与设备相关的基础概念。Xtion设备在体感开发中作为一个硬件基础，涉及每一个体感程序，详细了解Xtion的硬件方面的知识，对读者的后续开发起着非常基础、非常重要的作用。