第3章　生理计算与交互

3.1　概述

生理计算是用来描述任何直接监测人体生理并将其转化为控制输入的技术系统的术语[1]。这类技术努力使输入控制像一个简单的意志行为一样直观，比如举起一只手臂或向前移动。基于传感器的系统具有监控大脑和身体的能力。生理计算的研究可以增加对用户认知、情绪和动机的动态表示。利用用户的隐式模型扩展了技术的适应性，在身体和计算机之间创建对话。通过传感器技术进行监视的行为不可避免地会生成可以量化、可视化、检查和共享的数据，透过这些数据，用户可以熟悉数字化的自我。生理计算以量化的视角来观察运动、睡眠模式和情绪变化。

生理计算研究具有很强的跨学科特征，涵盖了从神经科学到工程学的广泛知识。这种跨学科属性带来的好处是，心理学家有可能与计算机科学家和工程师一起研究一个共同的问题。但是，这种跨学科属性同样可能会产生一些问题，因为从脑机接口到远程医疗，不同生理计算系统中所包含的领域跨度非常大，决定了在系统实现时是充满挑战的。在某种程度上，这种发展既是必然的，也是必要的。然而，对生理计算系统的研究，无论目标系统是与输入控制、适应有关，还是与监测有关，都有许多相似之处，为研究生理计算系统的一些共性问题和设计范式提供了可能。

人类与计算机系统交互的一般模式在过去30年里一直保持不变。我们能够通过键盘和鼠标等外围设备向计算机公开表达我们的意图。平板电脑和手势识别的出现对传统的输入控制方法提出了挑战，但基本的交互模式没有改变。还有其他正在开发的替代范例，允许用户与计算机通信，不需要公开输入控制形式。脑机接口(Brain Computer Interface,BCI)被设计成通过将信号转换为接口的动作，直接从大脑皮层读取动作和意图[2,3]。因此，通过监测大脑感知运动链的来源，取代了传统输入控制中涉及的基于物理的运动监测。

BCI和眼睛控制系统的开发代表了一种输入控制的替代形式。这种输入控制是指令性和有意图的，就像用鼠标指向和单击一样。在这些情况下，输入控制的模式是新颖的，但人机交互(HCI)的机制基本保持不变。在这种情况下，用户的监测结果数据用于描述认知、情感和动机状态。这些数据经过综合成为一个动态的结果，表示个人的心理状态，同时这些数据会实时传送到系统软件，使软件能够进行实时地自我调整[4]。这种窃听式的心理生理学方法可能会对HCI的未来产生深远的影响，在这种方法出现之前的关于情感计算[5]和适应性自动化[6]的研究已经证明了如何使用生理数据来触发及时且直观的软件适应性。比如,及时提供积极反馈可帮助沮丧的用户避免愤怒升级[7],自动驾驶飞机座舱可缓解心理工作负荷高的飞行员[8],以及电脑游戏使用难度升级的机制可激励一个无聊的玩家[9]。这些生物控制系统[10]依赖内隐的心理生理状态监控用户,可以用来促进用户积极的心理状态，减轻某些负面情绪或危险状态的发展[11]，从而更利于个人的健康和安全。

华盛顿大学Huang等人把肌电传感器配置成环状分布佩戴在用户手腕上,探索了触屏手机环境下的拇指动作精细识别,包括有反馈和无反馈条件下的点击、滑动及九宫格解锁操作[12]。为了能够捕获更好、更全面的手部肌电信号，德国卡尔斯鲁厄理工学院的Amma等人使用了8×24点阵的高密度肌电传感器获取整个手臂的肌电信号。实验证明，这种方案可以获得非常高的手势识别率[13]。根据表面肌电手势识别原理,Thalmic Labs公司开发了肌电腕带 MYO,并且在腕带中加入运动传感器。MYO腕带自带的应用支持演示文档控制、简单手势等操作，并且对外开放应用开发接口，是基于肌肉感知的手势交互技术从研究走向商业应用的重要里程碑。同样，也有研究者利用新颖的传感器技术来实现手势交互应用。麻省理工学院的Dementyev等人使用压力传感器设计了一条压力腕带来感知手臂肌肉群的收缩状况，利用这条腕带还可以识别握拳、张手、掐指等多种手势动作[14]。卡耐基梅隆大学的Zhang等人则利用肌肉收缩与放松时的电阻抗差异,使用高分辨电阻抗断层成像技术对手腕截面进行扫描的方式检测手部做动作时手臂肌肉电阻的变化，开发了一套能实时识别手势动作的系统[15]。

东南大学的宋爱国团队在肌肉活动信号获取设备的研究和开发方面做了深入的研究[16]。中国科学技术大学的陈香教授在基于表面肌电的中国聋哑人手语识别、虚拟现实手势交互应用等方面也获得了不菲的成果[17]。中国科学院软件研究所田丰团队提取手势动作时的肌电信号用于判断手势的起始结束点,解决手势识别应用中手势与手势之间难以分割的难题[18]。

美国匹兹堡大学的AttentiveReview根据PPG在Review阶段可自适应选择要推荐给用户的内容。威斯康星大学麦迪逊分校根据EEG在Review阶段可自适应选择要推荐给用户的内容。美国塔夫斯大学用近红外光谱仪(fNIRS)可得到用户的疲劳度和负载度，自适应调整任务难度，使用户表现更好，降低35%的任务失败率。瑞士联邦理工学院追踪用户在MOOC视频学习中的眼球移动并推断用户注意力集中度，给出可以提高学习效率的反馈信息。加拿大蒙特利尔大学MENTOR，根据EEG信号决定给出问题还是例题，更好适应学习者状态，提高学习效率。

塔夫斯大学Robert Jacob教授的团队近年来基于fNIRS探究从动态脑氧含量到认知负荷、情感状态及运动机能等人体状态建立关联关系。美国匹兹堡大学MIPS实验室研究如何通过普通摄像头隐式监测用户在日常使用交互系统过程中的心率。德国斯图加特大学Albrecht Schmidt教授的团队使用轻量级脑电传感器Neurosky Mindwave监测听众在听报告过程中的投入程度。美国南卫理公会大学的学者利用瞳孔直径预测认知负荷。

生理计算系统可分为两大类。第一类是为了扩展身体模式，即身体的表现形式，指导有针对性和意志性的知觉运动任务。当我们想要触摸一个图标或者点击一个链接到一个特定的网页时，这些功能是由意向性指导的。对于日常活动，比如拿起咖啡杯或打开门，神经系统会在无意识的水平上指导行动。这样生理计算系统可以通过采集，并分析这些人体的意识来控制一些设备，比如残疾人假肢、轮椅控制等。第二类涉及对那些发生在身体内部动态过程的自我感知，并有助于对心理状态的感知。生理计算系统可用于获取一系列生理数据，如体育活动(如跑步、散步)、心理过程(如增加的心理工作量或挫折感)以及健康指标(如高血压患者监测血压)。这种类型的生理计算系统通过向用户提供一个额外的定量反馈通道，促进了对自我的感知。