大多数事故不都是人为错误造成的吗？
当灾难性事故在高度自动化的系统中发生时，用户通常是罪魁祸首。“人为错误”被宣布为事故的起因，并宣称设计缺陷已在最大程度上被减少了。当然，法航447航班的飞行员应该知道自动驾驶仪已经失效，并应该能够迅速采取适当的行动，毕竟，光已经从绿色变成了琥珀色！人为错误不仅是航空事故的起因，还导致了许多其他状况（图8）。据估计，高达90%的机动车事故至少部分是由人为因素造成的4。迄今为止，在大多数自动驾驶汽车中，人类测试驾驶员都被发现犯了错误，因为他们的反应不够迅速。但是，当遇到系统开发人员没有预见到的复杂、意外的情况时，这个人真的有错吗？
图8 飞行员的错误通常被认为是航空事故的主要原因。来源：“Statistics:Causes of Fatal Accidents by Decade,”Plane Crash Info,http://planecrashinfo.com/cause.htm
“人为错误”提供了一个方便自动化系统制造商的解释。但当你深入挖掘事故调查结果表面之下的原因时，就会发现更复杂的情况。最常见的情况是，真正的原因是人与自动化交互中的故障。有时，这样的错误只是反映了不断成长的痛苦：当引入涉及人与自动化交互的新系统时，人们必须学习新规则并获得有关其新角色的经验。但同样经常发生的是，系统故障也反映了系统设计不善的事实。在AF447航班上，事故调查小组发现，飞行员长期使用自动飞行控制系统的标准做法，削弱了他们在自动系统突然意外关闭时迅速了解情况的能力。他们已经变得习惯于让飞机自行运转，他们处理系统故障和突变的能力也下降了。对飞行员的心理检查证明，因为更多地依靠驾驶舱自动化，使得他们无法及时调整方向以应对故障5。
人们可能会问，这种“认知控制”的丧失是否真的是飞行员的错。从某种意义上说，这可能是使用“太完美”的机器人的后果吗？如果一台机器运行得很好，以致操作人员忘记了在出现问题时如何干预，会发生什么呢？
这种可能性给我们带来了一个难题。显然，我们想要设计出最棒的机器人，并且让它们能接替人类操作员完成任务。但这意味着，按照设计，人类操作员不会花太多时间操作相关系统或与自动化系统交互——操作员只有在被要求处理罕见的故障事件时才会介入。具有讽刺意味的是，操作员只有在高压力的情况下才需要介入，而在高压力的情况下，几乎没有人为错误的空间，但此时人们往往最有可能犯错误6。这个问题是自动化过程固有的。一个早期的警世故事来自我们在第二次世界大战中的经历。当设计师改进了喷火式飞机的座舱时，在训练中一切似乎都很好。但在混战的压力条件下，飞行员会意外地将自己弹射出驾驶舱。问题的根源在于，设计师切换了扳机和弹射控制，而飞行员在压力下恢复了以前的本能反应。
这是人类的天性，在紧张的情况下，我们对情况的感知范围会缩小，我们主动采取行动的能力会减弱，我们的行动会偏离通常的轨道。与此同时，你正在使用的机器也在尝试响应它不习惯处理的事件。就像你第一次坐上一辆租来的车，却迟到了。你发动过汽车，调整过座椅，甚至开过很多次车——但绝不是在这辆车里。而且因为控制方式略有不同，你挣扎着调整方向，驶出停车场，进入不熟悉的街道，这一切只会增加你的压力。对于自主系统，问题非常相似。系统总体上是一样的，但细节发生了变化。这将使操作者处于最糟糕的境地，无法快速做出决定并采取精确的行动。
自动化经常隐藏系统的行为，这一事实使问题更加复杂。这样做是有意的，可以使与复杂机器的交互变得更简单、更易于管理。但是，正如我们在AF447事故中所看到的，它让用户努力弄清楚机器正在尝试做什么，判断在这种情况下这是否是正确的，以及通过什么命令才能使系统进入安全状态。以租车为例，你可以调整座椅和后视镜，找到大灯和雨刷的开关，然后就上路了。但在自动控制中，显示器上的信息很少，任何一种模式的工作方式可能都没有相应的物理表示。你必须经过训练或者通过使用来学习。虽然用户对自动化模式和行为的理解会随着使用次数的增加而提高，但系统在危机期间进入的模式是用户很少经历到的，因此在发生危机事件时，用户面对的是一个陌生的模式。
这不仅仅是飞行员面临的问题。例如，现在我们大多数人都在使用GPS，这可能导致我们失去导航能力。我们倾听GPS系统平静的声音，在犯错时，它会耐心地帮我们回到正轨，然后我们就会到达要去的地方——但我们中的许多人不再有能力在脑海中绘出从这里到那里的路线。这没有什么问题，直到我们进入意外情况，需要更深入地理解复杂情况，如道路封闭。我们会很快笨拙地使用GPS来改变路线，或者找到其他能让我们回到预定路线的道路7。
通过对航空事故的研究，我们了解到，由于自动化功能运行良好，我们开始依赖它——但我们有时会过度依赖它，而有时又不够信任它8。在实验室中，许多人在自动化系统失败后仍然继续使用它，因为他们盲目地依赖它9。即使意识到了这些风险，我们仍然可能会失去注意力，难以注意到系统可能正在接近失败状态的细微暗示。由于自动化故障很少发生，人们很少及时发现，这种现象被称为警惕性降低，在许多罕见的事件检测任务中都可以看到。因为随着时间的推移，没有重要事件发生，人们就会在任务中失去注意力10。不管用户对系统有多熟悉，警惕性降低都会持续存在。
当我们与一个更像同类或拟人化的机器人系统互动时，不适当依赖的问题会更加严重。在佐治亚理工学院最近的一项研究中，研究人员测试了一种旨在引导人们安全逃出失火大楼的机器人11。人们似乎盲目地跟着机器人走，即使机器人明显出了故障，或者把他们带进了壁橱里的死胡同。这一问题因我们长期追求机器人的模样和行为更像人类而加剧。通过许多研究，我们发现系统越是拟人化，人类就越有可能不恰当地依赖它的建议、劝告或行动。换句话说，为了自己的利益，人们过于信任机器人。我们需要一些方法来调整这些新系统的设计，以预防这些问题，而不是像我们在航空领域所做的那样等待从错误中吸取教训。
飞行员被要求在他们的认知能力范围内不断执行相关操作。他们持续监控复杂的飞机，并必须准备好在出现故障时采取可靠和迅速的行动。如果他们眨眼，或者他们的注意力在错误的时刻被分散，结果可能是灾难性的。因此，在设计飞机时，仔细研究人类认知和信息处理的优势和局限性，并在设计中仔细考虑它们是有意义的。
但你可能不是一个管理先进自动驾驶系统的精英飞行员。这跟你有什么关系呢？
如果你已经为人父母，或者曾经长时间照看过蹒跚学步的孩子，你基本上就是在做现代航空公司飞行员的工作。因为风险同样高——这关系到孩子的安全和健康。面对一个两岁的孩子，你必须时刻盯着他。你一转过头，他可能就会径直走向书架，开始往上爬。你有没有想过为什么照看一个蹒跚学步的孩子会让人精神疲惫？这是一项需要时刻保持警惕的长期监控任务，而且人们不可能长时间集中精力完成如此高强度的监测任务。
这就是为什么我们要尽量减少对安全至关重要的工作的长期监控。例如，在一场手术中，外科助理护士的轮班时间比外科医生要短得多，尽管外科医生可能要工作12个小时或更长时间，但外科助理护士在手术期间的休息时间却超过两个小时。这是因为外科助理护士主要负责监控外科医生——在正确的时间提供正确的手术器械，时刻关注器械和纱布，以确保没有任何东西留在病人体内。护士无法长时间无误地完成这种监控任务。运输安全管理局的工作人员在机场检查行李时也经常出于同样的原因而轮换。空中交通管制员在对飞越我们领空的飞机进行30分钟或一个小时的监控和指挥后，就会休息很长时间。
不幸的是，为人父母没有轮换或长时间休息的机会！事故是导致儿童死亡和残疾的主要原因，每年有2300万15岁以下的儿童因溺水、中毒、被小玩具呛到、被狗咬伤、在操场上受伤、因接触家庭安全隐患而受伤、跌倒等原因而死于急诊室12。这并不是由于监管疏忽——大多数事故都发生在看护人本该照看孩子的时候13。只是我们不是机器，我们的注意力有时会消失。事实上，我们重视机器人的原因之一是它们的注意力广度本质上是无限的！父母偶尔也要完成一些日常生活中的其他活动，比如走一会儿去接个电话、做顿饭或清空洗碗机。我们必须不断地思考和决定：如果我离开，我的孩子还会继续做现在正在做的事情吗？我能等多久才能回来确认他的安全？我们离开的时间越长，我们的情境感知能力下降得就越多。
情境感知（Situational Awareness，SA）是一个理论结构，帮助我们理解人们如何处理信息、理解复杂的系统和情境，并发展决策能力14。几十年来，我们一直在研究与自动化系统的互动是如何影响情境感知的。这项研究有助于我们更好地理解人类的典型处理能力和局限性。此外，该研究结果为改进人机交互系统的设计提供了基础。另一项独立且互补的研究关注人们如何在有限或不确定的信息下做出快速决策15。人们倾向于在决策中运用启发式方法或捷径法，这导致了可预测的判断偏差16。由于这些偏差导致的糟糕的决策已经被记录在包括经济学、市场营销、体育、消防以及航空在内的许多应用中。人类情境感知中的典型弱点，以及决策中的启发式和偏见，代表普通人的瑞士奶酪模型中一些最大、最常见的漏洞。理解这些问题将是设计优秀机器人伙伴的关键。
研究表明，当父母监督他们的孩子时，会不断地进行复杂的心理计算，判断哪种干预措施似乎是合适的17。他们的决定将取决于孩子的性格、当前的活动、孩子的年龄或发育情况、孩子的性别（有一种感觉，男孩比女孩更难预测，而且独处的时间更短），还有许多其他因素。不同的照顾者有不同的养育能力和监督风格。有些父母被称为“直升机父母”，他们总是监视孩子的一举一动，不让孩子把自己置于两难的境地。还有一些家长则采用了放任式的教育方式，他们认为，孩子通过自己摸索出解决问题的方法，能学到更多东西。教养方式和能力最终会影响孩子的安全和幸福。简单地说，有些人天生就比其他人更善于监督孩子，有些人则比其他人更努力。在职场中也是如此。两名医生可能都非常喜欢手术室，但其中更擅长监测任务的可能会倾向于成为麻醉师，而另一个不太适合监测任务的可能会倾向于扮演更积极的外科医生角色。同样，为人父母给了我们这样的选择。
工作量和疲劳程度也会影响我们有效监督孩子的能力。单亲父母有很多事情要做，他们不得不在很少的帮助下完成监督孩子的任务18。数据表明，如果儿童只有一个照顾者，或在有多个兄弟姐妹的家庭中生活，其受伤的风险就会大大增加。这一发现是有道理的，因为这些情况会降低照顾者密切关注孩子活动的认知能力。与高度自动化系统交互的人也是如此：人们越是超载或疲劳，就越有可能错过关键信息或犯错误。
但对家长来说，有好消息也有坏消息。好消息是，许多公司正在开发和部署家用机器人，帮助父母照看孩子19。目前，这些机器人被用作远程监控设备，它们可以跟着孩子在房间里四处走动，用摄像头拍下孩子的行为；父母做饭时可以随时扫一眼远程视频，或是听着音频，听着孩子们玩耍。我们的愿景是，这些系统将很快变得更加智能。它们会跟踪孩子的身体动作和眼神，如果孩子开始爬上家具，或者好奇地盯着电源插座，它们可能会提醒父母。换句话说，你可以与机器人分享育儿的监控任务，它可以帮助你决定你可以离开多久，什么时候回来检查。
问题解决了吗？没有那么快。
驾驶舱内的自动化是否消除了飞行员的错误？是的，有些是这样，但正如飞机自动化带来了新的复杂性和新问题一样，保姆机器人的引入也将带来新的问题。作为家长，我们的任务将从监控孩子转移到监控机器人监控孩子的能力。你已经花了多年的时间来了解自己的孩子，建立起关于他会如何表现的心理模型，并知道你可以把目光移开多久。现在，你还必须了解机器人是如何运作的，它能做什么，可能错过什么。你需要追踪机器人可能有的多种“模式”，比如在家里和在操场上的安全模式。现在你需要担心并检查机器人是否处于正确的模式。而且，也许最重要的是，如果你过于依赖保姆机器人，你可能不会注意到什么时候出了问题，从而无法及时干预。只有当父母真正了解机器人的优缺点时，这个系统才会起作用，这样父母才敢在合适的时候依赖它，而在其他时候使用自己的判断。
做好这一点并不容易，但同样，设计这样的系统不需要我们重起炉灶。人类与机器人之间的协作可以从工业系统设计者已经面临的类似挑战中找到指导。我们可以从人类认知科学中汲取经验，这一科学帮助航空旅行成为最安全的交通方式之一。我们来看看人类情境感知理论，这一理论研究工作量、疲劳和固有人为偏见如何影响人的表现，以及科技如何使我们做出正确决策的能力变得复杂。
我们知道，在将新技术引入飞机时，事故会激增。当使用复杂的技术时，我们已经完善了人类决策的理论，就像完善了机器人技术一样。让我们再次确保，从一个领域获得的经验教训和见解被转移到其他领域。当我们引进更有能力的家用机器人时，我们能从过去的惨痛教训中得到启示，从而防止事故的发生吗？不能仅仅因为我们不能将从工业应用中学到的知识转移到消费产品上，就让儿童受伤的人数每年超过2300万。
情境感知研究人员研究我们如何保持对周围世界这一系统的心理表征。他们对我们与所有类型系统的交互感兴趣，他们的工作在设计复杂系统时特别有用。它使我们能够预测人类的行为可能如何影响给定的情况，并为有效的决策提供基础。发展和保持情境感知包括三个阶段：感知、理解和预测。感知包括处理周围世界元素的感官信息；理解包括综合这些新的输入，并将它们与你的目标、期望和当前模型进行比较；而预测就是利用这些信息来预测未来的状态和结果20。
当一台自动机器把任务的控制权交给它的人类伙伴时——无论出于何种原因，这些人类伙伴必须保持注意力，并保持足够的情境感知能力。
让我们回到开车的例子上（这次只是开一辆普通的车，不是自动驾驶的）。开车的时候，你会在同一时间收到各种各样的视觉输入：汽车的仪表盘告诉你车速有多快；你必须注意道路，注意前方的路况，或者注意与岔道的交叉；你要注意地标、天气；等等。还有声音输入：可能是车里的其他人在聊天，引擎的嗡嗡声，其他汽车的鸣笛声，GPS给你的指示，或者Spotify的播放列表。还有触觉输入：比如汽车的震动，脚踩油门踏板的压力，以及加速或减速时的加速度变化。你会下意识地将这些信息融合在一起，从而明白什么时候需要减速，什么时候转弯，或者什么时候接近目的地。你本能地知道，在交通信号发出前踩下刹车踏板，及时减速，而不用发出刺耳的刹车声。你也知道如何在下雪时调整驾驶行为，什么时候要注意行人，什么时候应该暂停与乘客的谈话，这样你就可以把更多的注意力放在路上。
想象一下，如果你在开车的时候失去了情境感知，比如仪表盘掉下来了，或者后视镜断了，你可能很难获得和这些辅助设备能提供信息时一样的理解。你要么通过其他方式获得相同的信息来补偿，要么忍受情境感知能力的下降。例如，在一个后视镜坏掉时，你要格外小心，也许要常常扭头扫视一下后面。大多数时候，这就足够了。但在少数情况下，努力保持足够的情境感知可能会导致你犯错，并可能导致事故。这虽然是一个简单的例子，但随着机器人进入我们的日常生活，我们会把越来越多的任务交给它们，如果这种交接设计得不好，把工作交给机器人可能会让情况变得更糟。总体情境感知的丧失可能使我们无法捕捉错误或在需要时进行干预。例如，如果医院里的机器人负责把药送到不同的房间，然而它被困在了走廊里的一个障碍物上，谁会发现它被困住了，把它解救出来，并确保它回到正轨？或者，更紧急的是，谁来确保等待的病人通过另一种方式获得药物？
回想这一章开始提到的法航航班，当飞机坠入海洋时，飞行员不具备足够的情境感知能力。我们已经看到这种情况一次又一次地发生。在另一起事故中，台湾中华航空公司006航班的飞行员试图弄清楚飞机的方向，结果飞机在几分钟内跌落了三万英尺21。
其中一个引擎出了故障，飞行工程师通过检查清单来了解并纠正这个问题，自动化系统试图弥补引擎推力的不对称性，并将控制轮尽可能往左转动。飞行员需要在关闭自动驾驶仪之前了解这一情况，以便机组人员可以准备手动弥补这一问题。然而，机长在断开自动驾驶仪之前或之后都没有执行正确的控制操作。由于飞机正在穿过云层，飞行员需要依赖仪表板上的水平仪指示器，它显示飞机相对于地球地平线的方向。仪器显示出过度的倾斜——飞机实际上是在往下飞，而且是侧着飞。这太不寻常了，飞行员以为是指示器出了故障，从而失去了方向感。直到飞机冲破云层后，飞行员才重新调整方向，并意识到姿态指示器是正确的。一旦他恢复了情境感知，就能够恢复飞机，重新启动引擎并安全着陆。
在运行高度自主系统时，情境感知能力的丧失已导致商用和通用航空数百人死亡，因此，政府和航空公司已经花费了数百万美元来研究为什么会发生这种情况，并试图找到解决方案。解决问题的目标通常是考虑如何防止情境感知的丧失。
某些人感知上的弱点可能源于他们对数据和环境中的特定元素的感知问题。另一种情况是，有些人可能理解了所有的相关信息，但无法理解其含义。最后，有些人可能会正确地感知和理解，但却无法使用这些信息准确地预测未来的信息或事件。在系统设计人员必须考虑的三个级别中，每个级别都有许多可能的潜在故障原因，表1列出了一些最常见的原因。
表1 情境感知错误的分类
犯错误的可能性在一定程度上取决于用户的关注程度，用户投入过多或过少都会导致错误的增加22。这也意味着要求别人过多或过少地关注自动化都可能会适得其反。“唤醒”（即某人为一项任务分配物理或认知资源的水平）与成功完成一项任务的能力之间存在非线性关系。这种关系被称为埃尔克斯-多德森定律（Yerkes-Dodson law），该定律以最先描述这种现象的心理学家命名。如图9所示，当用户没有得到足够的刺激时，他们就会感到无聊，更容易从主要任务上分心。但是在承受过度刺激时，他们最终会变得紧张和不堪重负。在这些时刻，认知过程实际上发生了变化。根据注意力聚焦理论，我们通常会在任务的一小部分上投入巨大的注意力，这导致我们完全忽视了注意力集中区域之外的视觉刺激。自动化通常被设计为减少用户的任务负载，通过设计，用户不再参与常规活动，而只参与高工作量的活动，例如从故障中恢复。因此，自动化系统的用户处于绩效曲线最糟糕的部分。最佳绩效就是在用户和机器之间找到任务的正确平衡。
图9 埃尔克斯–多德森定律描述了唤醒或刺激水平与一个人在任务中的表现之间的关系。来源：Robert M.Yerkes and John D.Dodson,“The Relation of Strength of Stimulus to Rapidity of Habit‐Formation,”Journal of Comparative Neurology and Psychology 18,no.5(1908):459–482
一个显而易见的解决方案可能是直接降低机器人的自动化程度，从而要求用户更多地关注它们。这种选择将确保用户继续参与，并准备好在系统失败时接管。但是必须仔细考虑用户的总工作量，包括他们执行的所有不同任务的工作量，而不仅仅是与机器人交互的工作量。如果重新开启自动化，用户的工作量最终会过高，他们的决策能力会下降，绩效也会下降。因此，当紧急情况发生时，他们的接管能力较弱。这是法航飞行员试图了解情况和飞机状态时在驾驶舱发生的事情。
我们还必须考虑疲劳的累积效应。疲劳既有生理原因（如睡眠不足、饥饿），也有心理原因（如完成任务的时间）23。研究表明，决策能力会随着疲劳程度的变化而变化。例如，当法官做出裁决时，他们正在执行一项繁重的精神任务。他们必须吸收和理解大量的信息，预测未来可能发生的事件，从而做出决定。疲劳还会影响判决结果，有证据表明，法官在吃完点心或午餐休息后，往往会在判决中表现得更加宽大。
任务的详细程度也很重要。因为要执行一项真正具有挑战性的任务而承受高工作量，或者由于从事多个并发活动而承受高工作量，这是有区别的。当人们不得不在不同任务之间切换时，他们的反应总是比较慢。一项实验室研究要求参与者在解决数学问题和分类几何图形问题之间切换。当参与者在这两个任务之间切换时，他们浪费了时间，而随着时间的推移，浪费的时间累加了任务，使任务变得更加复杂24。我们一直在转换任务，例如，我们开车时先去挑选收音机里的歌，然后又转回去监控路面情况。当孩子们爬上滑梯时，我们会查看短信，然后抬头看看，以确保他们的安全。在这些任务之间切换时，我们损失了数百毫秒的时间，因为我们的认知过程必须重新调整，以不同的方式执行每一个任务。这就好像我们的大脑必须停下来，快速加载一个新程序。虽然转换成本通常很小——不到一秒，但在安全关键的应用中，这些延迟会使人无法在必要的时间内做出反应以避免事故发生。众所周知，由于任务切换而导致的心理环境切换会削弱我们的情境感知，降低正确应对危险情况的能力25。
我们生活中的许多机器人都被限制在单一的任务上。但更先进的自动化系统通常设计有多种模式，以处理不同类型的特殊情况。操作员将越来越多地了解不同模式下自动化系统的不同行为，而这种切换将成为另一个痛点。
比如，你的车和其他新车型一样，配有防抱死制动系统（Antilock Brake System，ABS）。天气好的时候，你踩下刹车踏板，车就会减速。然而，在恶劣天气下，汽车会以不同的模式运行。视路况而定，当你踩下踏板时，它可能不会直接刹车。为了避免失去地面牵引力，它将以脉冲方式施加和释放刹车。在这两种情况下，你踩下刹车踏板的方式是一样的，但汽车的两种反应感觉上是不同的。如果你事先不知道汽车配有防抱死系统，第二个结果可能会非常令人惊讶。作为一种本能反应，你可能会担心刹车不能正常工作，并采取不恰当的行动，例如使汽车转向。早期防抱死制动系统通过制动踏板的振动来提醒驾驶员该系统的激活，然而司机被这个意外的信号弄糊涂了，惊慌失措，许多人的反应是把脚从刹车上拿开——这不是正确的反应26。这种简单的模式混淆成了许多交通事故的原因。
如今的飞机比汽车拥有更多的自动驾驶模式，而操作人员对自动驾驶模式的困惑是导致航空事故的一个重要原因27。在AF447航班上，由于空速测量出现故障，自动驾驶仪断开了连接，飞机从正常飞行模式过渡到备用飞行模式，在这种模式下不能提供飞行员在正常飞行中所习惯的失速保护。飞行员很难理解自己的动作是如何被转换成飞机的输入信号的，因此只能继续拉回操纵杆，这导致飞机在没有意识到的情况下失速。失速警告响了54秒，但飞行员没有对警告做出反应，似乎也没有意识到飞机失速了，因为他们在试图找出问题出在哪里。警报的声音可能并不清晰，或者飞行员的注意力可能集中在了错误的问题上，导致他们错过了最紧迫、最根本的问题。显然，他们没有准确的情境感知能力，因此无法在那一刻做出正确的决定。
尽管飞机自动化可能仍然比汽车更复杂，但很快情况可能就不一样了。同样的模式混乱导致的安全问题也开始出现在我们的辅助驾驶汽车上。2017年对特斯拉Model S 70的一项研究记录了一名驾驶员在6个月的驾驶过程中出现的11次模式混淆情况28。
笨拙的自动化设计会使糟糕的情况变得更糟。如果一个系统没有清楚地显示或告知操作者它的模式，可能会导致错误的信息和不恰当的行为。如果系统以不合理的方式将其模式告知操作者，也会使操作者感到困惑，并导致会出现相同的问题。例如，2017年，在美国海军驱逐舰USS John S.McCain号上，指挥官决定重新分配控制权，并命令将“节流阀”转移到另一个观测站29。但是，舵手不小心把所有的控制装置都调到了新的观测站。当这种情况发生时，船舵自动重置到默认位置（船的中心线），而没有给出任何警告或通知。模式的改变使船偏离了航线，并与一艘商业油轮相撞。船上的每个人都认为船失去了方向感，工作人员花了几分钟才弄清楚发生了什么。但为时已晚，USS John S.McCain号与油轮相撞，造成10名水兵死亡。
减轻模式混乱需要在设计器方面下功夫。用户需要充分理解机器人在任何给定情况下的行为。自动化应该提供关于系统模式、状态和操作的清晰提示。它不应该提供在关键时刻可能被误解的反馈，即在操作员必须要输入正确的时候。而且，如果用户采取了错误的行动，自动化系统也必须足够智能，能够识别和响应操作决策中的错误30。
安全关键系统的运行往往要求使用该系统的人快速做出决策。如果一个人被剥夺了资源，也就是说，他没有足够的时间、信息或认知能力来做出有逻辑的、经过充分分析的决定，那么他会选择走捷径。通常，他会采用启发式原则，这样会减少问题的复杂性，并根据过去的经验快速做出判断31。当你的情境感知受损时，这通常是一种很有效的决策方式。然而，像所有的模型一样，启发式可能包含显著的偏差。
一种常见的启发式是可得性启发式，即人们根据他们最容易回忆或想到的事情来判断一个事件是否可能发生。例如，在台湾中华航空事件中，飞行员更容易想到指示器有问题，而不是思考它为什么会显示如此极端的方位数据。启发式使飞行员能够迅速做出判断，但不幸的是，这种判断是不准确的。
近100种其他类型的偏见已经被确认和实验验证。但在设计机器人时，这些人类决策的弱点很少被考虑，因为工程师在设计过程中很少考虑人类的心理。因此，新系统很容易触发或放大这些偏见，而不是对它们进行补偿。
另一种对抗这些关于制造“太完美的”机器人的担忧的显而易见的方法就是更好地训练人类自身。按照这种想法，如果操作员能够更好地掌握他们所使用的机器人的信息，像USS John S.McCain号军舰这样的灾难就可以避免。但如果这一点还不清楚的话，我们想明确地指出，无论接受多少培训，人类都有基本的局限性和普遍的偏见。更重要的是，随着新的自动化系统不断进入日常生活，我们在设计的时候需要假设一般的消费者没有接受足够的培训。我们将操作自己并不完全了解的工作机器人并与其互动。