2.1　新媒体艺术的认知模式

交互性是新媒体艺术区别于传统艺术最主要的特征，改变了对艺术欣赏的角度，让受众的角色提升转变为参与者。新媒体艺术与传统艺术创作比较如图2.1所示，在传统艺术创作中，艺术家仅仅创作艺术作品，艺术中所包含的艺术理念与思想是被动接受和单向交流的，在这个单向交流的过程中，艺术家很少去考虑受众的心理和行为诉求。在新媒体艺术中，艺术家不仅要表达个人创作理念，还要构造框架、创作环境、空间及互动过程，艺术家不仅创作艺术作品实体，还要创作受众和作品的交互过程。这个交互过程即受众欣赏艺术作品过程中对作品信息的认知过程，交互的结果是实现艺术家—作品—受众之间的信息互通和情感共鸣，由心理上主观接受并展开顺畅的交互，在创作之前艺术家需要首先了解受众的心理特点及其在参与互动过程中的认知模式。

2.1.1　心理学下的认知模式

认知心理学兴起于西方20世纪50年代中期，是研究人的高级心理过程即认知的整个过程。美国认知心理学家奈瑟尔（Neisser）认为认知始于感觉的输入，提出“认知心理学是感觉输入的变换、减少、解释、贮存、恢复和使用的所有过程”。认知心理学以研究人的感知觉、注意、记忆、情绪等方面的内容为主。感知觉是人脑对于事物的不同属性的综合反映，它通过感觉系统，如视觉系统、听觉系统等，把从环境中得到的光线、声音、味道等信息转化为对物体的经验过程；注意是指心理努力地集中和聚焦，是对信息有选择性地获取、加工，与此同时忽略其他不重要的信息；记忆具体包括感觉记忆、短时记忆、长时记忆三种不同功能的记忆，通过各自对信息特定的加工，但相互间又联系紧密，共同构成一个完整的记忆结构；情绪与情感在心念思维中的区别是，人的任何情绪，都是内心情感在“可见”的形式下寻求的表达，情绪是人的内心世界的喜、怒、哀、乐、愁等的外在表达方式。

美国认知心理学家奈瑟尔（Neisser）还认为，认知模式包括个体对外界刺激产生反应的过程和个体有意识地控制、转换和建构观念和映像的过程。按照认知心理学的观点，人是作为信息加工的系统，认知是对信息加工的过程，包含信息的获取、加工、贮存和使用的过程，感知、注意、记忆、情绪等是认知中的行为表现。如图2.2所示，为受众的认知模式，信息经由外界环境通过不同的感知系统而获得，感知系统主要由眼睛、耳朵、鼻子、皮肤等感知器官构成，感知器官将获取的信息传输给大脑；经过注意力的集中和聚焦，筛选合适的信息进行信息编码；然后进入记忆系统，与记忆系统中的信息进行匹配，产生情感体验，并通过反馈系统做出响应，或者经由加工贮存到长时记忆中，形成长时记忆，完成信息的获取、加工、贮存和使用的过程。

2.1.2　新媒体艺术认知模式

受众欣赏艺术作品的过程其实是对作品的认知过程，即通过感知、注意、记忆和情绪等认知行为获取信息、加工信息、贮存信息及使用信息的高级心理历程。在欣赏艺术作品时，受众通常借助感知系统“感知”艺术中的色彩、声音、气味等；同时，按照自我诉求及兴趣所趋去“注意”能吸引的艺术作品，或作品中的某些内容；然后进入“记忆”系统，通过以往的记忆、经历、感悟获得对艺术的深切理解并产生情感变化，再经由“反馈”系统直接与作品产生互动。如图2.3所示，为受众对新媒体艺术作品的认知模式。

（1）刺激感知

人类已置身于网络化的生存空间，数字图像的虚拟现实已经改变人类对传统视觉语言的习惯，基于人类的感官系统的交互技术，为艺术家创作新的艺术形式提供了硬件支撑。受众在欣赏艺术作品时，感知觉是对艺术认知过程的第一步。新媒体艺术已突破传统艺术中人类单一的视觉感官体验，尝试用多种感官去刺激受众，由视觉、听觉、触觉、味觉与嗅觉带来感官刺激，创造出各种知觉体验。促进艺术作品与受众之间的交流与互动，使其更深刻地领悟艺术理念、内涵、美感并产生对艺术作品的情感共鸣。

① 视觉感知　视觉系统是人类与外界环境接触和交流借助最多的知觉系统，大约有80%以上的信息是通过视觉系统来获得的。新媒体艺术作品需要视觉感官的参与，受众首先是通过眼睛观察，捕捉颜色、形状、大小等信息，经由整个视知觉过程，对艺术作品有初步的视觉审美体验。视觉能够识别的外界特征主要有造型、颜色、大小、远近、明暗和运动方向等。艺术作品中视觉刺激若要达到最大化效果，需考虑采用何种艺术表现形式更容易吸引受众的视线。如图2.4所示，是在深港设计双年展上的新媒体艺术作品《InstaCloudLight》，这是一个以云的形状建构的互动光雕塑，每一个云形状的灯笼罩内具有连接网络的全彩LED点矩阵，色彩取码自Instagram已打上标记的照片，云状光雕塑的颜色会实时变化，让受众不由自主地被吸引，得到视觉感官上的震撼体验。

② 听觉感知　听觉源于声音的刺激，与视觉是一个整体性的联觉，可以给受众感官上更深层次的体验，没有听觉，新媒体艺术的表达便不完整。新媒体艺术作品中通过特定的声音给受众提供合乎艺术情境的听觉信息，塑造环境感，使其在结构上更加完整，弥补了单一视觉感官的局限性。同时，声音可以增强新媒体艺术的艺术感染力，恰如其分地感知艺术的内涵，让受众在艺术中产生沉浸感。如图2.5所示，为美国艺术家比尔·维奥拉（BillViola）在北京798艺术区的新媒体艺术展上，名为《两个女人》的作品，在黑暗的展厅里，只出现一个巨大的数码屏幕，屏幕中出现两个年老的女人，全身湿透，面部表情复杂，不断地在用眼神和受众交流，在艺术表达过程中，加入了水声、人的呼吸声，这些逼真的、环绕的声效提高了受众的融入性。

③ 触觉感知　通过触觉可以传递关于艺术作品的细微信息，凹凸不平的沧桑，坚硬冰凉的冷峻，还有顺滑丝绸的高雅。触觉较视觉更加真实而细腻，不同于视觉那样可以在物体之间自由地移动，而是通过接触感觉目标获得真切的触感。在新技术、新思维的支撑下，艺术家在新媒体艺术的创作中更多地融入触觉感受，艺术作品给受众带来视听享受的时候，触觉带给受众特别的感性体验。如图2.6所示，《Floating lights》是由法国艺术家Travesias De Luz创作的，该作品是两块由100个色彩斑斓的圆形灯管组成的10m×3m屏幕所构成的，每个圆形灯的中心都有一个感应开关，受众可以触摸这些色彩斑斓的灯来控制它们的开关，让其参与到这个以色彩、灯光和触感所构成的装置系统中。在互动过程中，受众不仅可观察到彩灯颜色的变化，还可感受彩灯细微的震动，享受到视觉和触觉的双重刺激，更加具有代入感。

④ 味觉感知　在新媒体艺术五感体验中，味觉的应用是最难和最少的，通常是通过其他感官的刺激来得到味觉体验，比如在食品包装中，通过表面的形状、色彩、材质等就可以感受其味道。味觉能够和经验积累、人类深层次的心理活动联系起来，表达上更能达到情感的共鸣。在新媒体艺术中，为了发掘更好的感官体验，在创作中也尝试把味觉融入体验。如图2.7所示，为中国台湾新媒体艺术家林俊廷创作的《曲水流觞》，通过Unity引擎技术将一幅曲水流觞的诗意画卷作为食案，让受众在品味美食的同时，能够细品李白诗中“客心洗流水，余响入霜钟。不觉碧山暮，秋云暗几重”的意境，精致的美食，匠心独具的食具，流水潺潺，生灵栩栩的食案，让受众完全沉醉在美食与美景交汇融合的情景中。

⑤ 嗅觉感知　嗅觉带来的感受也是独特的，嗅觉的体验，逐渐得到艺术家们的关注，将气味信息融入到新媒体艺术作品中，会为作品增添趣味化的体验。日本新媒体艺术家笕康明（YasuakiKakehi）和近森基（MotoshiChikamori）的作品《花》，是通过气味来呈现视觉效果的，如图2.8所示。在与作品互动过程中，将香水喷在叶子形状的试纸上并把其放在花瓶里的花茎上，墙上投影就会出现一朵花的剪影，不同气味的香水就会呈现不同类型的花的剪影，对花茎轻轻吹气，就能将投影里的花瓣吹落。香味的强度影响着花的透明度变化，如果香味的浓度超过了一定数值，一些昆虫和动物如蜜蜂、蝴蝶、狗、蜂鸟等的剪影会出现在花的周围，好像被花的香味所吸引一样。在新媒体艺术中，这种融入气味的艺术表达形式，更加吸引受众并使其乐于参与其中，展开与作品的互动。

（2）集中注意

注意，即有选择地感知事物，是信息加工过程中的一个阶段，只有被注意到的事物方可进入到记忆系统，任何一个心理过程自始至终都离不开注意，正如乌申斯基所说，“注意正是那一扇从外部世界进入到人的心灵之中的东西所要通过的大门，一切心理活动都离不开注意。”在新媒体艺术中，受众在欣赏作品时面对作品中各类内容信息的刺激，会选择性地集中注意于那些主观感兴趣且符合需求的内容，一旦选定了注意的内容，根据个人的主观意愿长时间、持续性地集中注意力于该内容信息，同时，能够根据主观意愿把注意从此内容转移到新的内容信息上，如图2.9所示，为受众的注意结构图。

为进一步分析受众的注意，使用眼动仪对受众做眼动实验，以《机器人·霓虹灯》作品为例，通过实验得出如图2.10所示结果，图（b）中可清晰地看出受众的视线轨迹，眼睛先大致浏览作品，然后集中注意作品中的某些部分；从图（c）中可看出受众的视线停留热区，橙色的区域为受众注意力高度集中的部分，色彩、形状、或大小等都可引起其注意的集中。由上面眼动实验可知，在对新媒体艺术作品的认知过程中，受众首先通过视觉系统获取作品初步信息，使受众的需求、关注点、兴趣点得到满足并引起长时间的注意，反之注意力将会转移。

（3）处理记忆

记忆作为个体最重要的心理内容之一，人们的个人意识、行为都离不开日常的经验。人们能够正确辨别周边的事物，都依赖记忆。记忆一般包括感觉记忆、短时记忆、长时记忆。在新媒体艺术中，受众欣赏作品时也根据需要合理地处理和使用这三种记忆，如图2.11所示，为受众的记忆结构图。作品信息先经由受众的感觉记忆，其接受的部分刺激信息不会在短时间内消失，由感觉记忆向短时记忆递进；这些经过选择并通过加工转化来的短时记忆如果不在规定的时间内再次转化为长期记忆，那么就会逐步被遗忘；长时记忆作为人脑记忆模式的最终环节，信息能在大脑中被长期保存，形成知识，同样也可能转化为短时记忆。通常，在受众与新媒体艺术作品互动过程中，被转化为知识的长时记忆使用得比较广泛，一些习以为常的视觉画面、交互动作等能使受众根据自身的知识经验本能地与作品产生互动。

如图2.12所示，为江南大学2015年毕业作品展上的一个新媒体艺术作品《星际大战》，该作品的体感设备可以侦测手部微小动作，眼睛的转动，面部表情的变化，甚至声波在空气中的震动，并可以通过向上、向下、摆动、旋转的手部动作来控制整个互动装置。这些动作的设定应用了人的长时记忆，优先考虑人习以为常的习惯、经验，比如轻轻一挥手即可把一部分元素聚集于屏幕中间，达到“招之即来”的效果。

（4）产生情感

情绪是人对内心世界的外在表达，一般有喜、怒、哀、乐、愁，人的任何的情绪，都是内心的情感在“可见”的形式下寻求的表达。新媒体艺术以“交互”为情感枢纽，受众也不再是被动的接受信息，而是将自己投入到艺术中，将基于自身的经历、感悟、心境、情绪产生快乐、悲哀、愤怒、恐惧等情感反应通过与作品的互动加以传达，最终以艺术作品为媒介实现艺术家和受众的情感交流。如图2.13所示。

如图2.14所示，为青年艺术创作者橙鑫在兰境艺术中心展出的新媒体艺术作品《张灯结彩》。该作品由两块木架挂着40个红灯笼组成，每个灯笼里面都有人体红外感应灯，人走过灯笼时会发亮。在作品的中心位置挂着一个小型麦克风，把麦克风轻轻拉下，说的祝福语会录制下来，松开会播放出来。该作品营造了一个新年张灯结彩、互相拜年、互相祝福的气氛，在互动过程中受众产生温暖快乐之感，沉浸其中，其乐融融。

（5）实行反馈

反馈是将信息传回原来输出来源的过程，让受众知道自己行为的结果。当使用者执行某项操作时，反馈可以帮助了解这个操作是否执行完成抑或尚未执行。新媒体艺术加入反馈环节才使其具备交互性。受众把自己对作品的解读反馈给作品，与作品产生互动，进而实现艺术家和受众之间的情感交流。例如，受众通过身体的动作、手势的变动、眼睛的凝视，或声音传达某项信息或要求时，艺术作品能够依照其所需提供信息回应。如图2.15所示，由来自英国伦敦的艺术家Dominic Harris和Cinimod Studio，共同制作新媒体艺术作品《Ice Angel》，该作品具有捕捉和记忆的功能，当受众在作品前展开双臂，上下如挥舞翅膀般的动作，该作品就可捕捉到受众的动作轨迹，屏幕上的LED会呈现出翅膀的模样，跟随受众的双臂动作，不断挥舞着翅膀，受众只需要站在作品前，就可以化身为精灵般带着双翼的天使。当注意到作品上的双翼影像时，本能地张开双臂与作品自然交流，作品根据受众的手臂轮廓展现翅膀剪影，在屏幕中看到自己成为舞动着翅膀的天使。