帮助盲人用声音欣赏美术作品 微软新研究

苏格兰有一位颇有名气的风景画家Keith Salmon。他从古老崎岖的苏格兰高地获得灵感，将山和天际线用缥缈且富有感情的抽象手法表现出来

苏格兰有一位颇有名气的风景画家Keith Salmon。他从古老崎岖的苏格兰高地获得灵感，将山和天际线用缥缈且富有感情的抽象手法表现出来。不幸的是，Salmon很多年来受到视力下降的困扰，这对于一个风景画家是致命的。受过美术和雕塑训练的Salmon通过丰富自己的创作技巧来克服感官的不足。他不得不减少画中的风景写实，而更着重于对原野气息抽象、繁妙的表达。

“Arran岛的冬天”，Keith Salmon

由于糖尿病视网膜病变，Salmon从1980年代就开始视力下降。在很多年里，他只有一只眼睛有微弱的视力。但他适应了过来，继续绘画并由爱人Anita Groves陪伴他登山。

上个月，已被鉴定为盲人的Salmon，对微软的一项创新研究进行了一场发布会。这项研究旨在用三维立体的声音来表现二维的绘画，帮助Salmon在失去了大部分视觉的情况下丰富他的绘画艺术。它通过四台Kinect（微软的体感摄影机），15只装在高处的扬声器和54段配音对Salmon的三幅绘画作品从听觉和空间维度进行表达。这三幅作品画的是俄勒冈的地狱谷，因此，该项目被命名为The Oregon Project（“俄勒冈项目”）。

Keith Salmon（左），Neel Joshi（右）；背后是Keith Salmon的三幅地狱谷风景画

这套系统在主题为“艺术与科技”的西雅图9e2展览上首次展出，它的意义有两点：1.为Salmon这样的艺术家提供继续创作的途径。2.为有视觉缺憾的观众提供欣赏美术作品的机会。

Salmon说：”如果在几年内，当你去国家博物馆或者美术馆，这项技术已经成为了参观体验的一部分，那想必是极好的。”

在这套系统中，每幅绘画的面前是包含了18段声带的3D空间。Kinect摄像头追踪参观者在该空间内的动作来播放不同的声带。不管参观者是盲人还是普通人，该系统都能让作品更生动并更有交互性。在稍远些的位置，参观者能听到鸟叫声，水流声和风吹青草的声音。而这些声音是Salmon和他的合作者在地狱谷实地录制的。

当参观者靠近一些，会听到与Salmon画中蓝色、绿色、棕色和赭色绘画颜料相呼应的数码配乐。站得再近一些，参观者甚至能听到Salmon在画室创作、颜料棒在画纸上擦涂的声音。这是为了模仿有视力的人观察美术作品细节（细微处画笔的勾勒）时的体验。Kinect摄像头会追踪参观者手臂的挥动，根据它来改变播放的音乐。这能帮助参观者成为艺术创作过程的一部分，并用身体、手臂的移动来创作属于他们的音乐体验。在展览上，成年人主要是靠行走来创作不同音乐的合辑，而孩子们则跳来跳去并挥舞双手。

Salmon解释说：”从3D空间的外围走向内围，自然声音与人造声音的过渡十分和谐自然。这是一种奇妙的、有氛围感的、空间的、山水景色的感觉，它把整个艺术串联在一起。”

这个声音系统源自于微软研究员Neel Joshi，Meredith Ringel Morris和前实习生Kyle Rector创作的试验项目Eyes-Free Art（“不需要眼睛的美术”）。该项目旨在帮助弱视力的观众欣赏视觉艺术（比如绘画）。

如今，很多博物馆都为失明参观者提供解说，和戴着手套触摸雕塑的活动。微软研究人员想要创造一个更私人订制的体验。但它仍然是公共的，任何人都可以参与其中，并且不依赖于讲解员。

在探索了很多设想之后，微软研究人员们决定创造一个基于Kinect摄影机的空间音响系统。他们希望声音和视觉能够在这个系统中有同样的美感，并且同样重要。

Joshi说，视觉探索是一个基于距离远近的个人体验：当一个人离得更近，他会看到更多的细节，他们这些研究员想要模仿这些现象。他不仅是该项目开发者，还是一名在当地社区很活跃的画家和互动艺术家。

早在去年，研究员们就邀请了弱视参观者来测试原型机。那台原型机

用经过编程的音乐、讲述和各种声音来表现Frida Kahlo, Henri Matisse和其他艺术家的作品。测试者极其得享受参观过程。其中一名女士曾是资深艺术爱好者，失明之后她就不再去画展了。她甚至在参观中激动地流下泪水。但是研究团队知道，这还不算艺术，他们必须做更多。

凭借与艺术家的联系，Joshi开始与Salmon合作把Salmon的艺术创作与微软的技术结合起来。他们与西雅图电影制作人和摄影师Dan Thornton，苏格兰音效师Graham Byron和9e2展览主办人John Boylan合作，在为期九天的9e2展览该系统。虽然整个项目是试验性的，短期内没有让它商业化、向大众开放的打算，研究人员们已经申请了Eyes-Free Art的专利，并且会继续研究怎么创造更易使用、更具艺术效果的体验。

Neel Joshi正在The Oregon Project工作

Amos Miller是一名有视力障碍的微软研究员，他评价该系统有“天生的包容性”：既允许他享受个性化的体验，也可以进行社会化的体验，而且两者都符合艺术家的设计思路。

他说：“Eyes-Free Art系统证明，你可以创造具有正能量、包容性的体验。”Miller是Cities Unlocked项目的研发人员。它是一个通过建造3D声景来帮助弱视人群在城市中走动的项目。

Sheri Richardson是两个盲人组织Vision Loss Connections和blind since infancy的主席。对她而言，这套系统是一个充满活力和感性的探索艺术的方式。它允许你用不同的视角欣赏艺术，而且不依赖于别人的讲解。她特别喜欢用地狱谷的自然声音再现画家在那里进行创作的场景。

Richardson说：“Kinect的人体追踪技术，还有声音随着你在画中移动的感觉，让参观这套系统很有体验性，并且唤起了心底的感情。”

对于Salmon来说，他本就微弱的视力在几年前开始继续恶化。Eyes-Free Art系统给了他在将来的岁月里继续艺术生涯的希望。

他说：“这很让人惊艳。我重新获得了未来。即使我的视力不断恶化，我仍会坚持画下去――我会利用声音来创作。这是一个学习和适应的过程。”

Keith Salmon在登山

“The Oregon Project”会于2017年四月在爱丁堡艺术学院再次展览。

小结：

微软The Oregon Project这套系统算不得多么复杂，其技术也很难称得上是突破。但是通过这一系列声音采集、编辑和3D场景布置，我们当中的少数群体――失明者，能够以属于他们自己的方式欣赏本来遥不可及的艺术。可以说，虽然画面和3D声场都是出于同一幅绘画作品，但失明者所听到的，与我们普通人眼里所看到的，是完全不一样的艺术。它以这种技术上并不复杂的方式，赋予了绘画作品”第二生命”。虽然这项技术短期内没有实用化的前景，但这代表了科技在未来的探索方向。它提醒我们，科技进步的最大意义或许不是给我们提供更多的娱乐选择，而是改善每一个人的生活――是的，每一个人。让身处社会边缘的弱势群体也能分享到科技进步的带来的益处与快乐。