增强现实中的设计机会 · Vol.001

《设计乘数》播客#1：增强现实中的设计机会

这是《设计乘数》播客的第一期，这一期是由我独自录制的节目。

收听方式：

你可以直接在“播客”或“Podcast”上搜索《设计乘数》，我也推荐你使用泛用型播客客户端订阅收听
你可以在设计乘数博客的文末直接收听：http://www.infoier.com/?p=45004
你也可以在荔枝FM、喜马拉雅FM、网易云音乐上搜索《设计乘数》订阅收听

内容简介：

这一期分享了我最近看的一些论文和调研。新的技术自然的催生更好的设计，2017年6月6日苹果WWDC发布ARKit，让我们可以基于 iPhone 更便捷的开发AR程序，且它呈现出不错的视觉效果。

在此之前，AR的效果仅仅是使用者通过手机看到被叠加在屏幕面前的虚拟影像，即使用户的手机镜头是对着天空，虚拟对象也在屏幕正中，它不会踏踏实实的放在真实空间中。如Pokemon Go，它不能算一款严格意义上AR游戏，更多算LBS游戏。

在ARKit发布后，宜家和苹果合作开发出了室内设计的AR软件，室内设计可能是现在最适合AR展示的产品形态，不过我觉得它也是最没有想象力的形态，我们只是在面前叠加了更逼真的家具，设备只作为基础的取景器来使用

Alone Together，群体性孤独。其实这个才是我最关注的问题：不管是在线上还是线下，我们每个人都拿着一个手机关注自己手机里的事情。非常不礼貌的把身边别人忽略，我觉得现在的社交模式不是社交的最终形态，更有价值的是我们既能共享当下，又能互相交流。

但是AR程序的时候会强制我们共享当下的实景。设想一下，我们不仅能够共享真实世界影像，也能够共享我们彼此都看到的AR虚拟影像并互相交互，这种体验将会大大区别于现在的每个人盯着屏幕的状态。

现有研究的收获：

空间对参与者的影响
与屏幕交互的区别
越高的参与度并不代表越高的满意度

现有研究的缺失：

前置社交关系对实验的影响
手机不仅仅作为观察设备，还应该作为交互工具
多人参与，考虑旁观者（Spectator的研究）
可触道具（Tangible props）与桌面装饰的影响
虚拟物品与设备持有者的交互
协作类AR社交游戏的可能性与机制设计
大桌面、立桌面增强现实社交游戏的可能性
用户的线上线下社交关系的延续、退出机制

AR设计目标：

交互：AR场景下手持设备新的交互方式，可触道具的发挥空间社交：一种区别于传统纯线下社交、区别于纯线上社交的，适用于不同社交目的、用户角色和关系的增强现实线下社交设计范式

播客简介：

《设计乘数》是由用户体验设计师龚子仪发起的设计播客，他相信多学科整合的力量能够给设计带来乘数效应。播客试图讨论科技、社会、经济、心理等诸多话题，用设计的角度参与并不断进行探索。

正文：

欢迎收听第一期的设计乘数播客，我是龚子仪。

在第一期我想聊一聊我最近看的一些论文的发现，这个主题是设计如何参与到增强现实的设计当中，在这一期我会聊一聊在现在的增强现实也就是 AR 的技术，到了什么样的水平。

现在的应用和游戏开发到什么样的程度，我也会聊一聊在现在的论文和现在的产业界有哪些做的还足的地方。首先我想分享一句话，也是我在一篇论文中看到的，新的技术自然的催生更好的设计，而现在最火的技术可能也就是我每天听到的人工智能 AR 和 VR 。

在后面我也会提到为什么我选择 AR 作为设计的切入点，而不是 VR 和人工智能。首先是 2017年 WWDC ，苹果发布了 AR Kit ，这是一款基于我们每天使用的 iPhone 的，AR 开发者工具。这个与 VR 不同的就是我们不需要买很昂贵的头显。

不需要买很昂贵的电脑来体验到，VR现在还不那么成熟的一个感觉。VR 首先是夺走了很多我们的感官，然后给只给了我们的听觉和视觉，然后需要更加昂贵的外接设备来补充我们的触觉和我们的行动。

而 AR 只是在我们的现实生活中的一点点补充，我觉得这种不太不那么激进的，更加缓和的创新可能是更加容易被人接受的。

而人工智能其实也现在有很多文章在谈论，比如说今年的 CHI 的会议上的文章，调研了在人工智能的这样的环境下，设计应该有一些什么样的参与。这个可能之后会再开一篇播客来讲。

而这一期我觉得比较有兴奋点的，国内的开发者和设计师能够抓住的，其实是不久之前，可能三周之前苹果发布的这样一个工具，很多人还没有反应过来，我们可以，看一看他能够做到什么。

其实 ARKit 我觉得使用的效果我觉得是比较出乎意料的，特别是在 iPhone 8 发布之前。我使用的 iPhone 6S 手机就已经能看到一个还不错的效果。使用 AR Kit的 Demo ，也就是我们装了 iOS 11 和 ARKit 的一个 Demo 之后，可以它可以实时重建我们在室内的一个环境，但是现在来说主要是在桌面上或者是有比较清晰纹理的一个地板上能够更好的读取。

它能够比较粗的模拟一下环境光能够让。这样一个物体在环境中显得不那么突兀。而在这之前活过一阵的像 Pokemon go 其实是我觉得是一个不算 AR 一个应用，它仅仅是把使用者的手机的摄像头前面叠加了一个虚拟影像，而更多的它更像是一个严格意义上的 LBS 游戏，是基于地理位置的一个游戏。

也就是我们不管把手机的屏摄像头对准哪个地方，只要我们在当前这个位置下，我们都能看到摄像头前面的宠物小精灵。而这个影像和真实的世界不会有任何程度上的互动，而只是在宠物小精灵的脚下有一点阴影。我们把手机屏幕对着天空的时候，依旧能够看到宠物小精灵在天空上，这个它不是一个真正意义上的 AR 。

但是现在在使用 ARKit 的 Demo 的时候，我们能够很实在的看到一个物体被叠加在了我们的真实世界中。我觉得在这种程度的，技术完成度的情况下，设计才可以进行一些创造。

在 ARKit 发布之后，宜家和苹果合作开发了室内设计的 AR 软件。其实在早些年两三年之前宜家就已经发布过类似的软件，而这次是用 ARKit 的重新进行了开发，它的效果会比之前的好很多。我觉得室内设计确实是我们能够想到的 AR 展示的一个非常成熟而且非常效果非常不错的一个产品形态，但是我觉得它是一个相对没有想象力的形态。

我们在我们的手机的摄像头面前看到的是一个更加逼真的家具，本来这个家具没有在这个环境当中，我们的手机作为的是一个取景框来做，它没有更多程度上的互动，而且我们举着手机会感觉比较累。

在讨论 AR 的现状之后，我觉得设计师更应该关注的是这样一个问题，他有一个比较多被人提到的，的一个词叫做 Along together ，有一本书叫做群体性孤独也是在描述这样一个概念。我看到这个词是通过一篇零几年的论文，这篇论文讨论了和研究了。

关于多人在玩多人在线游戏的人表现出来的一个状态。这也是我觉得作为设计师应该最关注的问题。不管是在线上还是在线下，我们每个人关注的都是现在我们自己手机里的事情，我们非常不礼貌的忽略身边的人。

不得不说手机中有非常多丰富的应用，有非常多好玩的游戏，只要打开手机就能看到最精彩的新闻和我们最关注的事情。而身边的人物需要通过某些社交手段，通过更多的付出的经历才能和他建立联系。

而很多情况下我们很难达到这样一个共识，我们很多时候与他人的交流都停留在非常表面的情况下，很多时候我们与我们手机中的应用和我们不那么熟，没有那么多线下联系的人，能够建立更强的联系，我觉得这个不是我们现在社交模式的一个终极状态，我觉得更有价值的社交状态应该是我们既能够共享当下，而且我们能够互相交流。

而 Along together 描述的这样一个环境就是我们同时处在同一个场景下，但是我们不关心彼此，我们更加关注我们屏幕中的内容。但是 AR 程序我觉得很有一点很有趣的是，它强制我们共享当下的实景。设想一下，我们不仅能够共享真实的世界的影像，比如说我们能够共享我们面前和朋友共享面前的一个桌子，而且我们能够看到彼此看到的 AR 的虚拟影像，并且互相交互，这个体验会大大的区别于现在每个人盯着屏幕的状态。

而有人会说，我们之前的面对面的交流，比如说打牌或者下棋，也是共享实景，但是相对于 AR 不同的是，很多论文都已经阐述过这样一位问题。AR 和虚拟的东西能够有更强的表现力，它能够让社交中带来更高的满意度和参与感，它是一种对表现力的补充。

在接下来我想分享一些我精读论文，比如说这一篇。这篇论文是一个国外的研究小组开发了一款基于海盗的主题的 AR 游戏，其实这个的研究是在早些年进行的，他用的设备还非常老旧，采用的方式是传统的桌面定位点的方式。这个游戏机制非常简单，就是说两个玩家在桌面上控制自己的船，然后通过我们的手势设备看到桌面上我控制的船，可以自己捕鱼或者是掠夺对方。

这游戏机制其实并不新颖，但是他的很多测试手法其实给设计师会有很多有趣的发现，而且基于他的研究，我们可以看到很多很有价值的研究点。我首先我想讨论的是在实体空间中 AR 对参与者的影响。在这个研究中，他把实体空间作为一个非常重要的因素来讨论。我们都知道我们在玩线上的游戏或者是，聊天的时候，我们不会共享当下的一个实景，而在这个实验中他。

他们把参与者分成了三种游戏方式，根据空间，第一种是共享桌面，也就是我们在同一个桌面上玩游戏，我们看到的是同一个游戏的，带有很多定位点，也就是 Marker 的一个桌面，我们能够同时分享的是我们，同一个视域上的视觉的元素，声音的元素和我们可以有一些肢体上物理上的接触。

而第二类是分离桌面，比如是我们在玩同一个游戏，而且我们的虚拟物品会有互动，但是我们共享的，不会有更多身体上的接触。

第三类空间是我们分离空间，也就是我们能够看到的是相同的视觉元素，而且我们能够隐约地听到声音，但是我们不会有更多层次接触。在这里的我觉得研究的价值是它采用了，比较细的对照实验的条件设置，这个对于我们之后的设计会有帮助，也就是我们在设计 AR 程序中如何考虑空间的设置。

第二个有趣的是 AR 程序设计和屏幕交互的区别，在 AR 设计中，手持设备其实不仅仅可以作为一个观察工具，在已有的研究中，他们已经发现用户把手持设备拿远和拿近的时候，这种本身就带来空间上的观察视角的变化。

也就是说我们把手机拿近的时候，我们看到的东西应该是更大的，它类似于一个拿近的放大镜，而我们把手机拿远的时候，我们看到的是更加宽的，是现实场景和更小的虚拟空间，这个动作本身其实反映了用户的操作意图，特别是在游戏的设计当中，我们把我们在传统的手机游戏或者是，电脑游戏的设计中，我们都是很小幅的使用我们的鼠标和键盘，而且其他的玩家很难观测的到，但是我们在 AR 的线下的游戏设计当中，这种行为会让其他的观察者和参与者会有比较强的意图的暗示，而且他们之间能够互相听到声音。

这里有一个例子很有趣，就是有一个用户听到了，他的竞争对手捕鱼成功的一个声音，他会迅速撞向对方去偷这个鱼。其实这个是游戏设计机制里面设计的原因，但是因为有现实世界中这样一个声音元素的补充，他可以更加丰富的增强我们每个玩家的体验，就像这样在同一个空间中人与人的交互加上虚拟的表现形式才会出现这种情况。

当用户分享桌面的时候，用户可能操作的物体他们之间会非常接近，就像两个人两个有竞争关系的玩家在同一个桌面上玩游戏，他们操作的船可能靠的很近的时候，他们玩家本身的身体也会靠得很近，甚至出现我的设备遮挡了对方设备的情况这种情况我们可以先不讨论他是否需要规避，但是这也是只有在线下场景中 AR 的程序设计的过程中才会出现的情况。

我们可以多设想一点，我们不只是把手机作为一个取景器，而是它作为一个新的交互方式，它有什么样的可能性，我觉得这个是设计师可以在之后的 AR 的程序设计或是 AR 的游戏设计的时候需要考虑到的。

第三个我觉得很有趣的发现点是，越高的参与程度并不代表越高的满意度。这篇论文的讨论当中，它把玩家分成了共享桌面、分离桌面和分离空间，这有三个对照组，但是很有趣的是，虽然共享桌面带来了更高的参与度，但是而非常有趣的是在线。

在线下我们在交流过程中和线上不一样的是，社交礼仪就会参与进来。社交礼仪的参与将会让线下的社交或者线下的游戏呈现和纯线上纯虚拟环境不一样的一个形态。比如说在这个论文中，他们设置了这样两组对照组，比如说有6组的玩家，是互相认识，三组的玩家是之前互相不认识的。

就有一个玩家会这样反馈，他和他之前不认识的人一起玩这样一个线下的游戏，他知道对方的船上有鱼，他用他的船去攻击了对方的船，但是对方那个人没有说更多的话，他也没有还击，我们在这种。线上这种情况其实，不会出现太多的问题，而其实在线下攻击了对方的这样一个玩家就会他觉得有他自己有一点不礼貌，这种社交礼仪在这种现象游戏中表现的非常微妙。

这篇研究中也表明虽然共享周边有更高的参与度，而他可能不能带来更高的满意度，所以在看了许多论文和现在的。有趣的 AR 游戏之后，我觉得还有很多方面做的还不够，特别是需要设计师来参与，我觉得可以有很多补充的地方。第一个是前置社交关系对社交的影响，其实在很多研究中，在我刚刚提到这篇研究中，他们没有做的非常的完善，就是产前置社交关系，是指我们之前在玩这样一个线下的游戏或者线下的程序之前，我们是否认识。事先是否认识和参与者的性别如何影响到 AR 游戏的体验，其实是需要有更多的实验去探究这样一个问题，这也会成为之后 AR 设计的一个原则。

也就是我们同的人不同的社交关系，他们如何以更加自然的方式参与到一个 AR 的游戏当中。第二个是，手机不仅仅是作为观察设备，它更多的作为交互工具的时候， AR 可以如何，在 AR 中可以如何体现。

在移动设备，也就是在手机刚出来的时候，我们很多 UI 设计师想到了很多很有趣的交互方式，但是在 AR 的这样一个场景下，它天然的有了拿近拿远的这样一个操作，它能够有一个观察角度的这样一个特性，我觉得交互设计师可以有更多的发现，而且很多用户会抱怨我，如果我对着一个桌子在玩游戏我拿着是一个手机作为一个取景框，我一直弓着身子会非常的累，甚至有的用户在实验过程中会改变桌子的倾斜角度。

我觉得如何解决 AR 游戏中用户一直手持着这样一个设备的很累这样一个问题，其实也是可以设计师参与的，设想一下是否有最佳的一个手持设备的观看方式，或者是手持设备它作为一个交互工具的时候，它是否可以更省力，或者是游戏机制，比如说回合制的参与，可以让用户，定时的放下手机，而且不觉得很突兀或者是很刻意，这其实也是设计师可以来做的。

第三个是很多文献中都提到的，我们现在很多时候测试 AR 游戏或者是设计 AR 游戏和 AR 程序的时候，我们没有考虑到旁观者的参与和旁观者的感受。UI 设计和交互设计的过程中，我们更多是关于流程上的完成度和用户体验。

而在 AR 设计中，用户体验不仅仅包含参与者，还包含观察者，因为我们在共享同一个线下场景，如何把观察者的，感受和观察者更加自然的参与进来，其实是一个可以被设计，而且可以被设计的很有趣的一个点。

第四个其实是在早年可触交互研究的过程中被多次提到的，也就是可触道具和桌面装饰对于 AR 游戏或者 AR 程序的影响，有很多人可能熟悉炉石传说这样一个游戏，他作为一个纯线上的游戏加入了很多，礼物的桌面装饰的一个元素，这个装饰的元素被很多玩家好评。

而在线下这样一个环境中，它非常类似于桌游的体验中，我们加入有意义的可触道具和桌面装饰，是能够提升用户体验的，而如何设计这些可触道具和桌面装饰其实是设计师需要更多考虑的。

第五点是，虚拟物品和设备持有者的交互，在 AR Kit 的发布的 Demo 中，有一个 Demo 是有一个虚拟的蜥蜴，投射在桌面上之后，它可以感知你的摄像头在哪，望向你摄像头的方向，其实虚拟物品和设备持有者的一个交互是可以被更好的设计。

再就是协作类和其他游戏机制的设计，因为我们共享同一个桌面，其实它的体验非常类似于我们之前玩到的桌游，那在这种游戏机制的设计上，如何用 AR 更加好的呈现和 AR 的加入能够如何更加好的提升游戏性，其实是非常有价值的一个事情。

另外一点是关于大桌面和立桌面的增强现实，设计的可能性，在现在很多研究过程中，我们是，研究的。比较少的人在一个相对小的桌面能够如何玩起来，而更加大的一个环境中，甚至在场景中如何使人玩起来，或者是在特定的场景下，在等待过程中，或者是必须多人在线下的聚会中，如何设计这样一个交互方式和社交游戏，其实是很有趣的一件事情。

再就是用户的线上线下关系的一个延续和退出机制，因为我们很多时候玩用 AR 是在线下场景来用，而线上机制如何有一个存续，或者是如何设计陌生人之间，熟人与熟人之间的交互，其实是交互设计师需要更多参与的地方。

所以所以在上面有很多现在设计没有触及到的地方我觉得在 AR 这样一个场景下，其实还有很多设计可以参与的地方，比如说在 AR 场景下，手持设备作为一种新的交互方式，它应该它有什么样的可能性，比如说在可触道具能够有什么样的发挥空间，然后桌面装饰能够对交互方式有什么样的影响，我觉得还是可以回到之前我提到了 Along together 这样一个词，我觉得现在这种 Along together ，群体性孤独这样一个社交的模式不是一个最终的模式，我们最终会回到线下和线上混合的一个模式，我们能够和身边的人建立联系，我们不会那么的孤独，不会那么的焦虑。

同时我们利用了我们发明的这些设备，我们利用了更加好的视觉呈现和更加好的体验，让我们创造一种完全区别于传统纯线下的社交，而且区别于纯线上的社交。它应该是一种适用于不同目的的不同用户角色和不同关系的一种社交方式，它可以让我们每个人更加强的联系起来，它可以让我们重新回到线下，它让我们不再每个人是一个孤独的个体。好，这就是第一期设计乘数播客的全部内容。今天我们分享了 ARKit ，分享了 Along together 群体性孤独这个概念，分享了一些现在的对于 AR 游戏的研究，还有很多设计的参与点。非常感谢您的收听，我们下期再见。

参考文献：

[1]Xu Y, Gandy M, Deen S, et al. BragFish:exploring physical and social interaction in co-located handheld augmented reality games[C]// International Conference on Advances in Computer Entertainment Technology, Ace 2008, Yokohama, Japan, December. DBLP, 2008:276-283.
[2]Ducheneaut, N., Yee, N., Nickell, E. and Moore, R.J. " Alone together?": exploring the social dynamics of massively multiplayer online games. Proceedings of CHI (2006), 407-416.
[3]Szentgyorgyi, C., Terry, M. and Lank, E. Renegade gaming: practices surrounding social use of the Nintendo DS handheld gaming system, Proceedings of CHI (2008)
[4]] Salen, K. and Zimmerman, E. Rules of play: game design fundamentals. MIT Press, 2003.
[5]Short, J.A., Williams, E., & Christie, B. The social psychology of telecommunications. New York: John Wiley & Sons (1976).
[6]Henrysson, A., Billinghurst, M. and Ollila, M. Face to Face Collaborative AR on Mobile Phones. ISMAR 2005.
[7]Pokémon Go http://www.pokemongo.com/
[8]IKEA teams with Apple to create a “game-chaning”AR-based shopping app
https://www.dezeen.com/2017/06/21/ikea-apple-collaboration-ar-shopping-app/
[9]ARkit https://developer.apple.com/arkit/
[10]Mulloni A, Wagner D, Schmalstieg D. Mobility and social interaction as core gameplay elements in multi-player augmented reality[C]// International Conference on Digital Interactive Media in Entertainment and Arts. ACM, 2008:472-478.
[11]Szentgyorgyi C, Terry M, Lank E. Renegade gaming: practices surrounding social use of the Nintendo DS handheld gaming system[C]// Sigchi Conference on Human Factors in Computing Systems. ACM, 2008:1463-1472.
[12]Bartle R. HEARTS, CLUBS, DIAMONDS, SPADES: PLAYERS WHO SUIT MUDS[J]. 1996.
[13]Nardi B, Harris J. Strangers and friends:collaborative play in world of warcraft[C]// ACM Conference on Computer Supported Cooperative Work, CSCW 2006, Banff, Alberta, Canada, November. DBLP, 2006:149-158.
[14]Reeves S, Benford S, O'Malley C, et al. Designing the spectator experience[C]// Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. ACM, 2005:741-750.
[15]Xu Y, Barba E, Radu I, et al. Pre-patterns for designing embodied interactions in handheld augmented reality games[C]// IEEE International Symposium on Mixed and Augmented Reality--Arts, Media, and Humanities. IEEE Computer Society, 2011:19-28.
[16]Schell J. The Art of Game Design: A Book of Lenses[M]. Elsevier/Morgan Kaufmann, 2014.
[17]Starner T, Leibe B, Singletary B, et al. MIND-WARPING: towards creating a compelling collaborative augmented reality game[C]// International Conference on Intelligent User Interfaces. ACM, 2000:256-259.
[18]Huynh D N T, Raveendran K, Xu Y, et al. Art of defense:a collaborative handheld augmented reality board game[C]// Proceedings of the 2009 ACM SIGGRAPH Symposium on Video Games. ACM, 2009:135-142.
[19]Björk S, Falk J, Hansson R, et al. Pirates! Using the Physical World as a Game Board[J]. Proceedings of Interact, 2001:9–13.
[20]Lee W, Woo W, Lee J. TARBoard: Tangible Augmented Reality System for Table-top Game Environment[J]. International Workshop on Pervasive Gaming Applications, 2005, 5:0-4.
[21]Gabbard J L, Ii J E S. Usability Engineering for Augmented Reality: Employing User-Based Studies to Inform Design[M]. IEEE Educational Activities Department, 2008.