我一直痴迷于用户界面(UI),从记事起就是如此。 我记得当我玩“不可思议的机器”并在家庭电脑上听“Tears For Fears—Greatest Hits”时,曾对康柏TabWorks的美丽感到惊叹。

别笑话我——我在唐尼·达科和那只令人毛骨悚然的兔子之前就一直在听“疯狂的世界”。 如果这些参考你都不懂,那可能是因为我太老了。 用乔治·科斯坦扎的话说,“不是你,是我。”
这是另一个你可能听不懂的非常老的梗。 你知道吗——忘掉所有这些,让我们继续吧。
当我买了自己的电脑时,我真正开始接触UI。 我加入了海岸警卫队,并在新兵训练营期间攒了很多钱(因为那时你不能去购物——你知道的——因为俯卧撑之类的事情)。 我想买一辆雪佛兰Cavalier(悲哀的是,这不是个笑话),但我父亲鼓励我改成投资电脑,所以我从Office Depot买了一台带有Windows 98的康柏电脑。 而且你也没办法用800美元买一辆Cavalier。
Windows 98
我花了无数的时间更改Windows 98中的主题。 我被窗口重叠的方式、图标和字体的变化所吸引; 按钮的形状和不同的颜色。 每个窗口都带有一点投影,以将其分层到空间中。 每个主题都比之前的主题更好!

如果我早知道事情会变得多么美好就好了。 如果我早知道Windows XP就好了。
Windows XP
一见钟情存在吗? 不——别傻了。 爱情是人类状况中极其复杂的一部分,只有通过长时间的挣扎和灵魂的黑暗之夜才能体现出来。
“什么是爱? 宝贝,别伤害我。 别伤害我。 不要再伤害我了。”
——Haddaway,“什么是爱”
但爱情善变而残酷的表亲,迷恋,确实存在,而且几乎完全在一见钟情时出现。 我完全迷恋上了Windows XP。
开始菜单上的曲线。 菜单动画。 我可以盯着它看几个小时。 我也确实这么做了。 令人震惊的事实——我当时并没有很高的社交需求,所以我有很多空闲时间去做一些奇怪的事情,比如盯着操作系统看。
对于那些记得的人来说,Windows XP 是极其可定制的。 几乎操作系统的所有部分都可以更换皮肤或主题。 这催生了许多UI黑客社区和第三方工具,例如Stardock 的优秀团队开发的Window Blinds。 我看到你了Stardock;北方记得。

我爱UI
我可以继续讲下去,讲讲我对UI的漫长、无聊且略带令人不安的痴迷。 奇怪的是,我不是设计师或艺术家。 我可以构建一个不错的UI,但你不会聘用我来设计你的网站。 或者你会,但你的名字会是“伯克的妈妈”。

但是如果我有构建块,我就可以组装出很棒的UI。 在我的职业生涯中,我很幸运地参与了一些很棒的UI项目,包括在Kendo UI项目刚启动时参与其中。 我喜欢按钮、下拉列表和带有夸张动画的对话框窗口。 而且我可以像托马斯·金凯德一样将这些部分组装成一个应用程序。 我是光之UI组装者。
但作为用户,在过去的几年里,我一直有一个反复的想法:**最佳的用户体验实际上是没有用户界面。**
UI是必要的邪恶
用户界面(UI)存在的唯一原因是允许用户与我们的系统交互。 它是中间人。 它是抽象的通信层,并且对话是预先录制好的。 用户和UI可以进行通信,但只能在界面的特定定义边界内进行通信。 这就是我们最终会遇到像上周末错误通知夏威夷居民即将到来的弹道导弹那样令人惊叹的UX失败的原因。
这是在周六引发弹道导弹警报的屏幕。 操作员点击了PACOM(CDW)仅限州链接。 应该点击的是演习链接。#Hawaii pic.twitter.com/lDVnqUmyHa
——檀香山公民新闻(@CivilBeat)2018年1月16日
我们必须预测用户将如何思考或反应,而每个人都不同。 设计良好的系统可以让我们接近直观。 我仍然是拟物化设计的粉丝,并且“抱歉,不抱歉”。 如果一个4岁的孩子无需任何指导就能拿起并使用iPad,那是一种UX天才的壮举。
也就是说,即使是完美的UI也不理想。 理想情况是没有中间人。 没有翻译层。 从历史上讲,这是不可能的,因为我们无法“与”计算机“对话”。
直到现在。
自然语言处理
自然语言处理(NLP)是计算机领域中处理人机语言交互的学科。 最著名的例子是亚马逊Echo、Siri、Cortana或Google。 或者“好的谷歌”。 或者无论你叫那个东西什么。
我坚信,能够通过语音与AI进行沟通,比使用按钮进行用户交互要好得多——每次都是如此。 为了证明这一点,我想举三个例子来说明NLP如何完全取代UI,以及其结果是更好的用户体验。
示例A:嘿Siri,提醒我…
Siri并不是“更好的用户体验”的完美典范,但它做的一件事相当不错,而且我几乎每天都在用它,就是创建提醒。
说“嘿Siri,提醒我明天早上9点给妈妈发邮件”比这样做要好得多…

- 打开应用程序
- 点击新行
- 键入提醒内容
- 点击“i”
- 选择日期
- 点击“完成”
无论提醒应用程序有多漂亮,它都无法与只需告诉Siri去做就能获得的UX相提并论。
现在,这需要附带免责声明,“如果它能正常工作的话”。 Siri经常会去吃午饭或在我中途打断我,导致一个没有截止日期的无意义的提醒。 当NLP出错时,它往往会严重出错。 而且正如任何曾经使用过Siri的人都能证明的那样,这非常烦人。
这是一个简单的例子,你可能已经知道或对此并不感到印象深刻。 好的;这里还有另一个:家庭自动化。
示例B:家庭自动化
我在我的房子里安装了一堆GE Z-Wave开关。 我将它们全部与Vera控制器连接在一起。 如果你不熟悉家庭自动化,只需知道这些开关连接到控制器,而控制器会公开用于控制它们的界面,从而允许我用手机打开和关闭灯光。
用于控制灯光的Vera应用程序非常好。 它并不完美,但UX还不错。 例如,如果我想打开办公室的灯,我将使用应用程序执行以下操作。

我说它“非常好”。 不是完美。 我只是说我见过更糟糕的。
说实话,当我想打开或关闭灯时,我不想在手机上通过应用程序来搜索和点击。这很不方便。我想让灯亮起来,而且现在就亮起来。与,我不知道,一个**灯开关**相比,通过手机打开和关闭灯在可用性方面是倒退了一步。
很棒的是,可以告诉我的Echo去做。
对于家里的任何开关,我都可以说……
“Alexa,打开/关闭办公室的灯”
或者卧室、餐厅等等。Vera有一个Alexa技能,允许Alexa直接与控制器通信,并且由于Alexa使用自然语言处理(NLP),我无需完全准确地说出这句话就能使其生效。它就是能用。
现在,在我完成发出命令和Alexa做出响应之间存在轻微的延迟。我假设这是延迟到服务器,执行技能,回调到我的控制器,关闭灯,返回到云中的技能,然后返回到我家。
我必须诚实地说,有时我会因为打开灯需要一两秒钟而感到恼火。当然——诸如此类的技术原因,但我并不在乎。我想让灯亮起来,而且现在就亮起来。就像维鲁卡·索尔特一样。
我还有Nest恒温器,我可以用Echo控制它们,我必须告诉你,能够在不离开床的情况下调节恒温器有点,嗯,现在我大声说出来有点可悲。算了。我从来不做那样的事。
自然语言处理(NLP)并不局限于口语。事实证明,通过文本与计算机交互仍然比按钮和滑块更好。
为此,我向你展示C号证据。
C号证据:Digit
Digit 是一项我通过Twitter广告发现的非凡的小服务。你一直想知道谁会点击Twitter广告,现在你知道了。
我希望更多人了解Digit。这项服务的核心前提是,他们通过对你的消费习惯运行机器学习来确定可以在哪里省钱而不会让你陷入赤字,从而自动为你每月节省资金。
Digit最了不起的地方在于,你无需通过应用程序与它交互。所有操作都通过短信完成;我非常喜欢它。
Digit每天都会给我发短信,更新我的银行账户余额。这是一个很好的每日提醒,让我了解我目前的余额。

如果我想知道Digit为我节省了多少钱,我只需询问我的储蓄账户中有多少钱。但同样,因为Digit使用自然语言处理(NLP),我可以根据自己的喜好提问。我甚至可以使用“储蓄”这个词,它仍然有效。这几乎就像我正在与真人互动一样。

现在,如果我想将其中一部分转回储蓄账户,因为我想购买更多乐高积木,而我的妻子说乐高积木是“想要”而不是“需要”,我们应该为孩子的“大学”储蓄,我可以直接要求Digit转账。同样,我无需知道确切的说法。我可以与Digit交互,直到获得正确的结果。即使我在交易过程中犯了错误,Digit也可以处理它。这基本上是我通过短信填写表单,而无需经历“填写表单”的痛苦。

在通过短信使用Digit这么长时间后,我现在希望通过短信与所有东西交互。有时它甚至比不得不大声说出来更好,尤其是在你无法对着机器人大喊大叫,或者你不想说话的情况下。我也有这样的日子。
我们所知的用户体验(UX)死了吗?
不。绝对不是。自然语言处理(NLP)并不是所有用户界面的替代品。例如,我不想发短信给我的相机,告诉它拍照。或者用我的声音滚动浏览照片。然而,这是一种思考我们如何设计用户界面的新方法,因为我们现在可以使用这种强大的新型输入方式。
因此,在你设计下一个表单或购物车之前,问问自己:我真的需要这个用户界面(UI)吗?很有可能,由于自然语言处理(NLP)和人工智能(AI)/机器学习(ML),你并不需要。
如何开始使用自然语言处理(NLP)
创建和开发自然语言处理(NLP)比你想象的要容易得多。我们在开发工具方面取得了长足的进步。你可以查看Azure的LUIS项目,它提供了一个图形用户界面(GUI)工具来构建和训练自然语言处理(NLP)模型。
它是免费的,而且非常容易。
这是一个我构建一个能够理解何时让我打开或关闭灯的人工智能(AI)的视频,它通过从交互中提取灯光状态和房间位置来实现。
“这就是我们最终得到像上周末错误通知夏威夷居民即将到来的弹道导弹那样的糟糕的用户体验(UX)失败的原因。”这是错误的。那是早期的猜测,但事实证明用户确实认为有导弹即将到来,并按下了他们想要按的按钮。我强烈建议修改这篇文章。
我在新闻中看到了。公平地说,当我写这篇文章时,情况仍然如此,这是一个非常好的例子。你能想到我可以用作参考的其他“糟糕的UX”失败吗?
如果你找不到其他“糟糕的UX失败”,那么你可能应该仔细考虑一下你写的内容是否有意义。
UI是一种交流方式,我发现按钮和文字比被迫与机器交谈并让它回应(或者不回应,如果你没有说正确的话)更有魅力。
这几乎就像你要求手机取代电子邮件。情况并非如此。我们讨论的是不同的主题。毫无疑问,UI绝对不是最佳的用户体验,因为即使是语音命令也是一种UI,而不会像按钮那样告诉你。
我们有谚语“一张图片胜过千言万语”,这仍然是一个有效的观点。通过声音传输信息是最糟糕的方式之一,也是人类最难掌握的方式之一。
这就是关注人性化设计意味着什么。为具体情况找到最佳工具。因此,是的,你可以通过语音进行餐厅预订,但另一方面,很久以前你就可以通过打电话与更有可能给你有价值的反馈并可以提问的人进行预订。
归根结底是选择合适的工具来完成工作。
正如你所展示的,有一些问题可以通过NLP更容易地解决。在我看来,大多数情况下,使用音频或语音传达信息比使用视觉表示要慢得多。一个例子就是语音播报或屏幕阅读器。
我认为你在某些情况下是对的,在其他情况下是错的。第一次,使用语音现在更快了,并且覆盖范围正在扩大。因此,虽然对于某些交互(例如你提到的交互)它仍然较慢,但当我想要说——在Pandora上播放“猫头鹰之城”(是的,我听猫头鹰之城。我知道。)而不是拿出我的手机、打开应用程序、找到电台时,它快多了。还有很多其他例子,比如本文中的例子。
但你的观点很有道理——我们还没有完全到达那里,我认为对于很多事情,我们永远都不会到达。我们永远不会没有UI。我们可能只是不再需要它,具体取决于用例。
在孩子们使用Alexa时与他们待在一起很有启发性,我从中获得的感觉与你完全相反——对于所有“它能用”的宣传,我看到孩子们必须学习与GUI相同的UI管理方式。
6岁儿童的现实生活中的UX处理
“Alexa,播放Bad Romance”
“正在播放Lady Gaga的Bad Romance的样本”
“[恼火] Alexa停止。Alexa在Spotify上播放Bad Romance”
“正在Spotify上播放Lady Gaga的Bad Romance”
看看所有疯狂的UI元素:“Alexa”“播放”“停止”“Spotify”[艺术家姓名]“样本”的概念——它们与关闭的X或离线概念有何不同等等。它仍然是关于学习一个系统。系统看起来越“智能”,很可能限制性就越大——总是假设你只吃中餐(如果你来自中国),或者你是异性恋、白人或男性——以及这些东西意味着什么——或者付费订阅模式是理所当然的。
是的,语音指令也是 UI(在这种情况下,界面由麦克风和方框组成),并且 UX 可能很糟糕(你是指 x 吗?你能重复一下问题吗?订购 Lady Gaga 的新 CD……不不不 Alexa 不不不取消订单……)
我们当然在 NLP 方面还有很多工作要做,但这项技术正在飞速发展。想想现在比 5 年前好多少。
不过你说得对——当 NLP 作为界面出现故障时,非常令人沮丧。在很多情况下,它甚至比传统界面的故障更令人沮丧。
我认为语音指令是一种 UI 的形式,但它有时不伴随 GUI。
我喜欢用语音做一些事情,尤其是我不赶时间的时候。但在大多数情况下,我仍然更喜欢好的 GUI,因为它速度快且保护隐私。没有人想听我在公交车上跟手机说话,我也不希望别人听到我设置的提醒、我的银行账户余额等等。
就像你说的,在某些用例中,语音可能很有用。我主要是在家写长文章时使用它,用语音写然后手动修改小错误要容易得多。
顺便说一下,我用手机上的 Google 语音写了这条评论。:)
哈哈!最后一句话真是精彩绝伦。致敬。
我惊讶地发现这里没有提到 Golden Krishna 和他的“无界面”工作。
我以前没听说过 Golden Krishna。不过现在要去看看了!
非常有趣的文章。NLP 的兴起当然是一个改变游戏规则的事情。但是,在语音 UI 的设计方面,仍然有大量的工作要做。
关于恒温器的那件事,我真是笑出声了。写作风格很棒。
谢谢,Jennifer!那个恒温器是我做过的最棒的决定。⭐️⭐️⭐️⭐️⭐️
这篇文章似乎将 UI 与可视化用户界面混淆了。语音控制……是一种用户界面。发短信也是。如果你要争论说最好的 UX 是没有 UI 的,那么你会希望系统能够根据无需用户交互的环境信息来满足你的愿望。
例如,你的家庭自动化系统知道你的位置和时间,因此当它感知到是下午 5 点并且你的手机 GPS 告诉它你正在离开它识别为“工作”的位置时,它应该打开暖气,打开一盏灯,当你靠近车库时,它应该打开车库门,当你走到门口时,它应该解锁。是的,你必须预先定义“工作”的位置和其他规则,但一旦你这么做了,活动就会在没有用户交互的情况下发生。同样,与其告诉语音助手打开房间的灯,不如在您跨过门槛时根据传感器数据打开它们,并在您离开时关闭(假设只有您在那里)。
是的——理想情况下是如此。但我们离此目标还很遥远,因此语音是目前的突破。我使用“UI”一词表示其传统含义,而不是语义含义。
我能成为第一个说“但语音输入仍然是用户界面”然后“如果我们成为机器,就没有 UI”的人吗?
[去创作一张名为“我们曾是机器”的概念专辑]
你可以,但你不会是第一个这么说的人。
显然我应该澄清这一点。虽然清晰不是我的强项。祝专辑创作顺利!
这就是有些人最终在家里遇到 bug 的原因。Alexa,请告诉亚马逊我们正在谈论的一切……难以置信。为什么不直接用开关打开灯呢?
你仍然可以这样做。但是当你躺在沙发上看 SNL 重播,并且独自吃掉了一个巨型披萨时,“起身关灯”将是你当天做的最难的事情。不是说我知道任何关于这种特定场景的事情。
不错的、内容丰富的文章。不过,我认为语音仍然是一种界面。简单来说,它是用户为了与系统交互而必须执行的任务。但是,也存在“无界面”系统,即自主系统。有什么比跟恒温器说话更好的呢?如果它“了解”你,并在你没有要求的情况下自动改变。这样你就可以免于交互,并且没有延迟!
当然,这类系统大多不可能创建,但我们每天都在部分地看到它们。例如,表单填充程序,自动填写个人资料信息的应用程序。让你免于手动输入地址和其他信息的麻烦。
谷歌有一个系统,会在你该上车的时候通知你,这样你就不会因为今天交通堵塞而开会迟到。因此,它不仅可以帮助你无需查找和跟踪交通信息,它甚至知道你希望收到提醒,尽管你实际上并没有设置提醒。
tl;dr;
语音很棒,自动更好!
NLP(在完美运行的情况下)对于重复的常见任务来说感觉非常好。但有两个注意事项
1)我觉得它对用户来说可能有一个真正的学习曲线,并且没有提供良好的 UX 发现。但也许随着时间的推移,当这些变得标准化后,这个问题将不再存在
2)它可能比 GUI 或“物理”UI 慢。电灯开关就是最好的例子。但任何一键操作对我来说都感觉更有效率。
NLP 当然在 UI 的未来中扮演着重要角色,并且在许多情况下将成为更有效的工具。但是,我认为真正的 UI 突破将是 AI 驱动的“一两键”界面,用户只会在正确的时间看到正确的操作。这基本上是我们之前在设计界面时试图做的事情,但更动态、更精确。它本身也存在问题,并且目前还难以实现,但我认为它可以成为最好的 UI 工具。
很棒的文章!
感谢您抽出时间撰写本文。
“UI 存在的唯一原因是用户可以通过它与我们的系统交互。它是一个中间人。”
也许所有形式的交流都可以这么说。
“它是一个抽象的通信层,并且对话是预先录制好的。”
我认为这是不正确的。正如你指出的,你与$管理应用程序的交互已经存在差异。看看计算机对国际象棋运动做了什么。在许多领域,它们已经比人类不那么预先录制了。
事物在不断发展。如何在网页 UI 设计中添加 NLP HTML 属性?
起初我以为能够捏一下手机来启动 Google 助理很奇怪——但实际上太棒了!它使我能够在完全不触碰屏幕的情况下与手机进行交互。向想到这个主意的人致敬。
“捏一下手机”绝对是有史以来最好的描述
同意之前的评论者——语音是一种 UI,而且目前并不是特别好的 UI,除了极其普通的任务之外,这主要是因为 AI 和 NLP 的局限性。例如,我们在工作中尝试构建这款办公室助手工具,它可以让我们通过 Slack 或语音完成所有无聊的管理工作,而不是通过 Google 日历或我们的 HR 系统来完成,但是我们发现该技术还不够成熟,无法处理这种复杂性,而无需花费大量时间来构建和配置。我们可以为每个操作构建 Alexa 技能(预订会议、申请假期等),但一旦你尝试将这些操作捆绑到一个“产品”中,整个事情就开始到处出错,更不用说 NLP 方面出现的许多人为错误了。
从 UX 方面来看,这些类型的界面也很棘手,因为
1. 它们从用户手中夺取控制权并将权力转移到 AI,这意味着 AI 会将你说的话/写的东西翻译成一个动作,而不是让你点击按钮。至少在 10% 的情况下(至少对我们来说),它将我们想要的东西翻译成了错误的动作,或者根本无法翻译我们的请求。因此,每一次交互都是掷骰子,并且会导致执行任务的时间更长,而且通常更令人沮丧,这与传统的 UI 相比。
每个人写作和说话的方式都不同。写作和说话的方式就像人一样多种多样。这就是为什么除了日常任务之外,很难为任何东西构建基于自然语言处理 (NLP) 的界面。它也可能导致用户之间的排斥和困难,这些用户与你的 NLP 训练对象不同。例如,一个芬兰人说英语时带有浓重的口音,可能无法被当前的 NLP 正确理解。
最后,根据我们在内部进行的用户体验研究,至少人们真的不喜欢在家里或其他私人空间之外使用语音界面。这很有道理。即使是打电话,我们也会远离公共场所,寻找一个私密的地方。因此,如果在家使用语音控制的表单或购物车可能还可以(尽管我现在怀疑它的实用性),但在外面则绝对不行(“请在听到提示音后低声说出您的信用卡号码”)。这对于大多数电子商务商店及其客户来说,确实是非常糟糕的用户体验。
TLDR
由 NLP 驱动的语音和文本界面可能很有趣,但该技术尚未成熟到可以胜任除最简单的任务之外的任何任务,并且你的用户可能仍然更喜欢传统的 UI。
你知道 Windows XP UI 描述下的“Dragon UI”截图根本不是来自 XP,对吧?
哦,天哪!抓住了!格兰芬多加 100 分。
你好!这里有前 Digit 产品设计师
一些很棒的示例和观点。
首先 - 我很高兴听到你喜欢使用 Digit,并且对话式 UI 对你来说效果很好。
其次 - 你可能会惊讶地发现,在 Digit 存在的大部分时间里,实际上并没有任何 NLP/AI/ML 为这些交互提供支持。大多数都是硬编码语法。这实际上就是我最后在那里做的项目之一的原因,即重新设计了该应用程序 https://blog.digit.co/
我想说,对于那些仅使用 Digit 进行最基本操作(储蓄备用金)的人来说,无界面设计效果相当不错。但是,当我们所做的一切都必须通过这种视角来查看时,为新功能和功能设计就变得异常困难。很多时候感觉像是在重新发明轮子。即使是 Alexa 也有一个配套的基于“传统 UI”的应用程序。更多内容可以阐述,但大部分内容已经说过了。真正的 NLP 可以使像 Digit 这样的产品比现在工作得更好,但在我看来,它仍然不是一劳永逸的解决方案。
该死,特雷弗!你毁了我的论点!:)
听到这个很有趣。我可以想象对所有情况进行硬编码会多么令人沮丧。这听起来根本无法扩展。你认为如果它基于类似于机器人框架/NLP 平台的东西会更好吗?NLP 的主要价值主张是你可以添加意图和实体,训练模型,然后你的机器人就会变得更智能。机器人仍然需要知道如何处理这些信息(这需要代码),但只需要为操作编写代码,而不需要为界面编写代码。
关于“Een Alexa 有一个配套的传统 UI 应用程序”。是的,而且我真的很不喜欢使用它。但这可能只是我个人想法。看起来,现在我们可能处于传统 UI 和对话式 UI 混合的最佳点,它们提供了最佳体验。
是的,如果它使用真正的 NLP,几乎可以肯定效果会更好。在我离开那里之前,我们实际上开始使用现成的解决方案,但它仍然有点粗糙。同样,对于简单的交互,它通常是可以的。当需要更复杂(或更敏感)的交互时,问题就出现了。特别是因为人们期望这些事情在这种情况下能够顺利进行 - 而在传统的 UI 上下文中,这种期望实际上并不存在。
好吧,无论如何,感谢你开创了一种我非常喜欢的对话式 UI。这是我第一次接触到我希望通过文本与其交互的服务。我认为这是一个相当大的成就。
请考虑可访问性,以及那些可能无法说话的人(无论是永久性还是暂时性,例如在图书馆或患有喉炎时),那些可能不会说界面语言的人,那些说带口音的人等等。提供选项总是一个好主意。谢谢。
当然。这也是传统界面将永远存在的原因之一。就像传统界面可能无法满足视障人士的需求一样,NLP 在解决所有用户问题方面也存在不足。我可能应该在我的结论中提到这一点,因为可访问性是一个主要问题。
不可思议的机器和 Tabworks,一段更简单时光的美好回忆
是的!《挖金矿》怎么样?你能感受到怀旧之情吗?
辉煌的用户体验失败 = 简单。寻找阿波罗 8 号飞行。本文中有一些信息:https://www.wired.com/2015/10/margaret-hamilton-nasa-apollo/