满意度是体验研究的常用指标,但在 AI 产品中,用户预期因缺乏经验、宣传夸大和个体差异而变得不稳定且偏差大,导致满意度分数不再能直接等同于产品表现。本文深入剖析 AI 产品用户预期的三大特点,揭示其对满意度诊断功能的潜在误导,并引入失验与产品表现两个指标,提供一套拆分问题根源的实用思路,帮助研究者更准确地定位优化方向。
在 AI 产品体验研究里,笔者发现以上三个影响预期的信息源都变化了,因此 AI 产品的用户预期存在以下几个差异点(对比互联网产品的用户预期):
1)跟产品实际表现偏差大(来自「过往经验」缺失+「外部信息」影响)
与互联网产品不同,AI 是纯新产品:绝大多数用户都对它不太熟悉,更没有相关使用经验,所以根本也就不了解 AI 产品的真实水平;同时,用户又处在铺天盖地的宣传里,不管是官方广告、社媒帖子、视频,无不在营造这几个印象:「强大、智能、替代人类工作……」。
一边是没有可参照的实际经验,一边是夸大的外部信息,两者叠加,用户的预期自然与产品实际表现相差很大。
2)随时间变化大(来自「过往经验」的持续更新)
用户对 AI 的预期一开始就不太准、不成熟,它会在之后的使用里被不断校正。而这个校正,不是一次两次就能完成的,例如:部分用户刚开始不熟悉,等掌握一点使用技巧、经验,看到更高质量的产出后,预期可能提升;但也可能,有些用户抱着很高的预期而来,看到实际结果之后,发现跟宣传完全不一样,或者遇到了很多新的未知问题,预期会下降。所以,用户对 AI 产品的预期不是一次形成、长期不变的,且需要长时间的使用才会逐渐稳定。
产品达标了,满意度分数却低,问题依然可能出在预期。考虑到满意度是忠诚度(用户留存等)的重要来源,所以不能因为产品表现不错就忽视满意度。下一步需要看看失验得分:选「低于预期」的人是不是占了多数?如果是,可能的原因是:用户带着很高的期望来,用下来虽然觉得产品不差,但因为没达到他预期的水平,于是给了低分。但这些只是推测,失验分也只是个「探针」:提示下一步需要关注什么,并不是结论。接着可以看这批人在影响预期的几个维度——年龄、受教育程度、AI 使用经验、诉求上有什么特点来辅助判断(例如,如果大多数都是受教育程度低、AI 使用经验很少的,则更可能是预期存在问题);有需要的话,可以补充访谈,弄清用户心中的 AI 是怎样的,这些印象又是从哪来的,以帮助找到原因。
4)产品表现分高,满意度高
情况健康,可先保持关注。
需要注意,以上三个指标得分给出的是方向,提示下一步该重点看什么,还需要补充其他相关指标信息、访谈来辅助下结论。
四、总结
• 满意度衡量「体验水平」这个用途,在 AI 产品里依然成立;但直接拿它诊断「产品表现」,就不一定走得通了:分数分不出「是产品表现差,还是预期在起作用」。
• 原因在于 AI 产品的用户预期。在当前这个阶段,它跟产品实际表现偏差大、随时间变化大、人际之间差异大。同样的产品表现,会因为预期不同,得到不同的满意度分数。
• 笔者建议的做法是:在满意度之外补两个指标——失验、产品表现,基于其得分,得到下一步方向或假设(先在产品还是预期里找原因);再结合用户特征、AI 使用经验、诉求等信息判断假设是否成立,从而找到准确的发力点。
以后再看到满意度分数,不妨把产品表现分也拿出来看一下,能减少一些误判。
附录:下一步,怎么摸清用户的预期:
前文提到,如果分数提示「可能是预期在起作用」,除了侧面看影响预期的一些因素(人口属性、AI 使用经验等)的表现,也可以再找用户聊一聊,以弄清楚用户心中 AI 的水平、能力到底是怎样的。但因为预期这个概念很大,且很可能用户自己也不一定非常清楚或没想过这个问题,所以需要在访谈中抛一些「引子」,例如:
① 投射法:不直接问「你预期 AI 是什么水平」,而是让用户描述、举例、讲故事——「你第一次用它前,以为它能干嘛?」「如果你把它比作一个人或你熟悉的其他工具,你觉得它跟谁像?」——从用户的叙述里,反推出他心里那套预设长什么样,再通过引导、追问,一步步看清用户的想法。
② 来源与印象:预期有三类来源(过往经验、外部信息、个体特征),因此问题可以从以上三方面入手:
• 过往经验:「你之前用过什么类似的产品吗?如果有,你觉得两者有什么差异?」
• 外部信息:「你从哪知道它的?广告里怎么说的?你印象中它最大的卖点是什么?你对这个卖点怎么看?」
• 个体特征:分析时注意从用户的个人特质、对 AI 的态度侧面看不同人群的特点、差异。