2021-5-31 資深UI設計者
今年,我們在內部中后臺產品進行嘗試,發(fā)現「易用度」可以作為合適的度量指標,并成功推廣到 35 個產品,幫助PD、設計師、工程師等產品設計者去衡量產品體驗現狀,發(fā)現改進機會點。實踐證明,易用度,相比滿意度、尖叫度、NPS,更適合技術類產品的體驗度量。結合用戶行為數據,可以為用戶畫像、改進方向、運營策略提供更準確的決策依據。
在公司內部,技術類產品種類繁多,有很大一部分是開發(fā)、運維人員使用的中后臺產品,且以從 0-1 階段為主。由于這部分同學本身工作復雜度高,又必須依賴內部產品來完成,所以長期以來“簡單易用”成為大家追求的產品體驗標準,他們也把“如絲般順滑”作為終極目標。但現實情況是,上手門檻高是使用技術類產品最大的痛點。
對于前臺業(yè)務的設計者,經常會使用「人+錢」,也就是「流量+付費」來衡量產品效果。通過成功率、轉化率等指標,可以快速看到用戶行為上的反饋,來指引后續(xù)優(yōu)化。但對于技術類產品,尤其是強流程、工具型產品,很難找到一套契合業(yè)務特點的度量方式。理論上,使用「成本+效率」是比較合適的衡量維度,實際操作下來,找到設計和產品效果之間的因果關系,并非易事。
我們做了一個內部調查,發(fā)現產品設計者經常容易遇到這些問題:
體驗度量是一個繞不開的話題。天貓、阿里云、華為、京東都有嘗試提出解決方案,但沒有統(tǒng)一的衡量維度。
設計方案與產品的市場反饋,需要一個可以解釋關聯關系的抓手,這對迭代方向的指引至關重要。
產品團隊逐漸重視用戶用戶,但缺乏有說服力的指標。
業(yè)界在體驗度量上的方案,大致分為 3 個派別:
客觀衡量法:通過數據埋點監(jiān)測用戶行為數據。例如經典的 PULSE 模型,還有大家熟悉的運營指標,活躍用戶數、留存率、ARPU、LTV等等。這對于還未商業(yè)化、用戶基數少的產品不適用。
主觀衡量法:收集用戶主觀打分。經典的滿意度、尖叫度、NPS,可用性測試量表(如SUS),美國客戶滿意度指數ACSI。
主觀+客觀衡量法:把用戶行為數據和主觀打分結合起來,多數用歸一化方式得出一個總分,把分數劃分成不同檔次作參考。Google 經典的 HEART 模型,內部 的 PTECH 模型,阿里云 QoUE 模型 ,華為云的用戶體驗模型。
在掌握了這些信息之后,我們在內部的技術類產品上,進行了一輪新的探索。經過半年時間的試點,結合業(yè)界的解決方案、內部產品的業(yè)務特性,我們最終選擇主觀衡量法,并使用「易用度」這個衡量指標。
易用度,英文 Customer Effort Score ,簡稱「易用度」,也有譯成「費力度」,指的是用戶使用某個產品/服務來解決問題的難易程度。目的是消除或減少用戶使用產品過程中的障礙。
該定義來自 2010年 《哈佛商業(yè)評論》發(fā)表的文章——《Stop Trying to Delight Your Customers》。2013年,Gartner 子公司 CEB 發(fā)布 易用度2.0版本 的測量方法,定義為“解決問題的難易程度”(make it easy to handle my issue)。
它的源頭可以追溯到美國用戶研究專家 Jeff Sauro(2009)提出的單項難易度問卷(Single Ease Question,SEQ),在可用性測試之后,用戶需要對一個問題進行打分,問法是“整體上,這個任務是非常困難-非常容易(7分制)”。
為什么說「易用度」更適合技術類的產品?主要基于技術類產品的三大特點。
總體指標
易用度:使用**產品完成**工作的容易程度。
影響因素
主要因素:產品及設計給用戶操作帶來的復雜度,我們稱之為「基礎體驗」,包括幫助引導、功能入口、概念術語、任務流程、操作反饋。
次要因素:用戶特征對使用易用度的調節(jié)作用,也稱之為「調節(jié)因素」。不同特點的用戶,會影響易用度分數,包括操作熟練度、先驗知識、行為習慣。
大家肯定要問,這些影響因素是怎么確定的,如何證明它們的合理性?這就要提到量表開發(fā)方法,基本上可以分為幾個步驟:
step1.理論借鑒
從相關領域查找經典量表,站在巨人的肩膀上,經過實踐檢驗的量表更可靠。我們首先從15種國際可用性測試量表中借鑒,抽出了一些關鍵的衡量維度。另外,易用度創(chuàng)始人Matt Dixon(2014)在《the effortless effort》書中,總結了在客戶服務場景,費力的關鍵因素:
信息分類不恰當,反復描述問題(82%)
需要多次求助(62%)
幫助指引不清晰(59%)
找不到相關入口,頻繁切換溝通渠道(59%)
step2.實踐總結
我們盤點發(fā)現,技術類產品,絕大部分屬于工具型產品,強調任務流程,也是用戶痛點集中的地方。匯總多條業(yè)務線近1年的調研結果。除了功能、性能問題外,根據對完成任務的阻礙程度,無論是0-1階段,還是1-N階段,高頻體驗問題分布都集中在5個維度:
幫助引導
操作反饋
任務流程
概念術語
功能入口
step3.數據分析
通過整理歸納的影響因素,需要經過信效度驗證,才能有說服力。簡單來說,信度就是“可信與否”,指的是結果的一致性、穩(wěn)定性及可靠性;效度就是“命中與否”,指的是結果反映所想要考察內容的程度。通過統(tǒng)計學的探索性因子分析,驗證性因子分析,我們確定 5 個維度可以有效測量易用度分數的變化。詳細可查閱《如何找到影響用戶體驗的關鍵因素?》。
從易用度-滿意度-尖叫度-NPS,是一個用戶預期的漸進變化。從中可以看出,易用度更關注的是基礎體驗,也就是“簡單好用”。
為什么易用度相比其他指標更適合技術類產品呢?主要有 3 個原因:
1.內部試點發(fā)現,滿意度無法準確衡量技術類產品體驗
滿意度不能很好衡量真實體驗,分數虛高。我們在一些產品上,同時使用「易用度」和「滿意度」作為總體指標,發(fā)現 43% 的用戶滿意度評分,高于易用度評分,可以理解為“產品我滿意但不好用”。此外,易用度分數與滿意度分數相關性高達0.77,具備很高的可替代性。
易用度更接近用戶真實體驗。對任務難易程度作出評價,用戶在判斷時會更直接,考慮使用過程中付出的腦力、時間等成本。對滿意度作出評價,除了考慮產品本身的易用性,內部用戶還會考慮其他主觀因素,例如:
合作關系:你是研發(fā),我是用戶,擔心給你滿意度打低分了,之后就不滿足我的需求了。
中庸傾向:滿意度調查,已經是人盡皆知的評分,國人都傾向于打中上。
評價范圍:易用度問的是完成工作的容易程度,范圍更小,用戶評價的時候更聚焦。滿意度問的是整體是否滿意,范圍更大,用戶會綜合考慮很多因素,例如上面提到的服務支持、上下游協作、需求響應等等。
2.行業(yè)實踐表明,易用度比 NPS 更能預測用戶留存和成本變化
易用度更能預測用戶留存?!豆鹕虡I(yè)評論》(2010年)發(fā)表易用度時,調研7500多名用戶,數據顯示易用度低的客戶,94%的有復購意愿,88%表示會增加支出,僅1%表示會對公司持負面態(tài)度。Garter(2013)發(fā)布報告,基于49000多名用戶數據發(fā)現,易用度分值從1分提升到5分,可以使用戶忠誠度提高22%。Oracle(2015)發(fā)布服務云易用度白皮書發(fā)現,當用戶表示使用產品付出了更少的努力,忠誠度提高18%。相反,從滿足用戶預期到超出用戶預期,用戶忠誠度的變化并不明顯。
易用度更能預測成本變化。 Gartner(2019)對100+公司、12.5w用戶的調研發(fā)現,易用度從高分到低分,可以降低37%的成本。
3.行業(yè)實踐表明,尖叫度更適合成熟度較高的產品類型
目前在市場上,至少在國內,ToB 產品沒有達到飽和,定位也各有不同。在企業(yè)用戶心中,并沒有足夠清晰的心智和經驗去判斷。例如企業(yè)微信和釘釘,基本上很少有用戶會同時使用這兩個產品,那用戶就無法準確評價二者的好壞。
更關鍵的是,很多 ToB 產品,用戶多數是被動接受使用的,極少有選擇余地。普遍的高技術門檻,也把他們嘗試的意愿和可能性大打折扣。
對比滿意度、尖叫度、NPS指標,易用度的優(yōu)勢在于:
關注用戶完成任務過程中的阻礙,重視基礎體驗;
適合去度量特定的用戶接觸點和任務流程,以便了解用戶解決問題的難易程度。
劣勢在于:
對于分數過高或過低的情況,沒有通用的基線,需要區(qū)分行業(yè)、產品類型、產品復雜度來衡量分數是否合格;
側重基本體驗,無法衡量用戶的總體滿意度。
經過半年的實踐,我們采集了 35 個技術類產品的易用度,根據產品類型、產品階段來區(qū)分。結合內部試點和行業(yè)調研,我們把技術類產品的易用基線,設定為 5.5 分。主要發(fā)現:
產品類型越復雜,易用度越低。試點產品中,ToC 產品易用度均值 5.46,ToB 產品易用度均值 5.32,ToD 產品易用度均值 5.07。
產品階段越早期,易用度越低。試點產品中,0-1 階段的產品易用度均值 5.09,1-N 階段的產品易用度均值 5.28。
如圖所示,易用度有很好的區(qū)分度,不同產品類型的不同產品階段分數呈現出差異性,我們可以根據這個數據,去評估自己的產品所在位置。
為什么總體上選擇 5.5 分作為“易用”標準?
我們在這 35 個產品上進行易用度的嘗試,最終收集了 4000+ 問卷數據,得出了技術類產品的體驗基線:
總體均值 5.07 分,中位數 5 分。具體分布如圖所示,認為“比較容易”(5-7分)的用戶占 69%。
但由于內部的技術類產品,大多處于 0-1階段,以現在的狀態(tài)作為“易用”基線,顯然不合理。
因此,我們需要結合業(yè)界的實踐作為參考。我們收集到 2 家用戶研究領域的老牌公司 Nicereply 和 HotJar 的數據。Nicereply 是一家咨詢公司,它服務的對象既包括 C 端用戶,也包括 B 端用戶。HotJar 是一家專做用戶行為監(jiān)控的公司,它服務的對象主要是 C 端用戶。因此,我們傾向于采納 Nicereply 發(fā)布的基線 5.5 分,作為參考。
Nicereply 公司在2018 年發(fā)布的易用度 benchmark,基線為 5.5 分。
HotJar 公司在 2019 年發(fā)布的易用度 benchmark,基線為 6.09 分。
很多設計者會想,不就是一個問卷嘛,能發(fā)揮多大的作用?實際上,當問卷數據+用戶行為數據,它將發(fā)揮更大的價值。
現狀描述:對產品當前的功能、體驗、性能的在用戶心中的水位進行摸底,通過數據和主觀反饋找到原因。
對比差異:技術型產品往往有多個角色共同使用,并且有上下游協作關系,可以通過問卷和數據發(fā)現不同角色的偏好,找出差異化的改進方向。
影響關系:當發(fā)現某些模塊用戶評價低時,需要下鉆找到最相關的影響因素,這時需要用到相關分析,找到此消彼長或相輔相成的變化關系,以及用到回歸分析,找到可能的因果關系。
聚類分析:結合問卷數據和用戶行為數據,我們可以對典型用戶進行分層,也就是我們通常說的“用戶畫像”,可以結合經典的 RFM 模型,找到高頻、忠誠、高付費且評價好的用戶。
以某個技術類產品 A 為例,通過現狀描述,可以發(fā)現低分人群抱怨的問題集中在哪里,提出問題優(yōu)先級排序。
通過對比差異,把用戶根據人口學、行為特征進行單維分類,與易用度分數做交叉分析,找出人群之間的差異,有針對性改進。
通過影響關系分析,可以找到影響產品 A 易用度分數的主要原因,也就是用戶為什么覺得好用/不好用。
通過聚類分析,結合問卷數據和用戶行為數據,可以發(fā)現典型人群,制定差異化的運營策略。
在 35 個技術類產品上的實踐,我們發(fā)現了一些常見現象和經驗性的洞察,它并非都是普適的,卻有很高的參考價值。
基于內部技術類產品的體驗度量實踐,我們得出以下結論:
實踐證明,易用度指標衡量技術類產品更有效。技術類產品降本增效的商業(yè)目的、降低技術門檻的用戶訴求、流程復雜上手難的痛點,決定了體驗度量要關注基礎體驗。滿意度、尖叫度、NPS去衡量都不太準確。
易用度的衡量維度,包括 5 個部分的基礎體驗。即幫助引導、功能入口、概念術語、任務流程、操作反饋。
結合內部試點和行業(yè)調研,我們把技術類產品的易用基線,設定為 5.5 分。當前內部技術類產品的易用度基線是 5.07分,行業(yè)技術類產品的易用度基線是 5.5 分,產品類型(ToC/ToB/ToD)、產品階段(0-1階段,1-N階段)也會有所差異。
結合行為數據,易用度可以進行描述、分類。使用現狀描述找出低分人群的高頻問題,使用對比差異找到多角色的不同訴求,分析影響關系找到影響易用度的主要因素,結合用戶行為數據進行聚類找到典型人群。
藍藍設計建立了UI設計分享群,每天會分享國內外的一些優(yōu)秀設計,如果有興趣的話,可以進入一起成長學習,請掃碼藍小助,報下信息,藍小助會請您入群。歡迎您加入噢~~希望得到建議咨詢、商務合作,也請與我們聯系。
文章來源:站酷 作者:Ant_Design
分享此文一切功德,皆悉回向給文章原作者及眾讀者.
免責聲明:藍藍設計尊重原作者,文章的版權歸原作者。如涉及版權問題,請及時與我們取得聯系,我們立即更正或刪除。
藍藍設計( www.88yangsc.com )是一家專注而深入的界面設計公司,為期望卓越的國內外企業(yè)提供卓越的UI界面設計、BS界面設計 、 cs界面設計 、 ipad界面設計 、 包裝設計 、 圖標定制 、 用戶體驗 、交互設計、 網站建設 、平面設計服務