可用性測試的權衡之道(3)

　　六.研究方法：定性 VS 定量

　　可用性測試，很多時候被認為是一種定性研究方法;但也有人說它是一種定量研究方法。究竟是怎么回事呢?

　　個人認為，可用性測試實質上結合了定性和定量兩種方法的特點，到底哪種成分更多，要看你的使用目的以及細節上如何操作。

　　定量研究的思路是基于對一定數量樣本的測量，以將研究所得的結論推廣至總體。除了強調樣本的代表性，還對樣本的數量有具體的要求，同時會考慮抽樣誤差、置信度、置信區間的度量。并且定量研究過程中非常注重對某些自變量操控、及無關變量的控制。

　　而定性研究重視對主觀意義的理解(如背后隱藏的原因)，采用解釋建構的方法，比如訪談法等。

　　平時工作中以“形成式可用性”測試為主，即便它稍微偏向于定性研究，但在允許的范圍內，我個人還是盡可能地遵循著定量研究的方法去實施。這樣整個測試過程的嚴謹性能得到保證，結論的客觀程度相對更高(近幾個世紀來，量化研究一直是科學研究的主要范式，也正是這個原因)。具體做法如下：

　　1.在任務的設置上：因為參與者可能存在差別較大的亞群體，不可能要求完成完全相同的任務。但必定會設置大部分基本的、都需要完成的公共任務，再針對不同亞群體設置少量的特殊任務。在后期統計分析的時候，基本的公共任務則可以進行數量化的統計，并橫向比較。

　　2.在測試過程中：關注參與者完成任務時的相關行為，用數字來記錄(以0、0.5、1分別表示失敗、幫助/提示下成功、成功)。主試盡量少地言語及體態姿勢的干擾，只在必要時進行適當地言語交流。

　　3.在報告呈現：對任務完成情況(效率、完成率)統計呈現，對不同任務的完成情況進行比較，對亞群體間的任務完成情況進行比較，對所有可用性問題按數量化指標進行排序等?；蛘弑容^迭代前后獨特問題的頻次是否減少，以及嚴重程度高的等級里面可用性問題數量的變化情況。

　　4.測試過后，我們通常還會收集用戶自我報告式的數據，作為“感知可用性”的一個總體反映。

　　(1)推薦使用系統可用性量表(SUS)，因為有研究表明SUS在少量樣本時即可產生較為一致的評分結果。

　　(2)為減少用戶在填寫這些量表時的反應心向，不要求填寫任何個人信息，且主試最好暫時回避。

　　(3)只統計分析所有參與者SUS量表總分的平均值，切勿再拆分比較亞群體之間的差異，因為即便信效度再高的量表，當樣本量極小時都會變得很不靠譜!

　　七.問題優先級：單指標 VS 多指標

　　除了在可用性測試過程中，最終報告也必須體現出量化、客觀地特點。例如，報告發現的可用性問題的列表，我也會以量化的方式排列出問題的優先級別。

　　這樣做的好處在于：首先，發現的可用性問題肯定有一些比另一些更嚴重;其次，考慮到產品和設計人員的精力和資源總是有限的，必須幫助他們梳理出最亟需整改的問題。站在別人的角度考慮問題，這樣他們才能更“友好地”接受我們的報告。

　　可用性問題列表的排序，涉及到采用單指標還是多指標、以及指標分為幾級的問題。

　　先就量化的客觀性而言，“出現頻率”指標是最客觀、最易量化的;而其它三個指標都需分析人員的主觀判斷。

　　就指標的代表意義而言，“嚴重程度”、“出現頻率”與用戶體驗最相關，與用研人員的職責也最相關。另兩個指標可能更多地是產品人員的職責。

　　就指標的價值而言，多個指標的綜合顯然比單一指標更有價值。

　　基于上述考慮，實際工作中我會選擇“嚴重程度”和“出現頻率”兩個指標的綜合，作為可用性問題的優先級指標。“嚴重程度”分為3級，而不是5級(分析人員主觀判斷時，3級指標的誤差率要低于5級指標);“出現頻率”采用計算的具體數值，而非4級分類。這兩個指標合并時，采用1：1的權重，具體公式為：

　　問題優先級=嚴重程度的級別+出現頻率的具體值×3

　　八.報告呈現：優點 VS 問題 VS 建議

　　當產品設計人員辛辛苦苦做出的產品卻被你報告上羅列的各種問題批評得一無是處時，即便理智上認可你的成果，情感上也很難接受。因此報告中列出哪怕一條最重要的優點，也會讓產品設計人員感到欣慰、感受到你中立的態度，增加對報告的接納程度。列出優點的另一個好處是，在測試中被參與者多次自發提及的優點確實帶給用戶某種驚喜;當你在報告中再次強調時，可以避免在后期迭代開發中丟失掉原本的優點。

　　問題的列舉肯定是報告中非常重要的部分，但切勿羅列出清單就草草了事，因為：

　　1.某個(些)問題和另一個(些)問題是有關聯的，但是報告中的問題列表部分卻割裂了這些聯系。

　　2.產品設計人員無法一直參與旁聽/觀察可用性測試的過程，導致對報告中文字描述的問題缺乏感性認識。

　　3.只提問題卻不提供解決方案，就不是“建設性地提問”!

　　因此，我們需要在可用性測試報告的后半部分提出針對重要問題的解決方案。其目標并非是強迫產品設計人員一定要采納我們提出方案，而是：(1)把一些相關問題聯系起來看，(2)加深報告閱讀者對于問題的感性認識和背后原因的理解，(3)使整個報告的思路更清晰、完整，(4)我們還可學到一些交互設計和產品的知識。

　　總之，可用性測試施行起來既簡單又復雜。簡單是因為不管你如何施行，終究能發現一些問題;復雜則在于發現可用性問題的質量、重要性、對測試的利用效率、對產品設計人員的幫助程度可能相距甚遠。一次成功的可用性測試體現在從前期策劃、測試過程、后期報告等整個過程中是否遵循了這些原則，并在某些難以兩全的原則面前做到合理的權衡取舍。

原文轉自：http://www.anti-gravitydesign.com