文字輸入法的評估方式建議

對於經常需要輸入大量文字的人而言,一個具備效率的輸入法是一個重要的工具,所以隨著硬體的發展,越來越多的輸入法或是輸入介面紛紛開始搶奪這個市場,這時如何去證明自家的輸入法的效率比其他人的高,需要經過評估。

要評估一個輸入法的效率,我認為應該分成兩個部份,一個是訓練前的使用效率,一個是訓練後。有些輸入介面的優點在於,初學者可以很快就上手,不用經過長時間的訓練就可以有不錯的速度,如注音輸入法;但是也有一些輸入法或是介面,一開始需要摸索一下,但是訓練後的效率很高,如無蝦米輸法,所以要評估一輸入法的效率,兩個角度都應該要去切入。

在評估之初,我建議要有一個捉對廝殺的對象,才有比較的標準。我們把要評估的輸入介面稱A-UI,對照的介面稱B-UI,我們要如何比較這兩個介面的優劣呢?首先讓我們先比較初學者的效率,在資金雄厚的情況下,其實找一篇文章,然後找100個人,平均分成兩組,分別使用不同的介面,直接用T-test分析,就可以比較出優劣。但是這樣的方式顯然太過於勞民傷財,也不夠嚴謹,所以我們可以換個方式,流程如下:

受試者背景:
受試者32名,男女各16名,均慣用右手,注音輸入法慣用者,均未使用過H牌手機的介面

評估工具:H牌手機,兩篇詞頻(甲文與乙文)相當的文章

實驗設計:

1. 我們將所有受試者分成四組,分別為A、B、C、與D組

2. 每一組中有二名男性與二名女性。

3. 在A組受試者的輸入順序為用A-UI輸入甲文→用B-UI輸入甲文→用B-UI輸入乙文→用A-UI輸入乙文。

4. 在B組受試者的輸入順序為用B-UI輸入甲文→用A-UI輸入甲文→用A-UI輸入乙文→用B-UI輸入乙文。

5. 在C組受試者的輸入順序為用A-UI輸入乙文→用B-UI輸入乙文→用B-UI輸入甲文→用A-UI輸入甲文。


6. 在D組受試者的輸入順序為用B-UI輸入乙文→用A-UI輸入乙文→用A-UI輸入甲文→用B-UI輸入甲文。

7. 我們將每一位受試者使用A-UI與B-UI的輸入時間分別記錄下來,由於我們關注的是不同UI的使用效率,所以我們以介面別為變項,使用one-way ANOVA進行分析,先看分析之後的結果是否呈現顯著差異,再比較哪一個介面的輸入時間較短。

接著,我們要評估訓練後的差異,這個部份我們對於文章的選擇就必須控制,原則上訓練前與訓練後我們拿來量測效率的文章必須要是同一篇,才有比較的標準。在訓練過程中,我們應該訓練多久呢?這個部份需要回顧相關研究以及測試,沒有固定的作法,就我評估輸入法效率的經驗,每一天挑一篇1000字左右的文章,練習60分鐘,連續訓練五天就會有練習的成果,但這部份會因為評估的產品不同而有所差異。評估訓練後成果的流程如下:

受試者背景:
1.招募受試者40名,男女各20名,分成兩組(A&B),每組男女各10名。
2.慣用右手。
3.未使用過觸控式smart phone
4.以注音作為慣用的輸入法。

硬體工具:
1.HTC手機
2.測試訓練效果文一章一篇(1000字,稱TA)
3.訓練文章五篇,每篇約3000字。(分別以T1、T2、T3、T4、T5稱之)

評估流程
1.我們以A組為實驗組,使用我們要評估的介面A-UI;B組為對照組,使用B-UI。

2.我們先量測訓練前的輸入效率,所以請兩組的受試者指用指定的UI,輸入TA文。我們要求受試者不用修改打錯的字。持手機的方式以左手持HTC,右手輸入。我們給予使用者10分鐘的時間,我們記錄輸入的字數、錯誤的字。

3.量測完的隔天開始訓練階段,連續五天,使用的文章依序為T1~T5,每天的訓練時間為60分鐘,如果受試者可以在60分鐘內輸入完一篇文章,試同當天訓練結束。受試者每天的輸入字數必須被記錄,可輸入完畢者則記錄時間。

4.結束五天訓練期之後,隔天我們進行最後的評估,請所有受試者再進行一次流程2。

分析內容:
單一介面的練習效果
        首先我們先看單一介面的練習效果,以A組為例,我們用A組訓練前與訓練後的字數作對照,使用的分析方式是相依樣本T檢定,觀察分析後的結果有無顯著,如果有顯著,代表這個訓練過程是有效的。如果分析後的結果,只有B組有效,代表我們要評估的介面是可經由訓練增加效率,如果只有A組有效,那練習效果就不能拿來當作產品宣導的內容,甚至要針對我們要評估的介面進行修正。

比較兩個介面的練習效果
        在前一個分析中,如果出現兩個介面都有效果,或是兩個介面都沒有效果,那我們可以進一步去直接比較兩個介面。我們分別將兩組練習前的字數減去練習後的字數,我們可以得到兩組練習之後增加的字數,我們再將兩組增加的字數進行T-test,如果結果呈現顯著,而且B-UI的字數比A-UI的字數多,恭喜你,這會是非常好的宣導數字,準備上市吧。如果沒有顯著或是A-UI比B-UI的字數多,就有修正B-UI的必要。

        修正的方向,我們可以從輸入錯誤的部份觀察,這部份就屬於質性的觀察,我們可以有兩個觀察重點,1)錯誤有沒有集中在同樣幾個字;2)每當錯誤發生時,點錯的位置,與正確位置的相對位置是否有一致性。如果訓練後資料顯示正確率與輸入的總字數成反比,這告訴我們大部份的使用者有可能是因為要思考(或用注意力尋找)正確的位置,所以輸入字數少而正確率會較高,所以訓練可能還不到最佳化,也就是說使用者的效率有再提高的可能;從另一個角度來看,使用者使用一個輸入介面,我們當然是要求必須快又正確,如果看不到這個效果,有可能是訓練不足或是這個介面本身就不容易因為訓練而提高效率,這兩個可能的結論必須再經過其他的評估分析。

        對於評估效果不張的情況下,我認為公司的態度應該要覺得「還好有評估」,輸入法介面並不能光靠外型好看取勝,所以評估效果不張代表公司有可能省了一筆冤枉錢,如果一個介面的效率與舊產品沒有差別,其實就沒有上市的必要。(除非公司本身需要一個屬於自己的輸入法。)

留言

熱門文章