完形心理學在版面設計的應用(下)
先再次奉上這篇paper。這一篇paper從第6頁開始用實例說明評估的過程，研究人員選擇了一個醫療相關的說明系統，並運用完形的理論改寫了其中三種功能，他們想比較舊設計與新設計的差異。
首先我們先來看受試者的部份。本研究一共招募了12位受試者，依文意來看，其中分成了曾經有使用過舊系統的受試者與從未使用過舊系統的使用者，所以具體備實驗組與控制組的實驗設計(但是未言明兩組各自的人數)。依有無使用過作為分組的方式，會是這個研究是否具參考價值的關鍵。
在研究工具的部份，研究人員使用了三份問卷，希望透過問卷來進行新舊系統的比較。第一個問卷是調查新系統頁面的品質，列出來的問題一共有五項：
1. 新系統有比舊系統好嗎？
2. 新系統有比較好學習嗎？
3. (新系統)有提供足夠的細節或導引，來讓您使用想執行的功能嗎？
4. (新系統)在移動上容易使用嗎？
5. 圖與文的關連夠清楚嗎？
以上的問題可以回答是、否、以及不能確定
第二個問卷是針對新的介面在視覺上，應用完形原則的程度，並使用1至5作為評比(Answer key: 5 = Very well, 4 = Well, 3 = Neither well nor poorly, 2 = Rather poorly and 1 = Very poorly)；第三個問卷是針對完形原則本身作的調查，詢問受試者這些完形原則是否受試者覺得介面更好使用，並使用1至5作為評比(Answer key: 5 = Very useful, 4 = Somewhat useful, 3 = Undecided, 2 = Minimal value and 1 = No benefit)。
依據作者調查的結果，在第一個問卷中，大部份的受試者都肯定新設計優於舊設計，而在第二個問卷調查中，作者表示每一個原則的評分，平均都在4分以上，所以新設計是充分應用完形的原則設計，而在第三個問卷調查中，作者也表示每一個原則所帶來使用上的便利，評分平均都在4分以上，所以運用完形原則的設計的確優化版面設計。
不過我個人對於這一份評估的結果有一些疑問。雖然在研究所生涯我並不是被認為是一個優秀的學生、統計方析能力並不突出、以及大學的心理學訓練並不扎實，但是在研究所生涯中，我學到從很基礎的地方去解讀一篇報告，也讓各位朋友做參考。
第一個疑問是實驗設計上的問題，這一篇paper很明顯的自變項是介面版本以及有無使用過舊版本的經驗，但是在問卷一結果討論的部份只剩下新舊版本的比較，我個人不清楚沒有使用過舊版本的人如何去比較兩個版本，如果在實驗設計方面是讓受試者都有機會使用新舊版本，那就要進一步去審視這部份如何進行，顯然在這一部份的描述是不足的，而這個部份反而是一個這篇paper是否具參考性質的重點所在。
第二個疑問是問卷的提問技巧，在問卷一中，所有題目的提問角度都是「拿新的跟舊的比」，而不是「新舊哪一個好」，這會有什麼影響呢？請有興趣的朋友另外看問卷提問角度與回應的差異一文，是我針對這個問題所做的調查。
第三個是針對次序變項的問題，在問卷二與問卷三的討論中，研究者將每一個評估項目的分數加總並取平均值，我個人認為並不是很適當，我會採取將每一題每一種評分的人數寫出來，例如原則一有多少人評1分，多少人評2分，等等的方式。在做評估時，尤其是在量測人的心理狀態，用問卷比較有被質疑的空間，因為每個人對於「優」或是「佳」標準不同，或許我心中的「佳」狀態，在別人心中已經到了「優」的狀態；另外，這類的評估都會使用5點量表或是7點量表，這類的量表都有一個需要被注意的地方是，3分減2分並不會等於4分減3分，因為這些12345都不是數字，而只是代表大小，1小於2、2小於3，是一種代表次序的代號而已，所以求其平均數其實並不是非常精確，我個人頂多把這個平均數用來作為受試者間的回答有無一致的參考(變異係數)，但並不適合拿平均數作為一個評估項目的優劣。尤其是問卷三中，"3"代表的是undecided，並無實際上的給分，頂多是無意見，這明顯不適合拿來加總後平均。
所以本篇論文的評估過程我個人是覺得有參考的空間，因為內文中也有提及一些受試者的訪談的看法，搭配問卷的方式是可以比較新介面是否有被改善。但是一些實驗技巧以及數據的解讀還是必須做一些調整，才能讓研究者得到正確的訊息。
題外話：
受限於能力與經歷之不足，這個blog一直沒有得到交流的機會，加上工作將有所轉變，所以從2011.11.1開始，本人決定不再野人獻曝，轉貼連結到FB上，支持本blog的朋友請加入追蹤者吧，往後本blog將低調分享心得。
首先我們先來看受試者的部份。本研究一共招募了12位受試者，依文意來看，其中分成了曾經有使用過舊系統的受試者與從未使用過舊系統的使用者，所以具體備實驗組與控制組的實驗設計(但是未言明兩組各自的人數)。依有無使用過作為分組的方式，會是這個研究是否具參考價值的關鍵。
在研究工具的部份，研究人員使用了三份問卷，希望透過問卷來進行新舊系統的比較。第一個問卷是調查新系統頁面的品質，列出來的問題一共有五項：
1. 新系統有比舊系統好嗎？
2. 新系統有比較好學習嗎？
3. (新系統)有提供足夠的細節或導引，來讓您使用想執行的功能嗎？
4. (新系統)在移動上容易使用嗎？
5. 圖與文的關連夠清楚嗎？
以上的問題可以回答是、否、以及不能確定
第二個問卷是針對新的介面在視覺上，應用完形原則的程度，並使用1至5作為評比(Answer key: 5 = Very well, 4 = Well, 3 = Neither well nor poorly, 2 = Rather poorly and 1 = Very poorly)；第三個問卷是針對完形原則本身作的調查，詢問受試者這些完形原則是否受試者覺得介面更好使用，並使用1至5作為評比(Answer key: 5 = Very useful, 4 = Somewhat useful, 3 = Undecided, 2 = Minimal value and 1 = No benefit)。
依據作者調查的結果，在第一個問卷中，大部份的受試者都肯定新設計優於舊設計，而在第二個問卷調查中，作者表示每一個原則的評分，平均都在4分以上，所以新設計是充分應用完形的原則設計，而在第三個問卷調查中，作者也表示每一個原則所帶來使用上的便利，評分平均都在4分以上，所以運用完形原則的設計的確優化版面設計。
不過我個人對於這一份評估的結果有一些疑問。雖然在研究所生涯我並不是被認為是一個優秀的學生、統計方析能力並不突出、以及大學的心理學訓練並不扎實，但是在研究所生涯中，我學到從很基礎的地方去解讀一篇報告，也讓各位朋友做參考。
第一個疑問是實驗設計上的問題，這一篇paper很明顯的自變項是介面版本以及有無使用過舊版本的經驗，但是在問卷一結果討論的部份只剩下新舊版本的比較，我個人不清楚沒有使用過舊版本的人如何去比較兩個版本，如果在實驗設計方面是讓受試者都有機會使用新舊版本，那就要進一步去審視這部份如何進行，顯然在這一部份的描述是不足的，而這個部份反而是一個這篇paper是否具參考性質的重點所在。
第二個疑問是問卷的提問技巧，在問卷一中，所有題目的提問角度都是「拿新的跟舊的比」，而不是「新舊哪一個好」，這會有什麼影響呢？請有興趣的朋友另外看問卷提問角度與回應的差異一文，是我針對這個問題所做的調查。
第三個是針對次序變項的問題，在問卷二與問卷三的討論中，研究者將每一個評估項目的分數加總並取平均值，我個人認為並不是很適當，我會採取將每一題每一種評分的人數寫出來，例如原則一有多少人評1分，多少人評2分，等等的方式。在做評估時，尤其是在量測人的心理狀態，用問卷比較有被質疑的空間，因為每個人對於「優」或是「佳」標準不同，或許我心中的「佳」狀態，在別人心中已經到了「優」的狀態；另外，這類的評估都會使用5點量表或是7點量表，這類的量表都有一個需要被注意的地方是，3分減2分並不會等於4分減3分，因為這些12345都不是數字，而只是代表大小，1小於2、2小於3，是一種代表次序的代號而已，所以求其平均數其實並不是非常精確，我個人頂多把這個平均數用來作為受試者間的回答有無一致的參考(變異係數)，但並不適合拿平均數作為一個評估項目的優劣。尤其是問卷三中，"3"代表的是undecided，並無實際上的給分，頂多是無意見，這明顯不適合拿來加總後平均。
所以本篇論文的評估過程我個人是覺得有參考的空間，因為內文中也有提及一些受試者的訪談的看法，搭配問卷的方式是可以比較新介面是否有被改善。但是一些實驗技巧以及數據的解讀還是必須做一些調整，才能讓研究者得到正確的訊息。
題外話：
受限於能力與經歷之不足，這個blog一直沒有得到交流的機會，加上工作將有所轉變，所以從2011.11.1開始，本人決定不再野人獻曝，轉貼連結到FB上，支持本blog的朋友請加入追蹤者吧，往後本blog將低調分享心得。
留言
張貼留言