20100924 - Somervell, ..Heurics Evaluation Methods for LSIE...

Developing heuristic evaluation methods for large screen information exhibits based on critical parameters by Somervell, Jacob, Ph.D., Virginia Polytechnic Institute and State University, 2004 , 235 pages; AAT 3136384 My Interest: 1) Set of heuristics for LSIE. 2) Process of creating the set of heuristics. 3) Method of testing/validating the set of heuristics. 4) Heuristic evaluation methods. Action: To read the Dissertation in detail in future; this may be a benchmark for my research. Motivation Evaluation is the key to effective interface design. It becomes even more important when the interfaces are for cutting edge technology, in application areas that are new and with little prior design knowledge. Knowing how to evaluate new interfaces can decrease development effort and increase the returns on resources spent on formative evaluation. Problem The problem is that there are few, if any, readily available evaluation tools for these new interfaces. Research Goal This work focuses on the creation and testing of a new set of heuristics that are tailored to the large screen information exhibit (LSIE) system class. Set of Heuristics This new set is created through a structured process that relies upon critical parameters associated with the notification systems design space. By inspecting example systems, performing claims analysis, categorizing claims, extracting design knowledge, and finally synthesizing heuristics; we have created a usable set of heuristics that is better equipped for supporting formative evaluation. Contribution of Knowledge Contributions of this work include: a structured heuristic creation process based on critical parameters, a new set of heuristics tailored to the LSIE system class, reusable design knowledge in the form of claims and high level design issues, and a new usability evaluation method comparison test. These contributions result from the creation of the heuristics and two studies that illustrate the usability and utility of the new heuristics. 2.2 Evaluation of Large Screen Information Exhibits . . . . . . . . . . . . . . . . . . 16 2.2.1 Analytical Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.2.2 Heuristic Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.2.3 Comparing UEMs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.2.4 Comparing Heuristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3 Background and Motivation 23 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.2 Assessing Evaluation Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.3 Motivation from Prior Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.4 Experiment Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.4.1 System Descriptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.4.2 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.5.1 Drawbacks to Surveys . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.5.2 Strength of Claims Analysis . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 4 Heuristic Creation 32 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.2 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.3 Processes Involved . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.4 Selecting Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 4.4.1 Are these LSIEs? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 4.4.2 Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.5 Analyzing Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.5.1 Claims Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.5.2 System Claims . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.5.3 Validating Claims . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.6 Categorizing Claims . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.6.1 Classifying Claims Using the IRC Framework . . . . . . . . . . . . . . . . 43 4.6.2 Assessing Goal Impact . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 4.6.3 Categorization Through Scenario Based Design . . . . . . . . . . . . . . . 45 4.7 Synthesis Into Heuristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.7.1 Visualizing the Problem Tree . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.7.2 Identifying Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 4.7.3 Issues to Heuristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.7.4 Heuristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 4.8 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 5 Heuristic Comparison Experiment 58 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 5.2 Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 5.2.1 Heuristic Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.2.2 Comparison Technique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 5.2.3 Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 5.2.4 Hypotheses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 5.2.5 Identifying Problem Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 5.3 Testing Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 5.3.1 Participants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 5.3.2 Materials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 5.3.3 Questionnaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 5.3.4 Measurements Recorded . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 5.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 5.4.1 Participant Experience . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 5.4.2 Applicability Scores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 5.4.3 Thoroughness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 5.4.4 Validity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 5.4.5 Effectiveness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 5.4.6 Reliability – Differences . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 5.4.7 Reliability – Agreement . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 5.4.8 Time Spent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 5.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 5.5.1 Hypotheses Revisited . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 5.5.2 Other Discussion and Implications . . . . . . . . . . . . . . . . . . . . . . 86 5.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 6 Heuristic Application 88 6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 6.2 Novice HCI Students . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 6.2.1 Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 6.2.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 6.2.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 6.2.4 Post-Analysis of Problems . . . . . . . . . . . . . . . . . . . . . . . . . . 92 6.2.5 Evaluator Ability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 6.3 Education Domain Experts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 6.3.1 Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 6.3.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 6.3.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 6.3.4 Post-Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 6.3.5 GAWK Re-Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 6.4 HCI Expert Opinions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 6.4.1 Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 6.4.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 6.4.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 6.5 Overall Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 6.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 Comments: I hope to read and understand how he did it. May be a benchmark for me.