ランキング評価方法

ウェブサイトユーザビリティランキングの目的

会社設立当初(2002年)から一貫してウェブサイトに特化したユーザビリティ評価サービスを展開していますが、ご依頼いただける企業はある程度固定化しつつあり、ユーザビリティを重要視する・しない企業の差が広がっているように思われます。また国内の市場全体としても欧米に比べまだまだ認識が薄いように思われます。

ユーザビリティ評価の重要性を啓蒙する活動の一つとして、ユーザビリティ評価結果をわかりやすいランキング形式で公開する事で、いままでユーザビリティに対する関心が薄かった企業でもユーザビリティの必要性を興味を持って感じていただける事と思われます。また単なるランキング結果だけでなく評価結果の詳細まで掲載する事で、ユーザーが使いやすい、使いにくいと思う、あるいは満足、不満を感じるポイントをケーススタディとしてご理解いただくことができます。

もちろんユーザビリティを向上させることは、直接的・間接的に売り上げや成約率の向上につながります。継続的にサイトを改善して、利便性を高めていく活動は、ユーザーにとっても、運営する企業にとっても、また、制作、開発する会社にとっても、よりよい良い関係性の構築と好循環をもたらすと考えます。

最終的には、急速かつ複雑に変化していくネット環境において、ユーザビリティに優れたウェブサイトが普及していくことで、デジタルデバイド(ネットを使いこなせる人と 使いこなせない人との間に生じる、待遇や貧富、機会の格差)を減らしていく事を目標としています。

ランキング作成のためのユーザビリティ評価

競合するサイトのユーザビリティを数値化して評価・比較する事に適した、スコア型評価プランをもとにランキングを作成しました。

スコア型評価では、アンケート結果やリモートユーザテスト結果をもとに、”使いやすさ” と ”コンテンツ” に関する項目を数値化して判定します。スピーディかつ低価格で評価できるため、サイトの現状把握はもちろん、広告や制作の提案資料(マーケティングツール)としても活用されています。

評価対象サイトのノミネート方式

数多くある評価対象候補サイトの中から公平にノミネートする為の方式として、弊社のモニター1000名程度に対して、普段利用するサイト名やその満足度等を回答(複数回答)していただき、その結果から評価対象サイトを決定しています。

そのため、公開して間もない等の理由によりユーザーにあまり認知されていないサイトはランキングにノミネートされません。またノミネートされるサイト数も、回答状況により決定されます。

ユーザビリティランキング評価方法

ユーザビリティの評価結果は、 「ユーザーの属性(性別・年代、リテラシー等) × サイトを利用する目的 × 使用する機器(パソコンやスマートフォン、機種・環境等)」 によって変動するという理由から、アナリストの主観的な意見を極力排除しています。

すなわち、チェックリストをもとにアナリストが採点するような方法は採用せず、ユーザーのサイト利用状況や満足度のアンケート結果のみをスコアリングして評価する客観的な方法を行っています。また当社でウェブサイトの制作を一切行わない事で、ランキング結果をもとに、改善制作を要求するような営業をしない中立性を高めています。

ユーザビリティランキング評価システム

ノミネートされた数多くのサイトに対して、アンケートやユーザーテストを実施し、スコアリングする為に、自社開発のウェブサイトユーザビリティ評価システム eMonitor(eMonitor WebSite User Test System)を使用しています。

当評価システムを使用する事で、サイト利用時の詳細なログデータ(閲覧画面、時間、クリック箇所、操作内容、感情の変化等々)ユーザビリティ評価に必要な項目をもれなく効的率に取得可能となります。

評価するモニター

ユーザーテストに参加するeモニター会員一人一人のプロファイル(興味・関心、パソコンやスマートフォンの熟練度や操作の癖、また評価の厳しさ等)を事前に把握している為、ノミネートされた各サイトに対して同じような条件でのユーザテストグループが構成されるよう設定するとともに、最低でも20名以上のモニター参加を条件とすることで、いつでも同じ評価結果が出るようにランキング精度を高めています。

評価を分析するアナリスト

評価分析を行うアナリストは、膨大なログデータを客観的に分析し、自身の主観的な考えを極力排除しています。人間中心設計(HCD)専門家の認定を受けたものが担当しております。

当社は人間中心設計推進機構、User Experience Professionals Association (UXPA)の正会員として参加しております。

使いやすさに関する評価項目の説明

  • 評価項目 : 完了性(正しく目的を達成できたか)
評価対象項目 分析数値項目
回答正解率 正しく回答できたモニターの率
回答ページ到達率 回答が記載されたページに到達したモニターの率
回答自信率 正しく回答できたと思うモニターの率

各評価対象項目の傾向を確認したり、各分析数値項目を各基準値(サービス内容・規模により異なる)と比較したりした結果をもとに五段階評価し、さらにそれらを平均化した数値が完了性の得点となる。

  • 評価項目 : 効率性(効率よく目的を達成できたか)
評価対象項目 分析数値項目
回答時間数 回答するまでの時間数
閲覧画面数 回答するまでに閲覧したページ数
閲覧範囲数 回答するまでに閲覧したページ範囲

各評価対象項目の傾向を確認したり、各分析数値項目を各基準値(サービス内容・規模により異なる)と比較したりした結果をもとに五段階評価し、さらにそれらを平均化した数値が効率性の得点となる。

  • 評価項目 : 有効性(迷いなく目的を達成できたか)
評価対象項目 分析数値項目
閲覧画面種類数 回答するまでに閲覧したページ種類数
最大閲覧ページ時間 最大の閲覧ページ時間
閲覧エラー画面数 タスクと関係のない範囲の画面を閲覧した数

各評価対象項目の傾向を確認したり、各分析数値項目を各基準値(サービス内容・規模により異なる)と比較したりした結果をもとに五段階評価し、さらにそれらを平均化した数値が有効性の得点となる。

  • 評価項目 : 操作性(操作を疲れずに、間違いなくできたか)
評価対象項目 分析数値項目
マウス / 指 移動距離 回答するまでに、マウス/指を動かしたした距離
クリック / タップ 回数 回答するまでに、クリック / タップした回数
操作エラー 回数 間違えてクリック / タップ / (入力)した回数

各評価対象項目の傾向を確認したり、各分析数値項目を各基準値(サービス内容・規模により異なる)と比較したりした結果をもとに五段階評価し、さらにそれらを平均化した数値が操作性の得点となる。

  • 評価項目 : 快適性(心地よく目的を達成できたか)
評価対象項目 分析数値項目
いいね回数 回答するまでに、いいねと感じた回数
ストレス回数 回答するまでに、ストレスを感じた回数
レスポンス低下回数 画面の表示やシステムの反応が遅いと感じた回数

各評価対象項目の傾向を確認したり、各分析数値項目を各基準値(サービス内容・規模により異なる)と比較したりした結果をもとに五段階評価し、さらにそれらを平均化した数値が快適性の得点となる。

コンテンツに関する評価項目の説明

  • 評価項目 : サービス満足度(サービスの魅力・優位性)
評価対象項目 設問項目・アンケート内容例
サイトの魅力度合い 当サイトは、魅力的であると思いましたか
サイトの便利度合い 当サイトは、便利であると思いましたか
サイトの有益度合い 当サイトは、有益であると思いましたか
サイトの再訪問性 当サイトを、また訪問したいと思いましたか
サイトの特徴把握性 当サイトの、特徴はすぐにわかったと思いましたか
サイトの概要把握性 当サイトの、規模はすぐに把握でたと思いましたか
サイトの記憶性 当サイトの、内容は記憶に残ったと思いましたか
サイトのソーシャル性 当サイトを、誰かに教えたいと思いましたか
サイトの最新情報入手性 当サイトの最新情報を、随時入手したいと思いましたか
サイトの競合優位性 当サイトは、他の似たサイトよりも優れていると思いましたか

各評価対象項目に対するアンケートやインタビュー回答結果をもとに五段階評価し、さらにそれらを平均化した数値がサービス満足度の得点となる。

  • 評価項目 : デザイン満足度(画像品質・レイアウト)
評価対象項目 設問項目・アンケート内容例
デザインの魅力度合い 当サイトのデザインは、魅力的に思いましたか
デザインの品質 当サイトのデザイン品質は、高いと思いましたか
デザインのふさわしさ 当サイトのデザインは、サイト内容にふさわしいと思いましたか
画像・イラスト品質 デザインや色のトーンやテイストは一貫していましたか
デザインの一貫性 当サイトの写真やイラストは綺麗で見やすいと思いましたか
レイアウトの一貫性 画面のレイアウトは一貫していて、わかりやすいと思いましたか
ナビゲーションデザイン リンクやボタンを押すのに十分な大きさがありましたか
現在位置の把握性 サイト内のどこにいるのかわかりやすいと思いましたか
リンク箇所の認識性 リンクしている文字や画像は、わかりやすかったですか
トップページ認識性 目的のページはトップページの中から見つけやすかったですか

各評価対象項目に対するアンケートやインタビュー回答結果をもとに五段階評価し、さらにそれらを平均化した数値がサービス満足度の得点となる。

  • 評価項目 : 掲載情報満足度(掲載情報・文章や用語)
評価対象項目 設問項目・アンケート内容例
掲載文章の魅力度合い 掲載している文章は魅力的に思いましたか
掲載文章のわかりやすさ 掲載している文章はわかりやすいと思いましたか
掲載文章の読みやすさ 掲載している情報量は、適切だと思いましたか
掲載情報量の適切さ 文字の大きさ・配色は見やすく適切だと思いましたか
掲載文字の見やすさ 当サイトの写真やイラストは綺麗で見やすいと思いましたか
ページの見出し、タイトル わかりやいページタイトルがあると思いましたか
プレゼンテーション性 表やグラフ等で、わかりやすく説明していると思いましたか
ナビゲーション名称 メニューやボタンの名称は、わかりやすいと思いましたか
難しい用語のなさ 難しい用語や漢字はないと思いましたか
誤字脱字のなさ 誤字脱字や不要な句読点等はないと思いましたか

各評価対象項目に対するアンケートやインタビュー回答結果をもとに五段階評価し、さらにそれらを平均化した数値が掲載情報満足度の得点となる。

  • 評価項目 : 信頼性満足度(安心感・認知性)
評価対象項目 設問項目・アンケート内容例
サイトの安心感 安心してサイトを利用ができると思いましたか
サイトの信頼性 安心して個人情報の登録・購入できると思いましたか
サイトプロモーション サイトに関して以前から認知していましたか
サイトアイデンティティ サイトの運営者情報(会社概要)は、すぐに認識できましたか
企業プロモーション 運営企業に対して以前から認知していましたか
企業ブランド 運営企業に対して、肯定的な良いイメージがありますか
サービスの信頼性 過度、疑わしい表現でサービスを紹介していないと思いましたか
サイトの更新性 常に更新されて、活気があるように思いましたか
顧客対応窓口 問い合わせ受付方法は、すぐに認識できましたか
外部認証マーク 外部認証マーク等で信頼性を高めているように思いましたか

各評価対象項目に対するアンケートやインタビュー回答結果をもとに五段階評価し、さらにそれらを平均化した数値が信頼性満足度の得点となる。

  • 評価項目 : 入力フォーム満足度(入力しやすさ・制御内容)
評価対象項目 設問項目・アンケート内容例
操作簡易性 既にある知識で操作する事が出来ましたか
操作再実行性 操作を間違えた場合に直ぐにやり直しがで来ましたか?
完了地点認識 完了までの流れが最初に認識できましたか?
インタラクションスピード 検索や決済処理は遅いと思いませんでしたか?
システム稼働状況 システムの稼働状況は適切に表示されてましたか?
入力項目数 サービスに対して、入力項目数は適切だと思いましたか?
入力時の説明 入力項目に対する説明はわかりやすいと思いましたか?
入力時の疲労感 フォームに入力して疲れませんでしたか?
入力内容間違い フォームに入力して間違えた箇所はなかったですか?
入力エラーチェック 入力項目のエラーチェックは適切だと思いましたか?


各評価対象項目に対するアンケートやインタビュー回答結果をもとに五段階評価し、さらにそれらを平均化した数値が入力フォーム満足度の得点となる。

アンケートリサーチの評価及び基準値

アンケートの回答項目は、以下のような5段階評価となっています。
(5:非常にそう思う ←4:そう思う←3:まあまあ思う→2:思わない→1:まったく思わない)

判定を行う為の基準値は、評価対象サイトの内容・規模に応じて、最大「 +1.0 ~ -1.0 」まで補正されます。

リモート型ユーザーテストの評価及び基準値

システムで取得した、eモニター会員やマスターモニターのログデータを、もとに各評価項目それぞれに適した分析を個別に行います。判定を行う為の基準値は、過去に評価した業界・サイト特性別の評価結果データベース及び、マスターモニターや各eモニター間との比較結果となります。判定方法は以下のような内容が考慮されます。

  1. タスクを間違いなく回答している
  2. タスクを回答する為の平均タイムが速い
  3. 画面閲覧時の平均時間が適正範囲に収まる
  4. スクを回答する為の平均画面数が少ない
  5. 利用した画面遷移に傾向が見られる
  6. タスクを達成する為のデバイス使用量が適正
  7. マウスのホイール上下使用が適正
  8. 左クリック(リンク)による押し間違いが少ない 等

※   評価依頼内容により、判定方法は最適な内容に変更されます。

※   グラフや散布図から読み取る傾向値も、5段階評価となっています。

 データの取得範囲

eMonitorシステムにログイン中のみ、以下のようなログデータがリモートで自動的に取得されます。

  1. タスク回答内容・時間
  2. 閲覧した画面の種類と時間
  3. 閲覧した画面範囲
  4. 閲覧した画面の遷移
  5. マウス/指の移動距離
  6. スクロール使用量
  7. キー入力カウント
  8. クリック/タップ数および位置(座標・スクリーンショット)
  9. アンケート回答内容
  10. ストレス、いいね回数
  11. キャプチャー動画
  12. リモートアイトラッキングデータ 等
その他 補足事項

評価に使用するコンピューティング環境例
名称 説明
 プロセッサー  Core™ i5
 メモリ  4GB
 OS  Windows 7 32bit
 ディスプレイ装置(ブラウザサイズ)  1024×800 フルカラー(32bit)相当
 オーディオ装置・ボリューム  オンボード音源 ボリューム中
 入力装置  標準的な日本語キーボード・ホイール付きマウス
 通信速度  5M Mbps 程度
 ブラウザ  インターネットエクスプローラー 8.0
 プラグイン  Flash , Acrobat , Java
セキュリティ設定 標準設定
IPアドレス 非公開

※ 記載されている会社名、製品名等の固有名詞は、各社の登録商標または商標です。

評価結果に影響するかもしれない事情
・ HTML診断・プログラムのデバッグといった技術的な評価は行っておりません。

・ 専門的な評価手法・装置が必要なアクセシビリティに関する評価は行っておりません。