中小企業を支えるAIチャットボット「Kotae」の再設計 – パート3:新しいインターフェースの検証

By
Omar Aujani
Tech
CSR
AI
Design
Miscellaneous

Kotaeリデザインシリーズへようこそ

Kotaeリデザインシリーズの第3回へようこそ。このシリーズでは、ユーザーの課題やニーズに真正面から向き合い、より使いやすく効果的なプロダクトを構築するためのプロセスを3回に分けて紹介しています。

パート1では、ユーザーリサーチを通じて、オンボーディングの複雑さやカスタムレスポンス作成時の操作の難しさなど、主要なユーザビリティ課題が明らかになったことをお伝えしました。パート2では、それらの課題に対して実施したデザイン改善、たとえば新しいダッシュボードの設計やガイド付きセットアップフロー、よりスムーズなタスク導線などを紹介しました。

そしてパート3では、私たちが導入した新しいデザインが本当に有効だったのかどうかを検証したプロセスをご紹介します。ベンチマークとなる旧バージョンと比較しながら、新しいKotaeのユーザー体験がどれほど改善されたかを評価しました。

検証の進め方

新しいデザインによってユーザー体験が実際に改善されたかどうかを確かめるため、社内メンバーを対象としたユーザビリティテスト(ユーザー体験テスト)を実施しました。テストでは、3つのペルソナをもとに、Kotaeの異なるタイプのユーザーをロールプレイしてもらい、初めての利用者としてインターフェースを直感的に操作できるか、割り当てられたタスクをスムーズに完了できるかを観察しました。参加者全員が実際のプロダクトに近いプロトタイプを使用し、統一されたテスト環境で操作してもらうことで、自然な行動を観察しながら再現性のある結果を得ることができました。

今回のテストでは、以前の調査でも特に課題が多かった2つのユーザーフローに焦点を当てました。まず、ランディングページからオンボーディングを経てセットアップを完了するまでの導線。次に、ダッシュボードからカスタムレスポンスを作成する操作です。この2つのフローは、ベンチマーク調査でも同様に評価していたため、デザイン改善の効果を測るには最適な対象でした。

参加者の操作ログやタスク完了状況、所要時間を記録し、最後にはSUS(System Usability Scale:システムユーザビリティスケール)スコア(ユーザー満足度スコア)を用いたユーザー満足度の測定も行いました。また、各ステップで自由記述のフィードバックも収集し、ユーザーがどこで迷ったか、どのように感じたかなど、定性的なインサイトも得ることができました。

ベンチマークとの比較

今回の検証では、初回のユーザビリティテストで用いた3つの指標を再度使用し、リデザインの影響を比較しました。具体的には、タスク完了率、タスク完了までの平均所要時間、そしてSUSスコアです。これにより、定量的な成果とユーザーの主観的な体験の両方を測ることができました。

タスク完了率は「目的の操作を完了できたかどうか」を示す基本的な指標です。所要時間は、操作の効率性を測るためのもので、特に旧バージョンと比較して短縮されたかを確認するのに有効です。そしてSUSスコアは、操作の直感性や分かりやすさ、満足度をユーザーの視点で評価する指標です。

また、ユーザーが自然に操作を進めた箇所、迷ったり戻ったりした場面、そして説明が必要だった箇所もすべて記録しました。これらの定性的な情報と数値データを組み合わせることで、リデザインの成果と今後の改善点の両方を浮き彫りにしました。

検証結果:ビフォー&アフター

新しいデザインでは、いずれの指標においても明確な改善が見られました。

Webflow CMS データテーブル

パフォーマンス指標

タスク1:オンボーディング

指標 v1 v2 変化
タスク完了率 87.5% (7/8) 83.3% (5/6) -4.2%
平均所要時間 17分36秒 7分30秒 135% 短縮

タスク2:カスタムレスポンスの作成

指標 v1 v2 変化
タスク完了率 86% (6/7) 100% (7/7) +14.0%
平均所要時間 11分17秒 5分37秒 101% 短縮

全体満足度(SUSスコア)

バージョン SUSスコア 変化
v1 56.9
v2 71.4 +14.5pt

数値に加えて、参加者からのフィードバックでもデザイン改善の効果が裏付けられました。全体的に、ダッシュボードの構造が分かりやすくなった、オンボーディングの流れが自然で迷いがなかった、との声が多く見られました。以前はつまずきが多かったカスタムレスポンスの作成も、「スムーズに進められた」「ガイドがしっかりしていて迷わなかった」といったポジティブな意見が寄せられました。

次に取り組む改善点

テスト結果から、全体的な方向性が正しいことが確認できました。操作フローは短縮され、満足度も向上し、ユーザーが途中で詰まる可能性も大幅に減少しました。一方で、いくつかの新たな改善ポイントも見つかっています。

  • システム状態の可視化
    一部のユーザーが「学習が完了したのかどうか」や「ページを離れても処理が続くのか」が分からないと感じていました。今後、より明確なステータス表示を追加予定です。

  • 用語の明確化
    特に日本語ユーザーの一部から、『Custom Response(カスタムレスポンス)』などの専門用語の意味が直感的でないとの声がありました。各言語において、UXライティング(ユーザー体験を向上させる文章設計)の改善を進めています。

  • 細かいUXの改善
    入力フィールドの初期値やボタンの反応性など、小さな違和感もユーザー体験に影響します。これらも順次見直しています。

今後に向けて

現在、新しいKotaeのUIは本番環境にて運用を開始しており、ユーザー行動のモニタリングを通じて今後の改善計画に活かしています。また、日々ユーザーとの対話も継続しており、実際の発言や気づきをプロダクト・デザイン・開発の各チームと共有しています。

今回のKotaeリデザインは、ユーザーリサーチを起点とした段階的な取り組みでした。初期の課題抽出からデザイン改善、そして今回紹介した検証フェーズまで、すべての意思決定はデータとユーザーの声に基づいて行われました。その結果として、単に見た目が良くなっただけでなく、実際のユーザー行動に合った「使いやすい」プロダクトへと進化しました。

このプロセスから私たちが改めて実感したのは、「ユーザーの立場になって考える」だけでは限界があるということです。どんなに経験豊富なチームであっても、思い込みやバイアスは避けられません。だからこそ、ユーザーの行動を観察し、実際のフィードバックを聞くためのリサーチが不可欠なのです。

リサーチドリブンなプロダクトデザインは、課題を明らかにするだけではありません。チームの意思統一を促し、改善の優先順位を明確にし、プロダクトの完成度をより高めるための指針にもなります。結果として、「見た目が良い」だけでなく、「誰にとっても使いやすい」プロダクトを実現できます。

Tokyo Techiesでは、すべてのデザインプロジェクトにおいて、ユーザーリサーチとユーザビリティテストを標準プロセスに組み込んでいます。新しいプロダクトの立ち上げでも、既存UIの改善でも、私たちはユーザーの本当のニーズを明らかにし、根拠あるデザインを提案します。

Kotaeリデザインシリーズをご覧いただき、ありがとうございました。今後もデザインの事例紹介を随時更新予定ですので、ぜひチェックしてください。

デジタル業務効率化
今こそ始めませんか?

御社に最適化したカスタムソリューションで、業務自動化を次のステージへと加速させます。

CONTACT

お問い合せ

お気軽にお問い合わせフォームからご連絡ください。