inSmartBank

B/43を運営する株式会社スマートバンクのメンバーによるブログです

リサーチとAI 良い関係性の築き方

こんにちは!SmartBankでUXリサーチャーをしているHarokaです。

今回は、リサーチ業務に生成AIを取り入れる方法をテーマに、Notion Labs Japan 合同会社 ソリューションエンジニアの早川和輝 (@kzkhykw1991)さんとの対談をお届けします。

blog.smartbank.co.jp

きっかけは2024年2月に実施したイベントで、その中でNotion AIのご紹介がありました。 データベースにAI機能を埋め込み、一気にタグ付けする様子などを目の当たりにして、これはすごいぞ!と率直に感動しました。

それと同時に、実は私が今行っている作業、AIに任せた方がいいものもあるんじゃないかな?と感じました。

Notionでユーザーリサーチを変える ~スマートバンク社のユーザーリサーチ文化の作り方~ - YouTube

ここ数年、生成AIが一般にも浸透してきており、リサーチ活動においてもAI活用をする事例紹介をよく見かけるようになりました。

これまで、例えばChatGPTを使って言葉の定義を調べる、デスクリサーチに活用する、文章を推敲してもらうといった使い方の経験はあったものの、リサーチの実務現場においてどのように活用できるものなのか、私は検討がついていませんでした。

私自身、実際にAIを使って業務に取り組んだことがこれまでなかったため、AIに対して食わず嫌いといいますか、実務で活用できるシーンってあるの?とやや斜に構えたような捉え方をしているのではないか…と早川さんのお話をお聞きしてハッとさせられました。

AIについての実例をほとんど知らないからこそ、何ができて、どういった付き合い方をしたらいいのかわからないんだろうな、と思ったので、この機会にぜひAIとの付き合い方を考えてみようと思います。

早川さんご自身が、Notion社での業務や、所属するPM DAOでのリサーチにおいて、AIを活用していると聞いたので、実際にどんな風に使っているのか聞いてみました!

ありがたいことに、オフィスにお招きいただき、実際の画面を見せながら説明してもらえたので、その様子をみなさまにもお届けいたします!

リサーチ活動におけるAIの活用シーン

ーー 普段の業務、特にリサーチ活動において、AIを活用しているシーンについて詳しく教えてください!

リサーチ活動において、といった意味ですと、自分が運営しているPM DAOのプロダクト開発ですね。PM DAOは、プロダクトマネージャー、デザイナー、エンジニアなどの経験を持つメンバーが実際のプロダクトづくりに自由に参加できる実践的な環境を提供していて、ちょうど、Value Discoveryという生成AIを使ったプロダクト開発のアイディエーションサポートツールを作っています。

valuediscovery.pmdao.org

ここでは、実際に使ってくれているユーザーに対してインタビューをしているのですが、フォーマットを元にインタビュー対象者の情報管理をしています。インタビューデータに紐付けて、「誰に」「どんなことを聞いているか」といった情報がひと目でわかるように工夫しています。

このテンプレートは無料でお使いいただけます。

www.notion.so

2021年にテレサ・トレスによって書かれた『Continuous Discovery Habits』のフレームワークに則って「終わりなきプロダクトディスカバリー」という形で整理しており、それに適したフォーマットをNotionで再現しています。本の中では、毎週必ず1回インタビューをすること、それをプロダクトトリオ(PM、デザイナー、エンジニア)で振り返り、今回のインタビューはどうだった?と膝を突き合わせて会話するサイクルを回すことが推奨されています。

私たちも、毎週インタビューを実施するようにしていて、初期はコンセプトテストをしていましたね。(データベースを振り返りながら)ああ、この時は20名くらいにインタビューしていますね。特定のリサーチテーマで聞いていることもありますが、前提としては毎週実施することをベースに進行しています。

ここからがAIを活用しているシーンなんですが、発話録を要約したカラムが入っています。

これは、AIに要約させているんですね。中身を開かなくても、どういう話をしていたかがわかるようにしています。インタビュー全体の要約を第三者視点で入れてもらっているような感覚です。誰がどんな内容を話していたか、結果どうなったかが2行でわかるようにしています。インタビューが終わった時って、結構疲れていると思うんです。その時に、AIにこれまで聞いてきた内容のサマリをすぐ出してもらうことで、自分の工数が削減され、その後の議論に集中できるように思います。

普段、発話録は書記ができるだけ発言に近い形で書き起こしてくれています。インタビューが終わったら、AIに手伝ってもらって、スナップショットを生成するようなイメージですね。

ーーなるほど!AIに発話録のサマリを書かせているんですね。少し気になったのですが、サマリの内容に違和感があったり、自分で書く方がいいな、と思うことはありますか?

Discordでの共有の様子。インタビュー実施者(Toru_Hasegawa)のメモをもとに、スナップショットをNotion AIで生成し、すぐに共有。参加していないメンバーからも人目で内容が掴める。

どういう使いどころで、何を期待するかによりますよね。私的には、「バイアスのかかっていない第三者視点」でまとめてくれていることがありがたいなと思っています。というのも、私はAIのサマリを見て、インタビューの時の様子を思い出すことに使っているんですね。あの人、こんな話していたな、とか、こんな表情で話していたな、とか。事実だけを述べてくれているので、かえって思い出しやすいんです。

プロンプト日本語訳:あなたは、経験豊富なユーザー エクスペリエンスリサーチャーおよびプロダクトマネージャーです。 このインタビュー結果から、Generative AIを活用した仮説検証支援ソフトウェア「Value Discovery」でユーザーがやりたいジョブを3つ特定し、日本語で出力します。 出力形式は、特定された達成すべきジョブを日本語で言及するだけで、他の洞察、指示、思考プロセスはありません。

例えば、このカラムだと、発話録からジョブを生成しています。機能要望について言及されていたポイントを抽出してもらっているんですね。これは、プロンプトにはこう書いてあるんですよ。「あなたは優秀なPMです、ジョブ理論に基づいてジョブを出してください」と。

ただしこれって、精度を求めているわけではないんです。

自分の代わりに考えて欲しいとは思っていなくて、あくまで発話録ベースで整理して、こんなことが考えられるよね、っていう一つの視点を提供してくれていると思っています。これが、プロダクトトリオの最初の議論のきっかけとして役に立っています。

インタビュースナップショット

Notion AIが項目ごとに自動で埋めてくれる

インタビュースナップショットの目的は「インタビューの内容を想起する」ことなんですよね。人間が想起するフックを簡単に作れるのが良いところだと思っていて、話された事実をAIが抽出して見せてくれていると思います。

自分でまとめようとすると、時間がかかります。まとめる工程を経てからプロダクトトリオとの議論に移るのですが、まとめ工程でAIを利用すると初速が違うと思います。 議論の時間を充分に取れるし、インタビューに同席していなかったメンバーもある程度キャッチアップできる内容で事実が整理されている状態が工数をかけずに作り出せる良さがあります。

工数をかけずに、という点ですとデータベースでもAIの力が発揮されるように思います。特に、情報のグルーピングにおいてです。

AIタグを使ってグルーピングをすると、どういった話が成されていたかを勝手にタグ付けしてくれて、フィルタをかけるとその内容だけを確認することができます。

たとえば、顧客フィードバックを貯めているデータベースに対して、感情分析のプロンプトを設定しておいて、ポジティブなものと、ネガティブなもので分類したり、その感情の理由や対象の機能名をAIにタグ付けをしてカテゴリー分けすることもできます。

ーー私もアンケート結果の分析をする際、自由回答のグルーピングに時間がかかることが多いのですが、これだとタグが生成されるからテーマごとに定量的に把握することができるんですね!

そうなんです。タグについて、自分で作ったタグに振り分けることもできますよ。自由に生成される良さはあるものの、全部AIに任せるというより一手間加えてあげるほうが精度が上がりますね。ちなみに、ポジティブ、ネガティブといった感情でもグルーピングすることが可能です。

従来の検索機能ですと、直接テキストで書かれていないとデータを引っ張って来れなかったと思うのですが、先ほど申し上げた「ユーザーからのポジティブなフィードバックがあったインタビューを探してきて」といったふうに、話されている内容から推論して該当するものを持ってくることもできたりします。

インタビュー結果の分析の際に、まずはNotion AI Q&Aを使って、大まかに書き出してもらう

発話録が多くなってくると、適切な情報を探すのが難しいですよね。その際、スマートバンクだとHarokaさんにSlackで聞いてリファレンスしてもらっていると思うんですが、Notion AIがその役割を代わりに担ってくれます。「調べたけど出て来なかった」という体験にならないよう、ドキュメントにはないワードでも、該当するものを出してきてくれるんです。

ーーなるほど!一部の業務をお願いして、自分の業務を進めやすくするところがNotion AIの使いどころなんですね。早川さんがNotion AIで日々助かっているところを改めて教えてください!

Q&Aによる検索機能とプロンプトを埋め込んだテンプレートには助けられていますね。検索では、「不満」っていう言葉がなくても不満のような意図を持つ言葉があれば引っかかるので、整備する側が全てをきちんと整備しなくても良い状況になっているのがありがたいなと思います。

インタビュースナップショットは、チームのコミュニケーションを円滑にしてくれます。メンバーに伝えるのがすごく楽になるし、ディスカッションに時間を割けることが良いと思います。スナップショットを前提に共通認識が取りやすく「あの人はこんなこと言っていたよね、もう一回動画を見に行こうか」「機能について聞いた時、こんな表情で話していたよね」といったような、ユーザーに向き合ったディスカッションができるように感じています。

AIは、リサーチの仕事を代替するものではないと思いますが、リサーチャーの負荷を軽くしたり、チームメンバーとリサーチについて話す際の土壌を作りやすくするなど、チームを強くする仕組みに一役買っていると思います。

ーー早川さん、今日はありがとうございました!

今回、実際にNotion AIを動かしていただき、具体的な使い方を伺ったことで、自分のリサーチ活動で最も大事にしているところは何か、という問いを考えるきっかけが生まれたように思います。

自分が関わることでよりリサーチの質が上がったり、チームのユーザー理解が深まったりする働きかけの中心となる行為、その周辺にあったり、下準備をするような行為などいくつか複合的な要素が重なり合って日々の業務ができている気がします。

AIをチームの一員という目線で見た時、何を任せると一番力を発揮してくれそうか、実践されている方がいたら情報交換したいなと思っています。引き続き学んでいきたいと思います!

www.notion.so

www.youtube.com

スマートバンクでは、一緒に働いてくださる方を募集しています。ユーザー理解を一緒に進めたいとお感じの方は、ぜひお気軽にご応募いただければ幸いです!

smartbank.co.jp

We create the new normal of easy budgeting, easy banking, and easy living.
In this blog, engineers, product managers, designers, business development, legal, CS, and other members will share their insights.