こんにちは。スマートバンクでプロダクトマネージャーをやっているinagakiです。
この記事はSmartBank Advent Calendar 2024の9日目の記事です。 昨日はnakamuuuさんの「iOS / Androidアプリの複雑な画面遷移フローを実現するステート駆動な設計手法」という記事でした。
今回の記事では、先日リリースしたLLMを活用した「AIレシート読み取り機能」について書いてみます。
「あれ、レシート読み取り機能って他の家計簿で当たり前にあるよね？」「何を今さら…」という声もありそうな機能ですが、実は、LLMを活用することで従来のものと比べて2.5倍の性能を実現し、体験レベルで大きな変化を生み出すことができました。
今振り返ってみると、LLMを活用する最初の事例として、「レシートを撮影して楽に支出の記録ができる」というありふれた、既に価値が確かな領域を選んだことが肝だったのではないかと感じています。
かっこよく言えば、横井軍平氏の『枯れた技術の水平思考』を模して、「枯れた価値のLLM思考」的な事例として、なぜLLMを活用してこんなに地味な機能をつくったのか、toCプロダクトで生成AIをどう活用するとよさそうか、学んだことを紹介したいと思います。
B/43はAIで家計管理を変えていく
『B/43』は2021年のリリース以降、プリペイドカードで支払うことで自動で支出記録がつけられる「家計簿プリカ」として提供されてきました。
このカードを1人用のものだけでなく、カップル/夫婦などの2人用の「ペアカード」や親子用の「ジュニアカード」としても提供していて、機能特性を活かし、2人のお金の流れを見える化するという価値提供をしてきました。
今後、より多くの方へより多くの価値を提供していくにあたり、注力ポイントのひとつとして家計管理機能の強化を行なっていきます。
家計管理というと、これまでも家計簿/家計簿アプリという手段が存在してきました。一方で、家計全体を管理するための労力や膨大な数字から自分の状況を紐解く難しさなど、普段の生活をしながら家計を管理するための手段としてはまだまだ伸び代があります。
スマートバンクでは、こういった課題に対してLLMを含むAIを活用し、新しい家計管理のあたりまえを実現していこうと考えています。
まずを1歩目をどうするか、アイデアが膨らまない…
2024年からLLMの技術調査を本格化させ、AIを活用したプロダクトの開発をするチームも組成し、まずは小さく取り組んでいくことになりました。
一方で、チームとしてLLMに対する解像度が高いわけでははく、それを活かしたプロダクト開発の活かしどころに対する手触り感もありませんでした。
また、恥ずかしながら、「とりあえずLLMでなんかやろう！」「AI！AI！」といったノリであったのも事実で、結果的にそのノリがあったから一歩を無邪気に踏み出せたものの、技術ドリブンすぎるプロダクトづくりになる危険性がありました。
そんなこともあり、初期段階で出てくるアイデアも"LLMっぽいもの”ばかりで、PMとしては「これはユーザーにとって本当に価値があるのだろうか？」と悶々とする日々でした。
“自由研究”で、アイデアの幅を広げる
技術的にどこまで・何ができるのかがわからない中、先行事例もあまりなかったため、手触り感を掴むために「自由研究」という取り組みをしてみることにしました。
自由研究とは、業務の20%程度を割いて自分のアイデアを形づくり、発表会に持ち寄って共有するという社内アイデアソンのことです。
ちょうどチームの開発状況が落ち着いていたこともあり、所属するエンジニア全員が1人1案、2週間かけて自分の思うアイデアを考え、持ち寄ることにしました。
自由研究をするにあたって、いくつか要件を明確にしました。
- LLMを活用したアイデアであること
- とにかく動くものを持ち寄ること
- 家計管理領域で、自分個人が欲しい/やってみたいと思うもの
特に2点目が重要で、動くものをつくる過程で、何が・どのレベルで可能なのかの手触り感を掴むことができ、技術的不確実性の度合いを理解することができます。
ちなみに、意図せずではありますが、動くものをアウトプットするためにチーム内でLLMに関する知見共有が行われたため、その後の開発時に前提が擦り合い、爆速で進められたという利点もありました。
成果発表会をしてみると、今後実施していきたい案が多数でてきました（今後やりたいので具体は秘密です。ごめんなさい）。
そして、その中で出てきたのアイデアの一つがLLMを活用したレシート読み取り機能の案です。
この案を出してきたのはアプリエンジニアの rocknameさんなのですが、当初アイデアだけを聞く限りでは、そこまで目立つものではありませんでした。
正直、「レシート読み取り機能って既にあるから、そんなに意味あるかな…」と個人的に思っていました。
しかし、実際にデモを見てみると、驚くほどの精度でレシートの記載内容を読み取っており、LLMを活用することでありふれた機能が「化ける」可能性を感じました。
その後、実際に様々なタイプのレシートを集めてきて読み比べをしてみたところ、既存のものと比べて体験が変わるレベルのものが実現できそうな感触を得ることができました。
実は可能性を秘めていたレシート読み取り
自由研究で出てきた複数のアイデアをもとに、今度はユーザーに価値があるものは何かという側面での思考を深めていくことにしました。
当初、記録された支出データを分析して、アドバイスや提案をする領域にAIを活用するのが良いのではないかという議論をしていました。
なぜなら、プリペイドカードで支払うだけで自動で支出記録がつけられる既存機能に加えて、当時開発中だったクレカ・銀行口座連携機能があれば、支出を記録する領域は十分だと考えていたからです。
また、記録された支出データを分析して示唆を出す領域こそ、まだ世の中に提供されているものがほとんどなく、挑戦のしがいがあると考えていました。
とはいえ、どういった分析や示唆に価値があるかという点は全く答えがなく、何に価値があるかから探していく必要がありそうだとも感じていました。
そんな中、N1インタビューで話を聞く中で、ちらほら「家計簿アプリを始めようと思って、まずはレシート読み取り機能があるXXというものにした」といった声が気になるようになっていました。どうやら、クレカ・銀行口座連携は便利ではあるものの、労力的・心理的にもハードルが高いと感じられていて、家計簿アプリを始める一歩目として、実はレシート読み取り機能が重要そうだということがわかってきました。
また、同時にわかったのは、従来のレシート読み取り機能ではなかなか読み取ることができず、諦めて手入力をして、結局面倒になって家計簿をやめてしまう人たちの存在です。
使われ方を見ていても、正しく読み取れない前提の使われ方をしており、手入力の補助的機能という位置付けのようでした。
仕組み上、従来のものの読み取り性能に伸び代があるということもわかり、レシート読み取りにLLMを活用することで新たな価値に昇華できるのではないかと考えるようになりました。
LLMのクセを理解し、何に掛け合わせるかが重要
最終的に、AIレシート読み取り機能を開発すると決めてからリリースまで、2ヶ月弱という早いスピード世に出すことができました（あまりの速さに社内では「もう出るの？」という反応が多発しました）。
今回、大きな学びは、あえて最初からLLMで全く新しいものを作りにいかないということです。
新技術であるという不確実さやLLMそのものの特性を踏まえ、どんな領域とかけ合わせると良いか、どう扱うと良いかについて学びを共有したいと思います。
💡価値的不確実性の”低い”領域で始める
プロダクト開発における不確実性を
- 「価値的不確実性」：ユーザーに価値を提供できるかわからない
- 「技術的不確実性」：その価値を技術的に実現できるかわからない
の2つに分ける場合、LLMを活用した検討をするなら「価値的不確実性」が低い領域から行うのが良いのではないかと思います。
実は、この学び自体は完全に後付けです。Algomatic社の帆苅さんのお話を伺った際に学んだことです（とても参考になるお話なのでぜひお聴きください）。
今回は、これまでも存在し、価値がある程度証明された「レシート読み取り」という領域において、LLMを活用することで体験を飛躍的に向上させるという取り組みでした。
価値的不確実性が低い分、技術的不確実性を減らすことに集中できました。その結果、爆速な開発を実現することもできましたし、技術的な試行錯誤に時間を割けた分、今後につながる学習量を増やせたという収穫もありました。
💡90%くらいの精度でも良い領域にする
LLMを活用したAIレシート読み取り機能で157枚のさまざまなレシートを読み取った結果、正しく読み取れたのは90.4%でした。
これは家計管理に最低限必要な「支払い先」「支払い合計金額」「支払い日」の3点を正しく読み取れた場合を正解として算出した正解率です。
従来のものが30~40%程度だったことを踏まえると、体験レベルで大きな変化を生み出すことができました。
これまでの手入力が実質必要となる補助機能的な体験ではなく、文字通りぱしゃっとレシートを撮れば支出が記録できるため、テンポよく1日で98枚ものレシートを読み取って支出記録するユーザーさんもいらっしゃいました。
もちろん100%に近づけるための検討もしていますが、かなり難易度が高く、時間のかかる開発になる感触です。なぜなら、LLMの特性上「なぜそう判断したのか？」がわからないため、間違う理由もわからないからです。
それを踏まえると、100%近い精度が求められる領域の場合、LLMを活用するのには向いていないように思います。もちろん不可能ではないでしょうが、今この時点においてはリリースまでに時間を要するため、初期段階のプロダクト開発としては上手に進める難易度が非常に高いのではないでしょうか。
逆に言うと、90%程度の精度でも体験が許容される領域においては、とても相性が良さそうです。LLMを活用することで、さくっと70~80%程度の精度のAI体験を作ることは可能で、AIを活用することによる新たな価値・体験を早期に出せることがLLMの恩恵だと実感しました。
💡コストを許容できる・最小化できる活用をする
LLMを活用するにあたって、外部パートナー企業への費用支払いが発生します。従量課金であるため、モデルを利用するたびに費用が積み上がっていきます。
今回のレシート読み取り機能は読み取るたびに発生するため、発生頻度と1回あたりのコストをいかにコントロールする設計にできるかが重要になりました。
PMとして重要なのは、早い段階からエンジニアと費用感やコストコントロールに関する意識をすり合わせることです。
LLMを活用した開発は、常に学習しながらの開発になります。エンジニアと意識をすり合わせることで、同じ方向性を向いて高速に学習を繰り返すことができます。
LLMの場合、何ができるようになるかに目線が行きがちで、ついついコスト面が疎かになってしまいがちです。早い段階で、何ができるか・どのくらいのコストでできるかの両輪で学習と開発が進められると良さそうです。
今回の取り組みでは、初期段階からコスト面を考慮した設計・試行錯誤をしていたため、最終的に当初想定より1/30のコストで高い精度を出すことを実現できました。
AIを活用した家計管理体験を一緒につくりませんか？
今回の開発では、何よりも新しい技術をクイックに試せたことがとても大きかった印象です。そして、そういった観点でもLLMはAI体験をまず試すための技術として有用に感じました。
一方で、”食い合わせの良い”領域を上手に選ぶ必要性も実感したため、試行錯誤を繰り返し、手触り感のある知見を持っていくことが重要だとも思いました。
こうした試行錯誤を繰り返しつつ、家計管理領域でLLMをはじめとしたAIを活用した、まだ無い新たな価値づくりにも（にこそ）挑戦していきたいと考えています。
一緒に実現していく仲間を絶賛募集中です。少しでも興味をもっていただいた方は気軽にお声掛けください。
イベントでもっとお話しします
この記事では書ききれなかったこと、書きづらかったことも含め、11/24(水)のオンラインイベントでお話しします。ご都合つく方はぜひご参加ください！
SmartBank Advent Calendar 2024はまだまだ続きます！
明日のアドベントカレンダーはnyancoさんです🐕 ぜひチェックしてみてください！
