こんにちは、スマートバンクでアプリエンジニアをしているロクネムです。 家計簿プリペイドカードアプリ「B/43」のiOS, Androidアプリの開発に携わっています。
最近弊社では、ある日のリリースをきっかけにB/43の主要なKPIの一つであるカード発行率が下がるという出来事がありました。
最終的には、原因を特定して解決策を講じ、発覚から1ヶ月も経たずに数値悪化を元の水準に戻すことができました。
本記事では、我々がどのように分析を進めて仮説を立て、原因を特定して解決するにまで至ったのか、そのプロセスについてお話しします。
分析プロセス
0. 現状を正しく把握する
まずは、今起きていることを正しく把握して認識を揃えるところから始めました。
数値悪化の要因となったリリース日の前後でカード発行完了までのファネルを比較し、どれくらい数値が落ちているのか認識を合わせます。
しかしリリースからわずか1~2週間後の数値でもあるため、数値の悪化がトレンドによる一時的なものなのか、リリースの影響によるものなのか、判断が難しい状況でした。
1. 数値を見る角度を変えながら課題への解像度を上げる
そこで、カード発行までのファネルを多角的に分析してみることにしました。
具体的には、我々はカードを大きく3種類発行しているのでその種類別にカード発行のファネルを分析してみました。
すると、 ペアカードの発行率が明らかに悪化している ことがわかりました。
分析する際は、サービス特性を踏まえてさまざまな角度から数値をみることで解像度を上げることができる
2. 定性的なアプローチから仮説へのヒントを得る
定量的なデータだけでは、「ペアカードの発行率が下がっている」という大まかにどのセグメントのユーザーに影響があるのかまでしかわからず、具体的にどこで離脱しているのかがいまいち掴めない状況でした。
いっそのこと離脱しているユーザーに定性的なインタビューができれば解像度は上がりそうですが、そのような時間的余裕はありません。
そこで、ペアカード発行手前で離脱してしまった人が1人1人どういう行動しているか、アプリの行動ログを見て調査してみることにしました。
まずは離脱ユーザー群のIDを抽出します。
そして、各IDのユーザーのアプリ上での行動ログを調べ、書き起こしていきました。
これにより、ペアカードの発行率が下がっている仮説をいくつか立てることができました。
N1のユーザーの行動ログを分析するという定性的なアプローチから、より解像度の高い仮説を立てることができる
3. 仮説に対してより狭い範囲でデータを可視化して確度を上げる
2でより具体的な仮説を立てることができたので、その仮説に対してより狭い範囲でデータを可視化していきます。
仮説に対応するデータにおいてもリリース後に数値が悪化していることがわかり、仮説への信頼度を高めることができました。
立てた仮説に対してより狭い範囲でのデータを可視化することで、仮説に対する信頼度を強めながら対応方針のイメージを立てやすくできる
要件定義・開発・リリース
具体化した仮説をベースに、最小工数で対応できる仕様をPM・エンジニア間で連携しながら考えていきました。
B/43ではデザインシステムが整備されており、それをベースとして最新のアプリバージョンにおける各画面のデザインデータが画面遷移含めてFigma上で管理されています。
そのおかげで、PM・エンジニア間で「ここの仕様をこうすれば良いのではないか？」という議論を高速で回すことができました。
結果として、 要件定義から開発、リリースまで1週間ほどで対応 できました。
リリース後、数値を見てみると…
元の水準に戻りました 🎉
まとめ
振り返ると、2週間で分析から仮説立てまで行い、1週間で要件定義、開発、リリースというスピード感で進めることができました。
その過程で、数値悪化に対する分析のプロセスで以下の教訓を得ることができました:
- 分析する際は、サービス特性を踏まえてさまざまな角度から数値をみることによって解像度を上げることができる
- アプリの行動ログ分析という定性的なアプローチから、より解像度の高い仮説を立てることができる
- 立てた仮説に対してより狭い範囲でのデータを可視化することで、仮説に対する信頼度を強めながら対応方針のイメージを立てやすくできる
しかしながら反省点もあります。
今回は比較的早期に数値悪化を検知できたものの、それをより精度高くローコストに行うことができる土台と、データドリブンに意思決定できる組織づくりが必要だと改めて認識しました。
よりデータドリブンな組織になるために…
そんな弊社では、1人目のデータアナリストを募集しています！
特にこんな気持ちをお持ちの方に興味を持っていただけると嬉しいです:
- データ分析で得られた洞察によって、会社や事業やプロダクトを進化させることに心を燃やせる方
- データドリブンな意思決定を、周りを巻き込みながら会社に根付かせていく気概がある方
少しお話を聞いてみたいという方も、カジュアル面談を受け付けていますので、ぜひお気軽にご応募ください💪
