アプリマーケティングのためのログ分析基盤「SpinApp」の紹介

f:id:shogo807:20160819145337j:plain

こんにちは。SpinAppチームでリードエンジニアをしている鈴木省吾(@munaita_)です。今日はオプトが提供するアプリマーケティング用のログ分析基盤であるSpinAppのサービスと技術を簡単に紹介します。

SpinAppとは
SpinAppのトラフィック
アーキテクチャ
SpinAppの管理画面の役割
課題

SpinAppとは

アプリマーケティングのためのDMPです。AdjustやAppsflyer、Tuneといった広告SDKが入っているアプリであればすぐにご利用いただけます。アプリをグロースさせたいマーケティング担当者様のデータの課題を解決することを目指してサービス作りをおこなっています。詳しくはこちらのLPも御覧ください。

SpinAppのトラフィック

SpinAppのログのトラフィックの特徴としては、アプリのプッシュ通知が行われたときにスパイクが発生することです。このスパイクを捌き切れるログ収集システムを構築する必要があります。

ピーク時のqps: 約3000qps　
1ヶ月のログの量: 約1000GB

急増しているリクエスト例 f:id:shogo807:20180710173323p:plain

アーキテクチャ

f:id:opttechnologies2015:20180626161358p:plain

ログ収集

各クライアントのアプリから飛んでくるログを貯めるためのシステムです。DWHはBigQueryを使っています。

ログをBigQueryに入れるまでの流れ

1: GAEでログを受け取り、バリデーション後、TaskQueueに詰める
2: TaskQueueに溜まったログをGAEが1分に1回Cloud Storageにアップロード
3: 5分に1回dataflowが起動し、CloudStorageのファイルをBigQueryにインサート

この構成のメリット

フロントのGAEはGOで実装されており、高速にスケールアウトすることが可能で、スパイクにも対応できます。また、Dataflowでアプリ毎にテーブルを分けて、日付毎のPartitionTableとしてインサートしています。これにより、クエリのコストを下げることが可能になっています。

管理画面/集計

クライアントがマーケティングに活用できるデータ集計や加工を行います。また、管理画面を通して集計の依頼や、マーケティング施策の設定ができます。

集計/管理画面で使われている技術

管理画面はGoogle Compute Engine + CloudSQL上に、Ruby on Rails + React のSPAが動いています。集計に関しては、基本RailsのRakeタスクで行われており、一部の複雑なワークフローはAirflowで管理されてます。

なぜGCPか？

SpinAppはAWS構成からGCP構成に移行した経緯があります。サービス開始当初よりもトラフィックが増え、AWSのインフラ費用が上がってきたことや、集計が間に合わなくなったことからGCPへの移行が検討されました。この経緯の詳細については、別の資料があるのでそちらを御覧ください。

SpinAppの管理画面の役割

広告代理店として、複数のお客様に使っていただけるような分析基盤にするため様々な要求を満たす必要があります。 f:id:opttechnologies2015:20180626161510p:plain

その役割を担っているのがSpinAppの管理画面です。昨今、DWHにBIツールを連携させて分析するケースが多くなっています。SpinAppではBIツールで実現できない権限管理や、オプトからのデータ提供を管理画面で実現しています。具体例として、権限ロール機能、カスタムレポート機能とルールコンバージョン機能を紹介します。