【cocone TECH TALK VOL.4・前編】膨大になったDBを何とかする【イベントレポート】

2021年10月26日

こんにちは！cocone tech blog編集長のYです！

今回は2021年9月30日に行われた「cocone TECH TALK VOL.4」でお話した内容をまとめたものを前編・後編に分けてご紹介します！

本記事は前編として「膨大になったDBを何とかする」というテーマについての発表を記事にしたものになります。

はじめまして、『ポケコロ』サーバー開発をしている忻です。

今回は最近ポケコロチームで行ってきた取り組みについてお話していきます。

登壇者紹介

現状について

『ポケコロ』ではMariaDB、MongoDB、Redisなど様々なDBを機能によって使い分ける形となっています。

今回問題となったのはMariaDBについてです。

『ポケコロ』のMariaDBの構成はmaster-slave構成です。現在masterのディスク使用量が最大92%まで上昇しており、さらには毎月3~4%程度増え続けている状態となっています。単純計算をするとあと2ヶ月で使用量が100%に到達してしまいます。

また、容量だけではなくslow queryが出やすい状態にもなってしまっているため、slaveの遅延が酷くなるとサービスに影響が出てしまうため、こちらについても対応が必要となります。

DBの中身について

そんな『ポケコロ』のDBには何が入っているのか確認してみます。

『ポケコロ』は着せ替えアバターアプリのため、「所持しているアイテム」についてのデータが多く約50%ほどを占めています。

続いて「保存しているコーディネート」についてのデータが約15%、アイテムの獲得履歴と移動履歴が約15%程度を占めています。

アイテムの所持数に上限がないため、所持しているアイテムについてのデータ量はどんどん増えていきます。また、履歴のデータについても基本的には削除をしていないため、こちらもどんどんとデータ量が増えていきます。

問題を改善するには

この状態を改善するにはどうすれば良いのか？ということを考えるのですが、サーバースペックを上げるのにも限界があり、仮に容量を拡張できたとしてもslowqueryが解決できないなど問題は残ります。

しかし、今最も手をつけなければならない問題は、如何にしてデータ量を減らし要領を確保するかです。

データ量を減らし、容量を確保するために、これらの4つの方法を考えました。

必要のないデータを消す
履歴データに保存期間を設ける
格納する元データを軽量化する
似ているデータをひとまとめにする

2つめの方法について、履歴に関するデータは今までお客様に過去3ヶ月分のデータしか見せていないため、削除を実行することで容量を確保できると思っていたのですが、簡単に削除するわけにはいきませんでした。

理由としては大きく3つあり、1つめの理由はお問い合わせが頻繁にあり、以前のデータを調べる必要があるため、2つめの理由は『ポケコロ』はソーシャルアプリなので警察に情報の提供をする場合があるためです。そして3つめの理由は履歴データは分析をする材料でもあるので、削除してしまうと分析をすることができなくなるためです。

これらの理由を踏まえた上で各部署に確認をとり、データの削除に取り組みました。