私は今、Aidemy Premium Plan
という、未経験者が3か月で機械学習、ディープラーニング、データ分析、AIアプリ開発まで最先端技術を幅広く学べるオンライン学習サービスで勉強しています
その学習の成果物として、『嵐のメンバーでいうと誰似？』というアプリを製作しました。顔画像をアップロードすると、嵐のメンバーで最も似ているメンバーを教えてくれるというアプリです。
この過程で作った「嵐のメンバー5人の5分類のモデル」のテストデータの正解率（val_acc）は0.92でした。
しかし、前回のブログ（【Aidemy成果物】嵐のメンバーの画像認識アプリを作ってみた！）では、正解率を示しただけで、失敗した画像に関する考察はしていませんでした。
そこで、今回は、テストデータで分類に失敗した原因について特定してみようと思います。そして、正解率を上げるための改善策を考えてみます。
分類に失敗した原因
原因の仮説
まず、失敗した画像がどんな画像だったかを調べてみました。そして、以下のような画像の場合、分類に失敗していることがわかりました。※勝手に画像を貼るのはまずいので画像では示せません。
- 顔が横向き画像
基本的に、正面の顔画像を収集しました。また、学習する前にカスケード分類機で顔検出をしているので、顔が検出できないほどの横向き顔の画像は除去しています。しかし、ギリギリ顔が検出できた少し横向き画像は残っており、学習に使われていました。 - 若い頃、変顔、別人の画像
Bing APIを使って収集した画像の中には、嵐のメンバーがまだ10代の頃の画像（おそらくジャニーズJr.のとき）や、目をつぶっていたりする変顔の画像、口元にマイクが映り込んでいたり、口を手で抑えている画像、また中には嵐のメンバーとは別人の画像も混じっていました。 - コントラスト明るさが違う、顔に影がある画像
画像のコントラストや明るさが普通とは違うような画像、また、顔に影があるような画像もあります。
なぜ、上記のような画像は分類に失敗するのか？それは、上記のような画像は数が少ないため十分な学習をすることができないため、テストデータに含まれる上記のような画像の分類に失敗するのだと推測できます。
仮説の検証
試しに、上記のような分類に失敗した画像を取り除いた場合、正解率が上がるかどうかを確かめてみましょう。もし、正解率が上がれば、画像分類の失敗の原因が上記のような画像のせい！と特定していいでしょう。
では、まず、上記のような分類に失敗した画像を取り除くことを考えます。
画像の収集方法としては、以下2つがあります。
- Bing Apiを使用して収集
（各メンバーに付き300枚、合計1500枚） - youtube動画などをスクリーンショットして収集
（各メンバーに付き300枚、合計1500枚）
分類に失敗した画像は、Bing Apiを使用して収集した画像に多く含まれていると考えられます。なので、Bing Apiを使用して収集した画像は使用せずに、youtube動画などをスクリーンショットして収集した画像のみを使用します。
トレインデータが943個、テストデータ630個として、データ数が減ってしまうので、トレインデータのみ水増しして、943個から15088個に増やします。テストデータは630個のままです。
水増しには、以下サイトを参考にしました。
学習結果は、テストデータに対する正解率が0.96となりました。
分類に失敗した画像を取り除いた結果、正解率が0.92から0.96まで上がったため、仮説は正しかったと言えます。「顔が横向き画像」、「若い頃、変顔、別人の画像」、「コントラスト明るさが違う、顔に影がある画像」は数が少なかったため、学習が十分ではなくテストデータに含まれるこれら画像の分類に失敗したと言えます。
ちなみに、分類に失敗した画像を見てみると、ほぼすべての画像が横向き気味の画像でした。
Bing Apiの画像を使わないことで、「若い頃、変顔、別人の画像」、「コントラスト明るさが違う、顔に影がある画像」はほとんどなくなりましたが、スクリーンショットの画像の中にも「顔が横向き画像」はあり、これら画像の分類に失敗したようです。
分類正解率の改善
これまで示したような分類に失敗した画像を、分類に成功するためにはどうすればいいのか？
以下のような分類に失敗したような画像の数を増やすというのが、確実な方法であると言えます。
- 顔が横向き画像
- 若い頃、変顔、別人の画像
- コントラスト明るさが違う、顔に影がある画像
上2つに関しては、画像を収集するしかありません。3つ目に関しては、画像の水増しの方法である程度対応できるように思います。
ただし、改善をしなくても、上記のような画像以外の『正面の画像で、2015年以降くらいの普通の顔で、顔のコントラストや明るさが不自然ではない、顔にも影がない画像』に関しては、かなり高い正解率で分類できていると言えます。
今回、製作したアプリは、嵐5人のメンバーの顔を学習したモデルを使って、アップロードした顔画像が嵐のメンバーの誰に最も似ているのかを教えてくれるアプリです。アプリ内では正面のきれいな画像をアップロードするようにという注意書きもしているため、0.92や0.96というこのままの正解率でもあまり問題はないでしょう。
と〜げ
現場からは以上で〜す！
[…] こちらの記事（【Aidemy成果物】画像分類モデルの分類失敗の原因とは？）で紹介しています。 […]