Grad CAMのような、画像​分類をした際に「画像​のどの部分に注目して​分類したのか」を示す​ためにはどのようにし​たらよいですか？

二つ質問があります。

①深層学習で画像分類をしたものについて、機械がどの部分に着目をして判断を下したのかを知りたいのですが、どのようにしたらよいのでしょうか？

②作成されたディープニューラルネットワークの重みの値を知ることはできないのでしょうか？

よろしくお願いいたします。

Answer 1

[Takuji Fukumoto]

①深層学習で画像分類をしたものについて、機械がどの部分に着目をして判断を下したのかを知りたいのですが、どのようにしたらよいのでしょうか？

→通常のCAMのデモですが、よろしければご利用ください。

　SqueezeNetでの例ですが、この考え方はGoogleNet等分岐のあるDAGネットワークで適用できます。

　こちらもご覧ください。。

　

②作成されたディープニューラルネットワークの重みの値を知ることはできないのでしょうか？

→学習した後のネットワークオブジェクトは各レイヤのパラメータにアクセスできますので、Weight情報等を取り出すせます。

net = alexnet;
net.Layers(2).Weights

[Natsuo OKADA]

ありがとうございます。

CAMのデモの

• tb_mysqueezenet.m

が見れなくなってしまっているのですが、再掲していただくことはできませんでしょうか？

[Takuji Fukumoto]

理由はよくわからないですが、ブラウザでの表示がうまくされないようですね。ダウンロードしたコードの実行は問題がなさそうです。

「Download」ボタンからダウンロードしてお試しいただけますか。

学習済みのネットワークや評価用動画も含まれ、実行して動作確認できるようになっております。

[Natsuo OKADA]

ダウンロードしました。ありがとうございました。試してみます。

[Kenta]

CAMのほかに、LIMEと呼ばれる手法を用いたもの

https://jp.mathworks.com/matlabcentral/fileexchange/77828-explainable-ai-interpreting-the-classification-using-lime

また、grad-camを用いた例があります。参考になれば幸いです。

https://jp.mathworks.com/matlabcentral/fileexchange/75418-classify-crack-image-using-deep-learning-and-explain-why