Dencsely Connected Pyramid Dehazing Network[Zhang+ CVPR18]
Dencsely Connected Pyramid Dehazing Network[Zhang+ CVPR18]
[1803.08396] Densely Connected Pyramid Dehazing Network
1. Abstract
空気汚染とかで霞んだ大気（ちょっとしたモザイクのようなもの）は認識などのタスクでノイズとなりうるので、それらを除去 するような手法を提案した。 DenseNetを用いた、特徴量を豊富に獲得するedge-preserving densely connected encoder-decoder structure with multi-level pyramid pooling moduke for estimating the transmission mapを提案する。 このネットワークでは、edge-preserving loss functionを提案しており、corresponding dehazed image と estimated transmission mapが を識別するjoint-Discriminatorが元となってる。
2. Introduction
- I: 入力画像
- J: モザイク除去後の画像
- A モザイクっぽいの
- t: transmission map
- z: pixel location
画像をEq.1で数式化して、Jを推定する。なので、Eq.2の数式を解いていく。 Eq. 1に示す式を直接推定できる手法がDensly Connected Pyramid Dehazing Networks(DCPDN)である。
でも、直接推定するのは難しいので、stage-wiseで徐々に学習していく。
上図がネットワーク図で、英語で書いてある通り、そういう順番で学習していく。
1. Transmission Map Estimation Network
Convして、Dense3層(down-sampling), Dense5層(up-sampling), Deconv
（最初のDense3層は、densenet121のpretrainedモデル使った）
ここでは、Transmission mapの推定を行う。
2. Atmospheric Light Estimation Network
モザイク推定するところ。 UNetで、Conv-Bn-Relu、Deconv-Bn-Relu4層
3. Dehazing
目的Jを推定するところ。
1~2の橋渡しをする。
4. Joint Dscriminator Learning
Discriminator
Edge-preserving Loss
提案ロス。L2だけだと推定が難しいので、
- Edgeは画像の分け目（ものとものとの分かれてるところ）だし、Image graduentsに特徴付けられる。
- 輪郭やEdgesみたいなlow-levelな特徴量はCNNの最初の方の層で拾われる。 という背景からEdge-preserbing Lossが提案されてる。
L2 loss, two-directional(horizon, vertical) gradient loss, feature edge lossの和である。
two-directional gradient loss
H()はimage gradientを取る関数。
feature edge loss
V()はfeatureを取る関数。V_1 = VGGのrelu1-1, V_2 = VGGのrelu2-1
Stage-wise Learning
gradientsがなかなか最初取れないので、こうした。
Experiments
モザイク除去結果
濃すぎず、薄すぎずいい感じだ！！！！！！！
感想
- もやもやが映ってる画像をクリアーにするっていうの面白いなって思った。実は日頃我々が見ている光景は汚れた世界なのかもしれない。でぃーぷらーにんぐの力で綺麗な世界を映し出して欲しい。
- モザイク除去
- サーベイ不足でわからないが、大きな貢献はEdge-preserving lossとJointly Discriminatorである（と思う）。推定したJと推定maskをconcatしてDiscriminatorで推定するタスクは、取り入れてみたい。
