PairedCycleGAN: Asymmetric Style Transfer for Applying and Removing Makeup[Chang+ CVPR-2018]
PairedCycleGAN: Asymmetric Style Transfer for Applying and Removing Makeup[Chang+ CVPR-2018]の解説記事です。
1. Abstract
メイクをCycleGANを用いて、したり、落としたりする。
forward functionで化粧をして、backword functionで化粧を落とします。
2. Formulation
Adversarial Loss
顔ができることを担保するロス
Identity Loss
化粧をさせて、戻すとき、どんな顔にやったかを覚えておくL1ロス
Style Loss
化粧
Total Loss
3. Implementation
Training pipline
まず、学習の仕方として、Inputに「化粧したやつ」「してないやつ」が入る。そして同時に化粧とさせるところGと落とすところのFを学習させる。
次に、Fig4のように、目（青）、唇（黄色）、肌（赤）を対象にCycleGANを適用させる。メイクは、色がついてるところをMaskとして獲得している。
Fig 5は、実際のG(やF)の中身である。例として目の周りを示している図。
Inputに、すっぴんと参考メイクを入れて、DRN3層で特徴量を得て、Contentsの差(Delta Contents)を計算する
そして、StyleをDelta Contentsに適用させて、Outputをして化粧された画像を得る。
4. Results
FIg7, 8, 9, 12がこの手法を用いた結果。
次に、他の手法と比べる。
下の行に注目すると、Ours以外は、Makeup Referenceの目元のアイラインがあまり綺麗にできていない。
しかし、Oursはできており、これは、GがContentsの差分を計算しているところが大きく影響してるんじゃねって思った。
従来手法より綺麗にできている。
4. まとめ
化粧系の論文を読んだのは初めてだが、通った理由は、論文がわかりやすくて、Fig5のように差分を計算してStyleをあてはめることで、 ありえん綺麗にメイクをしたり、落としたりできるところや、GとFを同時学習してるところなのかなと思った。
5. 感想
- データセット集めについても書かれていたのだが、Youtubeのメイク動画から集めて、前半はすっぴん、後半は化粧済みで集めたらしくて、 「あ〜〜〜〜確かにそうじゃん！」ってなってちょっと笑った。
- 今回扱ってる化粧が、日本人に居なさそうな結構濃いものであり（わからんけど）、女子高生などが求めている化粧、つまり自分も好きなものではない気がした。
- Domain Adaptation系は発想次第でまだまだやれるんじゃないかと思った。なのでアイデア大事にして、何かしら論文を書きたい。
- 昔流行った（？）化粧取る系のアプリ、この手法使えばもっと高精度でやれそうなので、誰か作ると結構ダウンロード数稼げそう。いや、知らんけど
- 個人的な興味として、一般のすっぴんを、芸能人で学習したモデルでメイク落としをやると、ちょっとメイクされそうで面白そうと思った。日頃の美容への捧げようからそう思った。
- 日本のアイドルがやってそうなメイクでもできるのかな？できるとしたら需要ありそうだし、ビジネスチャンスですよ、学会で「どうビジネスに使うんですか？」って聞いてくる大人の方々！！！
