Streamlined Dense Video Captioning
Streamlined Dense Video Captioning Jonghwan Mun, Linjie Yang, Zhou Ren, Ning Xu, Bohyung Han CVPR 2019 https://arxiv.org/abs/1904.03870
Abstract
Contiributions
- 従来の1動画1インプットではなく,動画をフレームごとに連続で入力し続けるような手法を提案した.
- 提案手法(The proposed event sequence generation network )は,イベント間の時間的関係性をモデル化する.
- 強化学習を組み合わせて,キャプション間が一貫するのと,キャプションの質の向上をもたらすようなエピソードとイベントレベルの報酬を設計した.
- ActivityNet Captions datasetでSoTA.
Dense VIdeo Captioning
- イベントを認識して,キャプションを生成するタスク.
Dense-Captioning Events in Videos Ranjay Krishna, Kenji Hata, Frederic Ren, Li Fei-Fei, Juan Carlos Niebles 16 pages, 16 figures https://arxiv.org/abs/1705.00754
Method
1. Overview
- 従来: イベント検出に続いて,キャプション生成.
- イベントとキャプションの負の最尤推定を合計を最小化することで学習.
- ビデオ中のイベントは時間的な依存関係より単一トピックに関するストーリーに基づく必要があるので,イベントの順序を追うことが必要. これを考慮して,イベントの連続性とそれに続くキャプション生成を高密度でやるように定式化.
- ビデオが入力され,event proposal networkがイベントを提案する.
- event sequence generation networkがイベント提案の候補の一つを選ぶことで一連のイベントを提案する.
- proposed sequential captioning networkが選ばれた提案からキャプションを生成する.
2. Event Proposal Network(EPN)
- イベント候補を選択する.
- Single-Stream Temporal action proposals(SST)[Buch+ CVPR17]を使用.
- 入力は固定長.
- 各セグメントをイベント提案の終点として扱うことで,各tでGRUからk次元出力ベクトルで表されるk個のセグメントから一致する開始点を認識する.
3. Event Sequence Generation Network (ESGN)
- イベント提案候補集合が与えられ,ESGNは相関の高い一連のイベントを選んでエピソードを作る.
- Attentionモジュールを使うことで,RNNで入力集合上で分布を生成するようなPointerNetwork[Vinyals+ NIPS15]を使う.
- PointNetは提案されたイベントの順序つきサブセットを選び,時間依存性を考慮してキャプションを生成するのに適している.
4. Sequential Captioning Network (SCN)
- EpisodeRNN,EventRNN($RNN_{e}$)で成り立つ.
- EpisodeRNNは,検出されたイベントを入力としエピソードの状態をモデル化する.
- EventRNNは,エピソードの現在のコンテキストに基づいて条件づけられた各提案されたイベントに対して,キャプションを生成していく.
力尽きた