Generative Adversarial Nets

1 はじめに

深層学習の有望性は、自然画像、音声を含む音響波形、自然言語コーパス中の記号といった人工知能アプリケーションで遭遇する種類のデータ上の確率分布を表現する、豊かで階層的なモデル[2]を発見することにある。これまでのところ、深層学習における最も顕著な成功は識別モデルに関するものであり、通常は高次元で豊かな感覚入力をクラスラベルへ写像するものである[14], [22]。これらの顕著な成功は主として、特に扱いやすい勾配を持つ区分線形ユニット[19, 9, 10]を用いた、誤差逆伝播法とドロップアウトのアルゴリズムに基づいている。深い生成モデルは、最尤推定および関連する戦略において生じる多くの扱い困難な確率的計算を近似することの難しさ、および生成の文脈で区分線形ユニットの利点を活用することの難しさのために、より小さな影響しか与えてこなかった。本稿では、これらの困難を回避する新しい生成モデル推定手続きを提案する。⁴

提案するadversarial netsフレームワークでは、生成モデルは敵対者と対峙する。すなわち、あるサンプルがモデル分布から来たものかデータ分布から来たものかを判定することを学習する識別モデルである。生成モデルは、偽造通貨を作り、それを発見されずに使用しようとする偽造犯の集団に類似していると考えることができる。一方、識別モデルは、その偽造通貨を検出しようとする警察に類似している。このゲームにおける競争は、偽造品が本物と区別できなくなるまで、両陣営がその手法を改善することを促す。

このフレームワークは、多くの種類のモデルおよび最適化アルゴリズムに対して具体的な学習アルゴリズムを与えることができる。本稿では、生成モデルがランダムノイズを多層パーセプトロンに通すことでサンプルを生成し、識別モデルもまた多層パーセプトロンであるという特殊な場合を検討する。この特殊な場合をadversarial netsと呼ぶ。この場合、非常に成功を収めている誤差逆伝播法およびドロップアウトのアルゴリズム[17]のみを用いて両方のモデルを学習でき、生成モデルからのサンプリングも順伝播のみを用いて行うことができる。近似推論やマルコフ連鎖は不要である。

2 関連研究

潜在変数を持つ有向グラフィカルモデルの代替として、restricted Boltzmann machines (RBMs) [27, 16]、deep Boltzmann machines (DBMs) [26]およびそれらの多数の変種のような、潜在変数を持つ無向グラフィカルモデルがある。そのようなモデル内の相互作用は、正規化されていないポテンシャル関数の積として表現され、確率変数のすべての状態にわたる大域的な総和／積分によって正規化される。この量（分配関数）とその勾配は、最も自明な場合を除いて扱いが困難であるが、Markov chain Monte Carlo (MCMC)法によって推定することは可能である。混合は、MCMCに依存する学習アルゴリズムにとって重大な問題となる[3, 5]。

Deep belief networks (DBNs) [16]は、単一の無向レイヤーと複数の有向レイヤーを含むハイブリッドモデルである。高速な近似的レイヤー単位の学習基準が存在する一方で、DBNは無向モデルと有向モデルの両方に関連する計算上の困難を抱える。

対数尤度を近似したり上界・下界を与えたりしない代替的な基準も提案されており、例えばscore matching [18]やnoise-contrastive estimation (NCE) [13]がある。これらはいずれも、学習された確率密度が正規化定数を除いて解析的に記述されることを必要とする。複数の潜在変数レイヤーを持つ多くの興味深い生成モデル（DBNやDBMなど）では、扱いやすい正規化されていない確率密度を導出することすら不可能であることに注意されたい。denoising auto-encoders [30]やcontractive autoencodersのようないくつかのモデルは、RBMに適用されたscore matchingと非常によく似た学習規則を持つ。NCEでは、本研究と同様に、生成モデルを適合させるために識別的な学習基準が用いられる。しかし、別個の識別モデルを適合させるのではなく、生成モデル自体を用いて、固定されたノイズ分布からのサンプルと生成データとを識別する。NCEは固定ノイズ分布を使用するため、モデルが観測変数の小さな部分集合に対しておおよそ正しい分布を学習した後は、学習速度が劇的に低下する。

最後に、確率分布を明示的に定義するのではなく、所望の分布からサンプルを生成する生成機械を学習させる手法も存在する。このアプローチには、そのような機械を誤差逆伝播によって学習できるように設計できるという利点がある。この分野における近年の代表的な研究として、generalized denoising auto-encoders [4]を拡張したgenerative stochastic network (GSN)フレームワーク[5]がある。両者はともに、パラメータ化されたMarkov chainを定義するものとみなすことができる。すなわち、生成Markov chainの1ステップを実行する機械のパラメータを学習するのである。GSNと比較すると、adversarial netsフレームワークはサンプリングのためにMarkov chainを必要としない。adversarial netsは生成中にフィードバックループを必要としないため、誤差逆伝播の性能を向上させる一方でフィードバックループ内で使用すると活性化が非有界になるという問題を持つpiecewise linear units [19, 9, 10]を、より効果的に活用できる。生成機械に対して誤差逆伝播を行うことによって学習するさらに最近の例として、auto-encoding variational Bayes [20]およびstochastic backpropagation [24]に関する最近の研究がある。

3 敵対的ネット

敵対的モデリングのフレームワークは、両方のモデルが多層パーセプトロンである場合に最も直接的に適用できる。データ$\boldsymbol{x}$上の生成器の分布$p_g$を学習するために、入力ノイズ変数$p_z(\boldsymbol{z})$上の事前分布を定義し、次にデータ空間への写像を$G(\boldsymbol{z}; \theta_g)$として表現する。ここで$G$は、パラメータ$\theta_g$を持つ多層パーセプトロンによって表現される微分可能な関数である。また、単一のスカラーを出力する第2の多層パーセプトロン$D(\boldsymbol{x}; \theta_d)$も定義する。$D(\boldsymbol{x})$は、$\boldsymbol{x}$が$p_g$ではなくデータから来た確率を表す。$D$は、学習例と$G$からのサンプルの両方に正しいラベルを割り当てる確率を最大化するように学習する。同時に、$G$は$\log(1 - D(G(\boldsymbol{z})))$を最小化するように学習する。

言い換えると、$D$と$G$は、値関数$V(G,D)$を持つ以下の二者ミニマックスゲームを行う。

次節では、敵対的ネットの理論的解析を示す。基本的には、この学習基準によって、$G$と$D$に十分な容量が与えられたとき、すなわち非パラメトリック極限において、データ生成分布を回復できることを示す。より形式性を抑えた教育的な説明については図 1を参照されたい。実際には、このゲームを反復的な数値的手法を用いて実装しなければならない。学習の内側ループで$D$を完全に最適化することは計算上法外に高価であり、有限のデータセットでは過学習を引き起こす。その代わりに、$D$の最適化を$k$ステップ行い、その後$G$の最適化を1ステップ行うことを交互に繰り返す。これにより、$G$が十分ゆっくり変化する限り、$D$はその最適解の近傍に維持される。この戦略は、SML/PCD [31, 29]学習が、学習の内側ループの一部としてマルコフ連鎖をバーンインすることを避けるために、ある学習ステップから次の学習ステップへとマルコフ連鎖からのサンプルを維持する方法と類似している。この手続きはアルゴリズム 1で形式的に示される。

実際には、式 1は$G$が十分に学習するための十分な勾配を与えない可能性がある。学習の初期段階では、$G$の性能が低いとき、$D$はサンプルが学習データと明らかに異なるため、高い確信度でそれらを棄却できる。この場合、$\log(1-D(G(z)))$は飽和する。$G$を$\log(1-D(G(z)))$の最小化に向けて学習する代わりに、$\log D(G(z))$を最大化するように$G$を学習できる。この目的関数は、$G$と$D$の力学系において同じ不動点をもたらすが、学習初期においてはるかに強い勾配を提供する。

4 理論的結果

生成器$G$は、$z\sim p_z$のときに得られるサンプル$G(z)$の分布として、確率分布$p_g$を暗黙的に定義する。したがって、十分な容量と学習時間が与えられれば、アルゴリズム 1が$p_{\mathrm{data}}$の良い推定量へ収束することを望む。本節の結果は非パラメトリックな設定で行われる。例えば、確率密度関数の空間における収束を調べることによって、無限の容量を持つモデルを表現する。

4.1節で、このミニマックスゲームが$p_g=p_{\mathrm{data}}$に対して大域的最適解を持つことを示す。続いて4.2節で、アルゴリズム 1が式 1を最適化することを示し、これによって望ましい結果が得られることを示す。

アルゴリズム 1 生成的敵対的ネットワークのミニバッチ確率的勾配降下法による学習。識別器に適用するステップ数$k$はハイパーパラメータである。我々の実験では、最も計算コストの低い選択肢である$k = 1$を用いた。

for 学習反復回数 do

for $k$ ステップ do

• ノイズ事前分布$p_g(z)$から、$m$個のノイズサンプル$\{z^{(1)}, \ldots, z^{(m)}\}$のミニバッチをサンプリングする。
• データ生成分布$p_{\text{data}}(x)$から、$m$個の例$\{x^{(1)}, \ldots, x^{(m)}\}$のミニバッチをサンプリングする。
• 確率的勾配に沿って上昇することにより識別器を更新する。

end for

• ノイズ事前分布$p_g(z)$から、$m$個のノイズサンプル$\{z^{(1)}, \ldots, z^{(m)}\}$のミニバッチをサンプリングする。
• 確率的勾配に沿って下降することにより生成器を更新する。

end for

勾配ベースの更新には、任意の標準的な勾配ベース学習則を用いることができる。我々の実験ではモメンタムを用いた。

4.1 $p_g = p_{\text{data}}$の大域的最適性

まず、任意の与えられた生成器$G$に対する最適な識別器$D$を考える。

命題 1. $G$を固定したとき、最適な識別器$D$は次式である

証明. 任意の生成器Gが与えられたとき、識別器Dの学習基準は量$V(G,D)$を最大化することである。

任意の$(a,b)\in\mathbb{R}^2\setminus\{0,0\}$について、関数$y\rightarrow a\log(y)+b\log(1-y)$は、$[0,1]$において$\frac{a}{a+b}$で最大値を達成する。識別器は$Supp(p_{\text{data}})\cup Supp(p_g)$の外側で定義される必要がないため、証明が完了する。$\square$

$D$の学習目的関数は、条件付き確率$P(Y=y|x)$を推定するための対数尤度を最大化するものとして解釈できることに注意されたい。ここで$Y$は、$x$が$p_{\text{data}}$（$y=1$）から来たか、あるいは$p_g$（$y=0$）から来たかを示す。式 1のミニマックスゲームは次のように再定式化できる。

定理 1. 仮想的な学習基準$C(G)$の大域的最小値は、$p_g = p_{\mathrm{data}}$である場合に限り達成される。そのとき、$C(G)$は値$-\log 4$を達成する。

証明. $p_g = p_{\mathrm{data}}$のとき、$D_G^*(x) = \frac{1}{2}$である（式 2を参照）。したがって、$D_G^*(x) = \frac{1}{2}$における式 4を調べることで、$C(G) = \log \frac{1}{2} + \log \frac{1}{2} = -\log 4$を得る。これが$C(G)$の取り得る最良の値であり、かつ$p_g = p_{\mathrm{data}}$のときにのみ達成されることを示すために、次を観察する。

そして、この式を$C(G) = V(D_G^*, G)$から差し引くことにより、次を得る。

ここで、KLはKullback–Leiblerダイバージェンスである。前式の中に、モデルの分布とデータ生成過程との間のJensen–Shannonダイバージェンスを認めることができる。

二つの分布間のJensen–Shannonダイバージェンスは常に非負であり、それらが等しい場合にのみゼロとなるので、$C^* = -\log(4)$が$C(G)$の大域的最小値であり、唯一の解が$p_g = p_{\mathrm{data}}$、すなわち生成モデルがデータ生成過程を完全に再現することであることを示した。$\square$

4.2 アルゴリズム 1 の収束

命題 2. $G$と$D$が十分な容量を持ち、アルゴリズム 1 の各ステップにおいて、識別器が与えられた$G$に対する最適値に到達することを許され、さらに$p_g$が次の基準を改善するように更新されるならば

$p_g$は$p_{\mathrm{data}}$に収束する

証明. 上記の基準で行ったように、$V(G, D) = U(p_g, D)$を$p_g$の関数として考える。$U(p_g, D)$は$p_g$について凸であることに注意せよ。凸関数族の上限の劣微分には、最大値が達成される点での関数の導関数が含まれる。言い換えると、$f(x) = \sup_{\alpha\in\mathcal{A}} f_\alpha(x)$であり、すべての$\alpha$について$f_\alpha(x)$が$x$に関して凸であるならば、$\beta = \arg \sup_{\alpha\in\mathcal{A}} f_\alpha(x)$のとき$\partial f_\beta(x) \in \partial f$である。これは、対応する$G$が与えられたときの最適な$D$において、$p_g$に対する勾配降下更新を計算することと等価である。定理 1 で証明したように、$\sup_D U(p_g, D)$は$p_g$について凸であり、かつ一意な大域的最適値を持つ。したがって、$p_g$の更新が十分に小さければ、$p_g$は$p_x$に収束し、これで証明は完了する。$\square$

実際には、敵対的ネットワークは関数$G(z; \theta_g)$を介して$p_g$分布の限定された族を表現し、$p_g$そのものではなく$\theta_g$を最適化する。$G$を定義するために多層パーセプトロンを用いると、パラメータ空間に複数の臨界点が導入される。しかし、多層パーセプトロンが実際には優れた性能を示すことは、理論的保証が欠如しているにもかかわらず、それらが使用するのに妥当なモデルであることを示唆している。

5 実験

MNIST[23]、Toronto Face Database (TFD) [28]、および CIFAR-10 [21]を含むさまざまなデータセット上で敵対的ネットを学習した。生成器ネットは rectifier linear activation [19, 9]と sigmoid activation の混合を用い、一方で識別器ネットは maxout [10] activation を用いた。識別器ネットの学習にはドロップアウト [17]を適用した。理論的フレームワークでは生成器の中間レイヤーにドロップアウトやその他のノイズを用いることが可能であるが、本研究では生成器ネットワークの最下層への入力としてのみノイズを用いた。

$G$によって生成されたサンプルに Gaussian Parzen window を当てはめ、この分布の下での対数尤度を報告することにより、$p_g$の下でのテストセットデータの確率を推定する。$\sigma$パラメータ

表 1: Parzen window に基づく対数尤度推定値。MNIST で報告した数値はテストセット上のサンプルの平均対数尤度であり、平均の標準誤差はサンプル間で計算した。TFD では、データセットの各 fold 間で標準誤差を計算し、各 fold の検証セットを用いて異なる$\sigma$を選択した。TFD では、各 fold ごとに$\sigma$の交差検証を行い、各 fold の平均対数尤度を計算した。MNIST については、データセットの二値版ではなく実数値版に対する他のモデルと比較している。

の Gaussian は検証セット上での交差検証によって求めた。この手法は Breuleux et al. [8]によって導入され、厳密な尤度の計算が実行不可能なさまざまな生成モデルに対して用いられている [25, 3, 5]。結果を表 1 に示す。この尤度推定法は分散がやや大きく、高次元空間では良好に機能しないが、我々の知る限り利用可能な最良の手法である。サンプリングはできるが尤度を直接推定できない生成モデルの進歩は、そのようなモデルの評価方法に関するさらなる研究を促している。

図 2 および図 3 では、学習後の生成器ネットから得られたサンプルを示す。これらのサンプルが既存手法によって生成されたサンプルより優れていると主張するものではないが、少なくとも文献中の優れた生成モデルと競争力があり、敵対的フレームワークの可能性を示していると考える。

表 2: 生成モデリングにおける課題。モデルに関わる主要な操作ごとに、深層生成モデリングへの異なるアプローチが遭遇する困難を要約したものである。

6 利点と欠点

この新しいフレームワークには、従来のモデリングフレームワークと比較して利点と欠点がある。欠点は主として、$p_g(x)$の明示的な表現が存在しないこと、そして学習中に$D$が$G$とうまく同期されなければならないことである（特に、$p_{\text{data}}$をモデル化するのに十分な多様性を持たせるために、$G$が$\mathbf{z}$のあまりにも多くの値を同じ$\mathbf{x}$の値へと崩壊させてしまう「Helveticaシナリオ」を避けるため、$D$を更新せずに$G$を過度に学習させてはならない）。これは、Boltzmannマシンの負のチェーンが学習ステップ間で常に最新に保たれなければならないのと同様である。利点は、Markovチェーンがまったく不要であり、勾配を得るためにはバックプロパゲーションのみが用いられ、学習中に推論 (inference) が不要であり、さらに多種多様な関数をモデルに組み込めることである。表 2は、生成的敵対ネットワークと他の生成モデリング手法との比較を要約している。

前述の利点は主として計算上のものである。敵対的モデルはまた、生成器ネットワークがデータ例によって直接更新されるのではなく、識別器を通って流れる勾配によってのみ更新されることから、何らかの統計的利点も得られる可能性がある。これは、入力の構成要素が生成器のパラメータへ直接コピーされないことを意味する。敵対的ネットワークのもう一つの利点は、非常に鋭い、さらには退化した分布さえ表現できることである。一方、Markovチェーンに基づく手法では、チェーンがモード間を混合できるようにするため、分布がある程度ぼやけている必要がある。

7 結論と今後の研究

このフレームワークは、多くの直接的な拡張を可能にする。

1. 条件付き生成モデル$p(\mathbf{x}\mid\mathbf{c})$は、$\mathbf{c}$を$G$と$D$の両方への入力として追加することによって得られる。
2. 学習された近似推論は、$\mathbf{x}$が与えられたときに$\mathbf{z}$を予測する補助的なネットワークを学習することによって実行できる。これはwake-sleepアルゴリズム[15]によって学習される推論ネットに類似しているが、生成器ネットの学習が完了した後に、固定された生成器ネットに対して推論ネットを学習できるという利点を持つ。

1. $S$が$x$の添字の部分集合であるとき、パラメータを共有する条件付きモデル群を学習することによって、すべての条件付き分布$p(x_S \mid x_{\not S})$を近似的にモデル化できる。本質的には、敵対的ネットを用いて決定論的なMP-DBM [11]の確率的拡張を実装できる。
2. 半教師あり学習: 識別器または推論ネットから得られる特徴量は、ラベル付きデータが限られている場合に分類器の性能を向上させる可能性がある。
3. 効率改善: $G$と$D$を協調させるより良い方法、あるいは学習中に$z$をサンプリングするためのより良い分布を決定することによって、学習を大幅に高速化できる可能性がある。

本論文は敵対的モデリングフレームワークの実現可能性を実証しており、これらの研究方向が有用である可能性を示唆している。

謝辞

有益な議論をしてくださったPatrice Marcotte、Olivier Delalleau、Kyunghyun Cho、Guillaume Alain、およびJason Yosinskiに感謝する。Yann DauphinはParzen window評価コードを共有してくださった。Pylearn2 [12]およびTheano [7, 1]の開発者たち、とりわけ本プロジェクトのために特別にTheanoの機能を共有してくださったFrédéric Bastienに感謝する。Arnaud Bergeronは$\LaTeX$組版に関して不可欠な支援を提供してくださった。また、資金提供を行ったCIFARおよびCanada Research Chairs、ならびに計算リソースを提供したCompute CanadaおよびCalcul Québecにも感謝する。Ian Goodfellowは2013 Google Fellowship in Deep Learningの支援を受けている。最後に、我々の創造性を刺激してくれたLes Trois Brasseursに感謝する。