Generative Adversarial Nets

生成的敵対ネットワーク

Ian J. Goodfellow, Jean Pouget-Abadie¹, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair², Aaron Courville, Yoshua Bengio³

Département d’informatique et de recherche opérationnelle Université de Montréal Montréal, QC H3C 3J7

arXiv:1406.2661v1 [stat.ML] 10 Jun 2014

概要

敵対的プロセスを通じて生成モデルを推定するための新しいフレームワークを提案する。このプロセスでは、2つのモデルを同時に学習する。一方はデータ分布を捉える生成モデル$G$であり、もう一方は、あるサンプルが$G$ではなく学習データから得られたものである確率を推定する識別モデル$D$である。$G$の学習手続きは、$D$が誤りを犯す確率を最大化することである。このフレームワークは、ミニマックス2人ゲームに対応する。任意の関数$G$および$D$の空間において、$G$が学習データの分布を復元し、$D$があらゆる場所で$\frac12$に等しくなる一意の解が存在する。$G$および$D$が多層パーセプトロンによって定義される場合、システム全体をバックプロパゲーションによって学習できる。学習中にもサンプルの生成中にも、マルコフ連鎖や展開された近似推論ネットワークは必要ない。実験により、生成されたサンプルの定性的および定量的な評価を通じて、このフレームワークの可能性を示す。

Département d’informatique et de recherche opérationnelle Université de Montréal Montréal, QC H3C 3J7 arXiv:1406.2661v1 [stat.ML] 10 Jun 2014

Abstract

We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model $G$ that captures the data distribution, and a discriminative model $D$ that estimates the probability that a sample came from the training data rather than $G$. The training procedure for $G$ is to maximize the probability of $D$ making a mistake. This framework corresponds to a minimax two-player game. In the space of arbitrary functions $G$ and $D$, a unique solution exists, with $G$ recovering the training data distribution and $D$ equal to $\frac{1}{2}$ everywhere. In the case where $G$ and $D$ are defined by multilayer perceptrons, the entire system can be trained with backpropagation. There is no need for any Markov chains or unrolled approximate inference networks during either training or generation of samples. Experiments demonstrate the potential of the framework through qualitative and quantitative evaluation of the generated samples.

1 はじめに

1 Introduction

深層学習の有望性は、自然画像、音声を含む音響波形、自然言語コーパス中の記号といった人工知能アプリケーションで遭遇する種類のデータ上の確率分布を表現する、豊かで階層的なモデル[2]を発見することにある。これまでのところ、深層学習における最も顕著な成功は識別モデルに関するものであり、通常は高次元で豊かな感覚入力をクラスラベルへ写像するものである[14], [22]。これらの顕著な成功は主として、特に扱いやすい勾配を持つ区分線形ユニット[19, 9, 10]を用いた、誤差逆伝播法とドロップアウトのアルゴリズムに基づいている。深い生成モデルは、最尤推定および関連する戦略において生じる多くの扱い困難な確率的計算を近似することの難しさ、および生成の文脈で区分線形ユニットの利点を活用することの難しさのために、より小さな影響しか与えてこなかった。本稿では、これらの困難を回避する新しい生成モデル推定手続きを提案する。⁴

The promise of deep learning is to discover rich, hierarchical models [2] that represent probability distributions over the kinds of data encountered in artificial intelligence applications, such as natural images, audio waveforms containing speech, and symbols in natural language corpora. So far, the most striking successes in deep learning have involved discriminative models, usually those that map a high-dimensional, rich sensory input to a class label [14], [22]. These striking successes have primarily been based on the backpropagation and dropout algorithms, using piecewise linear units [19, 9, 10] which have a particularly well-behaved gradient . Deep generative models have had less of an impact, due to the difficulty of approximating many intractable probabilistic computations that arise in maximum likelihood estimation and related strategies, and due to difficulty of leveraging the benefits of piecewise linear units in the generative context. We propose a new generative model estimation procedure that sidesteps these difficulties.⁴

提案するadversarial netsフレームワークでは、生成モデルは敵対者と対峙する。すなわち、あるサンプルがモデル分布から来たものかデータ分布から来たものかを判定することを学習する識別モデルである。生成モデルは、偽造通貨を作り、それを発見されずに使用しようとする偽造犯の集団に類似していると考えることができる。一方、識別モデルは、その偽造通貨を検出しようとする警察に類似している。このゲームにおける競争は、偽造品が本物と区別できなくなるまで、両陣営がその手法を改善することを促す。

In the proposed adversarial nets framework, the generative model is pitted against an adversary: a discriminative model that learns to determine whether a sample is from the model distribution or the data distribution. The generative model can be thought of as analogous to a team of counterfeiters, trying to produce fake currency and use it without detection, while the discriminative model is analogous to the police, trying to detect the counterfeit currency. Competition in this game drives both teams to improve their methods until the counterfeits are indistinguishable from the genuine articles.

このフレームワークは、多くの種類のモデルおよび最適化アルゴリズムに対して具体的な学習アルゴリズムを与えることができる。本稿では、生成モデルがランダムノイズを多層パーセプトロンに通すことでサンプルを生成し、識別モデルもまた多層パーセプトロンであるという特殊な場合を検討する。この特殊な場合をadversarial netsと呼ぶ。この場合、非常に成功を収めている誤差逆伝播法およびドロップアウトのアルゴリズム[17]のみを用いて両方のモデルを学習でき、生成モデルからのサンプリングも順伝播のみを用いて行うことができる。近似推論やマルコフ連鎖は不要である。

This framework can yield specific training algorithms for many kinds of model and optimization algorithm. In this article, we explore the special case when the generative model generates samples by passing random noise through a multilayer perceptron, and the discriminative model is also a multilayer perceptron. We refer to this special case as adversarial nets. In this case, we can train both models using only the highly successful backpropagation and dropout algorithms [17] and sample from the generative model using only forward propagation. No approximate inference or Markov chains are necessary.

2 関連研究

2 Related work

潜在変数を持つ有向グラフィカルモデルの代替として、restricted Boltzmann machines (RBMs) [27, 16]、deep Boltzmann machines (DBMs) [26]およびそれらの多数の変種のような、潜在変数を持つ無向グラフィカルモデルがある。そのようなモデル内の相互作用は、正規化されていないポテンシャル関数の積として表現され、確率変数のすべての状態にわたる大域的な総和／積分によって正規化される。この量（分配関数）とその勾配は、最も自明な場合を除いて扱いが困難であるが、Markov chain Monte Carlo (MCMC)法によって推定することは可能である。混合は、MCMCに依存する学習アルゴリズムにとって重大な問題となる[3, 5]。

An alternative to directed graphical models with latent variables are undirected graphical models with latent variables, such as restricted Boltzmann machines (RBMs) [27, 16], deep Boltzmann machines (DBMs) [26] and their numerous variants. The interactions within such models are represented as the product of unnormalized potential functions, normalized by a global summation/integration over all states of the random variables. This quantity (the partition function) and its gradient are intractable for all but the most trivial instances, although they can be estimated by Markov chain Monte Carlo (MCMC) methods. Mixing poses a significant problem for learning algorithms that rely on MCMC [3, 5].

Deep belief networks (DBNs) [16]は、単一の無向レイヤーと複数の有向レイヤーを含むハイブリッドモデルである。高速な近似的レイヤー単位の学習基準が存在する一方で、DBNは無向モデルと有向モデルの両方に関連する計算上の困難を抱える。

Deep belief networks (DBNs) [16] are hybrid models containing a single undirected layer and several directed layers. While a fast approximate layer-wise training criterion exists, DBNs incur the computational difficulties associated with both undirected and directed models.

対数尤度を近似したり上界・下界を与えたりしない代替的な基準も提案されており、例えばscore matching [18]やnoise-contrastive estimation (NCE) [13]がある。これらはいずれも、学習された確率密度が正規化定数を除いて解析的に記述されることを必要とする。複数の潜在変数レイヤーを持つ多くの興味深い生成モデル（DBNやDBMなど）では、扱いやすい正規化されていない確率密度を導出することすら不可能であることに注意されたい。denoising auto-encoders [30]やcontractive autoencodersのようないくつかのモデルは、RBMに適用されたscore matchingと非常によく似た学習規則を持つ。NCEでは、本研究と同様に、生成モデルを適合させるために識別的な学習基準が用いられる。しかし、別個の識別モデルを適合させるのではなく、生成モデル自体を用いて、固定されたノイズ分布からのサンプルと生成データとを識別する。NCEは固定ノイズ分布を使用するため、モデルが観測変数の小さな部分集合に対しておおよそ正しい分布を学習した後は、学習速度が劇的に低下する。

Alternative criteria that do not approximate or bound the log-likelihood have also been proposed, such as score matching [18] and noise-contrastive estimation (NCE) [13]. Both of these require the learned probability density to be analytically specified up to a normalization constant. Note that in many interesting generative models with several layers of latent variables (such as DBNs and DBMs), it is not even possible to derive a tractable unnormalized probability density. Some models such as denoising auto-encoders [30] and contractive autoencoders have learning rules very similar to score matching applied to RBMs. In NCE, as in this work, a discriminative training criterion is employed to fit a generative model. However, rather than fitting a separate discriminative model, the generative model itself is used to discriminate generated data from samples a fixed noise distribution. Because NCE uses a fixed noise distribution, learning slows dramatically after the model has learned even an approximately correct distribution over a small subset of the observed variables.

最後に、確率分布を明示的に定義するのではなく、所望の分布からサンプルを生成する生成機械を学習させる手法も存在する。このアプローチには、そのような機械を誤差逆伝播によって学習できるように設計できるという利点がある。この分野における近年の代表的な研究として、generalized denoising auto-encoders [4]を拡張したgenerative stochastic network (GSN)フレームワーク[5]がある。両者はともに、パラメータ化されたMarkov chainを定義するものとみなすことができる。すなわち、生成Markov chainの1ステップを実行する機械のパラメータを学習するのである。GSNと比較すると、adversarial netsフレームワークはサンプリングのためにMarkov chainを必要としない。adversarial netsは生成中にフィードバックループを必要としないため、誤差逆伝播の性能を向上させる一方でフィードバックループ内で使用すると活性化が非有界になるという問題を持つpiecewise linear units [19, 9, 10]を、より効果的に活用できる。生成機械に対して誤差逆伝播を行うことによって学習するさらに最近の例として、auto-encoding variational Bayes [20]およびstochastic backpropagation [24]に関する最近の研究がある。

Finally, some techniques do not involve defining a probability distribution explicitly, but rather train a generative machine to draw samples from the desired distribution. This approach has the advantage that such machines can be designed to be trained by back-propagation. Prominent recent work in this area includes the generative stochastic network (GSN) framework [5], which extends generalized denoising auto-encoders [4]: both can be seen as defining a parameterized Markov chain, i.e., one learns the parameters of a machine that performs one step of a generative Markov chain. Compared to GSNs, the adversarial nets framework does not require a Markov chain for sampling. Because adversarial nets do not require feedback loops during generation, they are better able to leverage piecewise linear units [19, 9, 10], which improve the performance of backpropagation but have problems with unbounded activation when used in a feedback loop. More recent examples of training a generative machine by back-propagating into it include recent work on auto-encoding variational Bayes [20] and stochastic backpropagation [24].

3 敵対的ネット

3 Adversarial nets

敵対的モデリングのフレームワークは、両方のモデルが多層パーセプトロンである場合に最も直接的に適用できる。データ$\boldsymbol{x}$上の生成器の分布$p_g$を学習するために、入力ノイズ変数$p_z(\boldsymbol{z})$上の事前分布を定義し、次にデータ空間への写像を$G(\boldsymbol{z}; \theta_g)$として表現する。ここで$G$は、パラメータ$\theta_g$を持つ多層パーセプトロンによって表現される微分可能な関数である。また、単一のスカラーを出力する第2の多層パーセプトロン$D(\boldsymbol{x}; \theta_d)$も定義する。$D(\boldsymbol{x})$は、$\boldsymbol{x}$が$p_g$ではなくデータから来た確率を表す。$D$は、学習例と$G$からのサンプルの両方に正しいラベルを割り当てる確率を最大化するように学習する。同時に、$G$は$\log(1 - D(G(\boldsymbol{z})))$を最小化するように学習する。

The adversarial modeling framework is most straightforward to apply when the models are both multilayer perceptrons. To learn the generator’s distribution $p_g$ over data $\boldsymbol{x}$, we define a prior on input noise variables $p_z(\boldsymbol{z})$, then represent a mapping to data space as $G(\boldsymbol{z}; \theta_g)$, where $G$ is a differentiable function represented by a multilayer perceptron with parameters $\theta_g$. We also define a second multilayer perceptron $D(\boldsymbol{x}; \theta_d)$ that outputs a single scalar. $D(\boldsymbol{x})$ represents the probability that $\boldsymbol{x}$ came from the data rather than $p_g$. We train $D$ to maximize the probability of assigning the correct label to both training examples and samples from $G$. We simultaneously train $G$ to minimize $\log(1 - D(G(\boldsymbol{z})))$:

言い換えると、$D$と$G$は、値関数$V(G,D)$を持つ以下の二者ミニマックスゲームを行う。

In other words, $D$ and $G$ play the following two-player minimax game with value function $V(G,D)$:

次節では、敵対的ネットの理論的解析を示す。基本的には、この学習基準によって、$G$と$D$に十分な容量が与えられたとき、すなわち非パラメトリック極限において、データ生成分布を回復できることを示す。より形式性を抑えた教育的な説明については図 1を参照されたい。実際には、このゲームを反復的な数値的手法を用いて実装しなければならない。学習の内側ループで$D$を完全に最適化することは計算上法外に高価であり、有限のデータセットでは過学習を引き起こす。その代わりに、$D$の最適化を$k$ステップ行い、その後$G$の最適化を1ステップ行うことを交互に繰り返す。これにより、$G$が十分ゆっくり変化する限り、$D$はその最適解の近傍に維持される。この戦略は、SML/PCD [31, 29]学習が、学習の内側ループの一部としてマルコフ連鎖をバーンインすることを避けるために、ある学習ステップから次の学習ステップへとマルコフ連鎖からのサンプルを維持する方法と類似している。この手続きはアルゴリズム 1で形式的に示される。

In the next section, we present a theoretical analysis of adversarial nets, essentially showing that the training criterion allows one to recover the data generating distribution as $G$ and $D$ are given enough capacity, i.e., in the non-parametric limit. See Figure 1 for a less formal, more pedagogical explanation of the approach. In practice, we must implement the game using an iterative, numerical approach. Optimizing $D$ to completion in the inner loop of training is computationally prohibitive, and on finite datasets would result in overfitting. Instead, we alternate between $k$ steps of optimizing $D$ and one step of optimizing $G$. This results in $D$ being maintained near its optimal solution, so long as $G$ changes slowly enough. This strategy is analogous to the way that SML/PCD [31, 29] training maintains samples from a Markov chain from one learning step to the next in order to avoid burning in a Markov chain as part of the inner loop of learning. The procedure is formally presented in Algorithm 1.

実際には、式 1は$G$が十分に学習するための十分な勾配を与えない可能性がある。学習の初期段階では、$G$の性能が低いとき、$D$はサンプルが学習データと明らかに異なるため、高い確信度でそれらを棄却できる。この場合、$\log(1-D(G(z)))$は飽和する。$G$を$\log(1-D(G(z)))$の最小化に向けて学習する代わりに、$\log D(G(z))$を最大化するように$G$を学習できる。この目的関数は、$G$と$D$の力学系において同じ不動点をもたらすが、学習初期においてはるかに強い勾配を提供する。

In practice, equation 1 may not provide sufficient gradient for $G$ to learn well. Early in learning, when $G$ is poor, $D$ can reject samples with high confidence because they are clearly different from the training data. In this case, $\log(1-D(G(z)))$ saturates. Rather than training $G$ to minimize $\log(1-D(G(z)))$ we can train $G$ to maximize $\log D(G(z))$. This objective function results in the same fixed point of the dynamics of $G$ and $D$ but provides much stronger gradients early in learning.

4 理論的結果

4 Theoretical Results

生成器$G$は、$z\sim p_z$のときに得られるサンプル$G(z)$の分布として、確率分布$p_g$を暗黙的に定義する。したがって、十分な容量と学習時間が与えられれば、アルゴリズム 1が$p_{\mathrm{data}}$の良い推定量へ収束することを望む。本節の結果は非パラメトリックな設定で行われる。例えば、確率密度関数の空間における収束を調べることによって、無限の容量を持つモデルを表現する。

The generator $G$ implicitly defines a probability distribution $p_g$ as the distribution of the samples $G(z)$ obtained when $z\sim p_z$. Therefore, we would like Algorithm 1 to converge to a good estimator of $p_{\mathrm{data}}$, if given enough capacity and training time. The results of this section are done in a non-parametric setting, e.g. we represent a model with infinite capacity by studying convergence in the space of probability density functions.

4.1節で、このミニマックスゲームが$p_g=p_{\mathrm{data}}$に対して大域的最適解を持つことを示す。続いて4.2節で、アルゴリズム 1が式 1を最適化することを示し、これによって望ましい結果が得られることを示す。

We will show in section 4.1 that this minimax game has a global optimum for $p_g=p_{\mathrm{data}}$. We will then show in section 4.2 that Algorithm 1 optimizes Eq 1, thus obtaining the desired result.

アルゴリズム 1 生成的敵対的ネットワークのミニバッチ確率的勾配降下法による学習。識別器に適用するステップ数$k$はハイパーパラメータである。我々の実験では、最も計算コストの低い選択肢である$k = 1$を用いた。

Algorithm 1 Minibatch stochastic gradient descent training of generative adversarial nets. The number of steps to apply to the discriminator, $k$, is a hyperparameter. We used $k = 1$, the least expensive option in our experiments.

for 学習反復回数 do

for number of training iterations do

for $k$ ステップ do

for $k$ steps do

• ノイズ事前分布$p_g(z)$から、$m$個のノイズサンプル$\{z^{(1)}, \ldots, z^{(m)}\}$のミニバッチをサンプリングする。
• データ生成分布$p_{\text{data}}(x)$から、$m$個の例$\{x^{(1)}, \ldots, x^{(m)}\}$のミニバッチをサンプリングする。
• 確率的勾配に沿って上昇することにより識別器を更新する。

• Sample minibatch of $m$ noise samples $\{z^{(1)}, \ldots, z^{(m)}\}$ from noise prior $p_g(z)$.
• Sample minibatch of $m$ examples $\{x^{(1)}, \ldots, x^{(m)}\}$ from data generating distribution $p_{\text{data}}(x)$.
• Update the discriminator by ascending its stochastic gradient:

end for

end for

• ノイズ事前分布$p_g(z)$から、$m$個のノイズサンプル$\{z^{(1)}, \ldots, z^{(m)}\}$のミニバッチをサンプリングする。
• 確率的勾配に沿って下降することにより生成器を更新する。

• Sample minibatch of $m$ noise samples $\{z^{(1)}, \ldots, z^{(m)}\}$ from noise prior $p_g(z)$.
• Update the generator by descending its stochastic gradient:

end for

end for

勾配ベースの更新には、任意の標準的な勾配ベース学習則を用いることができる。我々の実験ではモメンタムを用いた。

The gradient-based updates can use any standard gradient-based learning rule. We used momentum in our experiments.

4.1 $p_g = p_{\text{data}}$の大域的最適性

4.1 Global Optimality of $p_g = p_{\text{data}}$

まず、任意の与えられた生成器$G$に対する最適な識別器$D$を考える。

We first consider the optimal discriminator $D$ for any given generator $G$.

命題 1. $G$を固定したとき、最適な識別器$D$は次式である

Proposition 1. For $G$ fixed, the optimal discriminator $D$ is

証明. 任意の生成器Gが与えられたとき、識別器Dの学習基準は量$V(G,D)$を最大化することである。

Proof. The training criterion for the discriminator D, given any generator G, is to maximize the quantity $V(G,D)$

任意の$(a,b)\in\mathbb{R}^2\setminus\{0,0\}$について、関数$y\rightarrow a\log(y)+b\log(1-y)$は、$[0,1]$において$\frac{a}{a+b}$で最大値を達成する。識別器は$Supp(p_{\text{data}})\cup Supp(p_g)$の外側で定義される必要がないため、証明が完了する。$\square$

For any $(a,b)\in\mathbb{R}^2\setminus\{0,0\}$, the function $y\rightarrow a\log(y)+b\log(1-y)$ achieves its maximum in $[0,1]$ at $\frac{a}{a+b}$. The discriminator does not need to be defined outside of $Supp(p_{\text{data}})\cup Supp(p_g)$, concluding the proof. $\square$

$D$の学習目的関数は、条件付き確率$P(Y=y|x)$を推定するための対数尤度を最大化するものとして解釈できることに注意されたい。ここで$Y$は、$x$が$p_{\text{data}}$（$y=1$）から来たか、あるいは$p_g$（$y=0$）から来たかを示す。式 1のミニマックスゲームは次のように再定式化できる。

Note that the training objective for $D$ can be interpreted as maximizing the log-likelihood for estimating the conditional probability $P(Y=y|x)$, where $Y$ indicates whether $x$ comes from $p_{\text{data}}$ (with $y=1$) or from $p_g$ (with $y=0$). The minimax game in Eq. 1 can now be reformulated as:

定理 1. 仮想的な学習基準$C(G)$の大域的最小値は、$p_g = p_{\mathrm{data}}$である場合に限り達成される。そのとき、$C(G)$は値$-\log 4$を達成する。

Theorem 1. The global minimum of the virtual training criterion $C(G)$ is achieved if and only if $p_g = p_{\mathrm{data}}$. At that point, $C(G)$ achieves the value $-\log 4$.

証明. $p_g = p_{\mathrm{data}}$のとき、$D_G^*(x) = \frac{1}{2}$である（式 2を参照）。したがって、$D_G^*(x) = \frac{1}{2}$における式 4を調べることで、$C(G) = \log \frac{1}{2} + \log \frac{1}{2} = -\log 4$を得る。これが$C(G)$の取り得る最良の値であり、かつ$p_g = p_{\mathrm{data}}$のときにのみ達成されることを示すために、次を観察する。

Proof. For $p_g = p_{\mathrm{data}}$, $D_G^*(x) = \frac{1}{2}$, (consider Eq. 2). Hence, by inspecting Eq. 4 at $D_G^*(x) = \frac{1}{2}$, we find $C(G) = \log \frac{1}{2} + \log \frac{1}{2} = -\log 4$. To see that this is the best possible value of $C(G)$, reached only for $p_g = p_{\mathrm{data}}$, observe that

そして、この式を$C(G) = V(D_G^*, G)$から差し引くことにより、次を得る。

and that by subtracting this expression from $C(G) = V(D_G^*, G)$, we obtain:

ここで、KLはKullback–Leiblerダイバージェンスである。前式の中に、モデルの分布とデータ生成過程との間のJensen–Shannonダイバージェンスを認めることができる。

where KL is the Kullback–Leibler divergence. We recognize in the previous expression the Jensen–Shannon divergence between the model’s distribution and the data generating process:

二つの分布間のJensen–Shannonダイバージェンスは常に非負であり、それらが等しい場合にのみゼロとなるので、$C^* = -\log(4)$が$C(G)$の大域的最小値であり、唯一の解が$p_g = p_{\mathrm{data}}$、すなわち生成モデルがデータ生成過程を完全に再現することであることを示した。$\square$

Since the Jensen–Shannon divergence between two distributions is always non-negative and zero only when they are equal, we have shown that $C^* = -\log(4)$ is the global minimum of $C(G)$ and that the only solution is $p_g = p_{\mathrm{data}}$, i.e., the generative model perfectly replicating the data generating process. $\square$

4.2 アルゴリズム 1 の収束

4.2 Convergence of Algorithm 1

命題 2. $G$と$D$が十分な容量を持ち、アルゴリズム 1 の各ステップにおいて、識別器が与えられた$G$に対する最適値に到達することを許され、さらに$p_g$が次の基準を改善するように更新されるならば

Proposition 2. If $G$ and $D$ have enough capacity, and at each step of Algorithm 1, the discriminator is allowed to reach its optimum given $G$, and $p_g$ is updated so as to improve the criterion

$p_g$は$p_{\mathrm{data}}$に収束する

then $p_g$ converges to $p_{\mathrm{data}}$

証明. 上記の基準で行ったように、$V(G, D) = U(p_g, D)$を$p_g$の関数として考える。$U(p_g, D)$は$p_g$について凸であることに注意せよ。凸関数族の上限の劣微分には、最大値が達成される点での関数の導関数が含まれる。言い換えると、$f(x) = \sup_{\alpha\in\mathcal{A}} f_\alpha(x)$であり、すべての$\alpha$について$f_\alpha(x)$が$x$に関して凸であるならば、$\beta = \arg \sup_{\alpha\in\mathcal{A}} f_\alpha(x)$のとき$\partial f_\beta(x) \in \partial f$である。これは、対応する$G$が与えられたときの最適な$D$において、$p_g$に対する勾配降下更新を計算することと等価である。定理 1 で証明したように、$\sup_D U(p_g, D)$は$p_g$について凸であり、かつ一意な大域的最適値を持つ。したがって、$p_g$の更新が十分に小さければ、$p_g$は$p_x$に収束し、これで証明は完了する。$\square$

Proof. Consider $V(G, D) = U(p_g, D)$ as a function of $p_g$ as done in the above criterion. Note that $U(p_g, D)$ is convex in $p_g$. The subderivatives of a supremum of convex functions include the derivative of the function at the point where the maximum is attained. In other words, if $f(x) = \sup_{\alpha\in\mathcal{A}} f_\alpha(x)$ and $f_\alpha(x)$ is convex in $x$ for every $\alpha$, then $\partial f_\beta(x) \in \partial f$ if $\beta = \arg \sup_{\alpha\in\mathcal{A}} f_\alpha(x)$. This is equivalent to computing a gradient descent update for $p_g$ at the optimal $D$ given the corresponding $G$. $\sup_D U(p_g, D)$ is convex in $p_g$ with a unique global optima as proven in Thm 1, therefore with sufficiently small updates of $p_g$, $p_g$ converges to $p_x$, concluding the proof. $\square$

実際には、敵対的ネットワークは関数$G(z; \theta_g)$を介して$p_g$分布の限定された族を表現し、$p_g$そのものではなく$\theta_g$を最適化する。$G$を定義するために多層パーセプトロンを用いると、パラメータ空間に複数の臨界点が導入される。しかし、多層パーセプトロンが実際には優れた性能を示すことは、理論的保証が欠如しているにもかかわらず、それらが使用するのに妥当なモデルであることを示唆している。

In practice, adversarial nets represent a limited family of $p_g$ distributions via the function $G(z; \theta_g)$, and we optimize $\theta_g$ rather than $p_g$ itself. Using a multilayer perceptron to define $G$ introduces multiple critical points in parameter space. However, the excellent performance of multilayer perceptrons in practice suggests that they are a reasonable model to use despite their lack of theoretical guarantees.

5 実験

5 Experiments

MNIST[23]、Toronto Face Database (TFD) [28]、および CIFAR-10 [21]を含むさまざまなデータセット上で敵対的ネットを学習した。生成器ネットは rectifier linear activation [19, 9]と sigmoid activation の混合を用い、一方で識別器ネットは maxout [10] activation を用いた。識別器ネットの学習にはドロップアウト [17]を適用した。理論的フレームワークでは生成器の中間レイヤーにドロップアウトやその他のノイズを用いることが可能であるが、本研究では生成器ネットワークの最下層への入力としてのみノイズを用いた。

We trained adversarial nets on a range of datasets including MNIST[23], the Toronto Face Database (TFD) [28], and CIFAR-10 [21]. The generator nets used a mixture of rectifier linear activations [19, 9] and sigmoid activations, while the discriminator net used maxout [10] activations. Dropout [17] was applied in training the discriminator net. While our theoretical framework permits the use of dropout and other noise at intermediate layers of the generator, we used noise as the input to only the bottommost layer of the generator network.

$G$によって生成されたサンプルに Gaussian Parzen window を当てはめ、この分布の下での対数尤度を報告することにより、$p_g$の下でのテストセットデータの確率を推定する。$\sigma$パラメータ

We estimate probability of the test set data under $p_g$ by fitting a Gaussian Parzen window to the samples generated with $G$ and reporting the log-likelihood under this distribution. The $\sigma$ parameter

表 1: Parzen window に基づく対数尤度推定値。MNIST で報告した数値はテストセット上のサンプルの平均対数尤度であり、平均の標準誤差はサンプル間で計算した。TFD では、データセットの各 fold 間で標準誤差を計算し、各 fold の検証セットを用いて異なる$\sigma$を選択した。TFD では、各 fold ごとに$\sigma$の交差検証を行い、各 fold の平均対数尤度を計算した。MNIST については、データセットの二値版ではなく実数値版に対する他のモデルと比較している。

Table 1: Parzen window-based log-likelihood estimates. The reported numbers on MNIST are the mean log-likelihood of samples on test set, with the standard error of the mean computed across examples. On TFD, we computed the standard error across folds of the dataset, with a different $\sigma$ chosen using the validation set of each fold. On TFD, $\sigma$ was cross validated on each fold and mean log-likelihood on each fold were computed. For MNIST we compare against other models of the real-valued (rather than binary) version of dataset.

の Gaussian は検証セット上での交差検証によって求めた。この手法は Breuleux et al. [8]によって導入され、厳密な尤度の計算が実行不可能なさまざまな生成モデルに対して用いられている [25, 3, 5]。結果を表 1 に示す。この尤度推定法は分散がやや大きく、高次元空間では良好に機能しないが、我々の知る限り利用可能な最良の手法である。サンプリングはできるが尤度を直接推定できない生成モデルの進歩は、そのようなモデルの評価方法に関するさらなる研究を促している。

of the Gaussians was obtained by cross validation on the validation set. This procedure was introduced in Breuleux et al. [8] and used for various generative models for which the exact likelihood is not tractable [25, 3, 5]. Results are reported in Table 1. This method of estimating the likelihood has somewhat high variance and does not perform well in high dimensional spaces but it is the best method available to our knowledge. Advances in generative models that can sample but not estimate likelihood directly motivate further research on how to evaluate such models.

図 2 および図 3 では、学習後の生成器ネットから得られたサンプルを示す。これらのサンプルが既存手法によって生成されたサンプルより優れていると主張するものではないが、少なくとも文献中の優れた生成モデルと競争力があり、敵対的フレームワークの可能性を示していると考える。

In Figures 2 and 3 we show samples drawn from the generator net after training. While we make no claim that these samples are better than samples generated by existing methods, we believe that these samples are at least competitive with the better generative models in the literature and highlight the potential of the adversarial framework.

表 2: 生成モデリングにおける課題。モデルに関わる主要な操作ごとに、深層生成モデリングへの異なるアプローチが遭遇する困難を要約したものである。

Table 2: Challenges in generative modeling: a summary of the difficulties encountered by different approaches to deep generative modeling for each of the major operations involving a model.

6 利点と欠点

6 Advantages and disadvantages

この新しいフレームワークには、従来のモデリングフレームワークと比較して利点と欠点がある。欠点は主として、$p_g(x)$の明示的な表現が存在しないこと、そして学習中に$D$が$G$とうまく同期されなければならないことである（特に、$p_{\text{data}}$をモデル化するのに十分な多様性を持たせるために、$G$が$\mathbf{z}$のあまりにも多くの値を同じ$\mathbf{x}$の値へと崩壊させてしまう「Helveticaシナリオ」を避けるため、$D$を更新せずに$G$を過度に学習させてはならない）。これは、Boltzmannマシンの負のチェーンが学習ステップ間で常に最新に保たれなければならないのと同様である。利点は、Markovチェーンがまったく不要であり、勾配を得るためにはバックプロパゲーションのみが用いられ、学習中に推論 (inference) が不要であり、さらに多種多様な関数をモデルに組み込めることである。表 2は、生成的敵対ネットワークと他の生成モデリング手法との比較を要約している。

This new framework comes with advantages and disadvantages relative to previous modeling frameworks. The disadvantages are primarily that there is no explicit representation of $p_g(x)$, and that $D$ must be synchronized well with $G$ during training (in particular, $G$ must not be trained too much without updating $D$, in order to avoid “the Helvetica scenario” in which $G$ collapses too many values of $\mathbf{z}$ to the same value of $\mathbf{x}$ to have enough diversity to model $p_{\text{data}}$), much as the negative chains of a Boltzmann machine must be kept up to date between learning steps. The advantages are that Markov chains are never needed, only backprop is used to obtain gradients, no inference is needed during learning, and a wide variety of functions can be incorporated into the model. Table 2 summarizes the comparison of generative adversarial nets with other generative modeling approaches.

前述の利点は主として計算上のものである。敵対的モデルはまた、生成器ネットワークがデータ例によって直接更新されるのではなく、識別器を通って流れる勾配によってのみ更新されることから、何らかの統計的利点も得られる可能性がある。これは、入力の構成要素が生成器のパラメータへ直接コピーされないことを意味する。敵対的ネットワークのもう一つの利点は、非常に鋭い、さらには退化した分布さえ表現できることである。一方、Markovチェーンに基づく手法では、チェーンがモード間を混合できるようにするため、分布がある程度ぼやけている必要がある。

The aforementioned advantages are primarily computational. Adversarial models may also gain some statistical advantage from the generator network not being updated directly with data examples, but only with gradients flowing through the discriminator. This means that components of the input are not copied directly into the generator’s parameters. Another advantage of adversarial networks is that they can represent very sharp, even degenerate distributions, while methods based on Markov chains require that the distribution be somewhat blurry in order for the chains to be able to mix between modes.

7 結論と今後の研究

7 Conclusions and future work

このフレームワークは、多くの直接的な拡張を可能にする。

This framework admits many straightforward extensions:

1. 条件付き生成モデル$p(\mathbf{x}\mid\mathbf{c})$は、$\mathbf{c}$を$G$と$D$の両方への入力として追加することによって得られる。
2. 学習された近似推論は、$\mathbf{x}$が与えられたときに$\mathbf{z}$を予測する補助的なネットワークを学習することによって実行できる。これはwake-sleepアルゴリズム[15]によって学習される推論ネットに類似しているが、生成器ネットの学習が完了した後に、固定された生成器ネットに対して推論ネットを学習できるという利点を持つ。

1. A conditional generative model $p(\mathbf{x}\mid\mathbf{c})$ can be obtained by adding $\mathbf{c}$ as input to both $G$ and $D$.
2. Learned approximate inference can be performed by training an auxiliary network to predict $\mathbf{z}$ given $\mathbf{x}$. This is similar to the inference net trained by the wake-sleep algorithm [15] but with the advantage that the inference net may be trained for a fixed generator net after the generator net has finished training.

1. $S$が$x$の添字の部分集合であるとき、パラメータを共有する条件付きモデル群を学習することによって、すべての条件付き分布$p(x_S \mid x_{\not S})$を近似的にモデル化できる。本質的には、敵対的ネットを用いて決定論的なMP-DBM [11]の確率的拡張を実装できる。
2. 半教師あり学習: 識別器または推論ネットから得られる特徴量は、ラベル付きデータが限られている場合に分類器の性能を向上させる可能性がある。
3. 効率改善: $G$と$D$を協調させるより良い方法、あるいは学習中に$z$をサンプリングするためのより良い分布を決定することによって、学習を大幅に高速化できる可能性がある。

1. One can approximately model all conditionals $p(x_S \mid x_{\not S})$ where $S$ is a subset of the indices of $x$ by training a family of conditional models that share parameters. Essentially, one can use adversarial nets to implement a stochastic extension of the deterministic MP-DBM [11].
2. Semi-supervised learning: features from the discriminator or inference net could improve performance of classifiers when limited labeled data is available.
3. Efficiency improvements: training could be accelerated greatly by divising better methods for coordinating $G$ and $D$ or determining better distributions to sample $z$ from during training.

本論文は敵対的モデリングフレームワークの実現可能性を実証しており、これらの研究方向が有用である可能性を示唆している。

This paper has demonstrated the viability of the adversarial modeling framework, suggesting that these research directions could prove useful.

謝辞

Acknowledgments

有益な議論をしてくださったPatrice Marcotte、Olivier Delalleau、Kyunghyun Cho、Guillaume Alain、およびJason Yosinskiに感謝する。Yann DauphinはParzen window評価コードを共有してくださった。Pylearn2 [12]およびTheano [7, 1]の開発者たち、とりわけ本プロジェクトのために特別にTheanoの機能を共有してくださったFrédéric Bastienに感謝する。Arnaud Bergeronは$\LaTeX$組版に関して不可欠な支援を提供してくださった。また、資金提供を行ったCIFARおよびCanada Research Chairs、ならびに計算リソースを提供したCompute CanadaおよびCalcul Québecにも感謝する。Ian Goodfellowは2013 Google Fellowship in Deep Learningの支援を受けている。最後に、我々の創造性を刺激してくれたLes Trois Brasseursに感謝する。

We would like to acknowledge Patrice Marcotte, Olivier Delalleau, Kyunghyun Cho, Guillaume Alain and Jason Yosinski for helpful discussions. Yann Dauphin shared his Parzen window evaluation code with us. We would like to thank the developers of Pylearn2 [12] and Theano [7, 1], particularly Frédéric Bastien who shared a Theano feature specifically to benefit this project. Arnaud Bergeron provided much-needed support with $\LaTeX$ typesetting. We would also like to thank CIFAR, and Canada Research Chairs for funding, and Compute Canada, and Calcul Québec for providing computational resources. Ian Goodfellow is supported by the 2013 Google Fellowship in Deep Learning. Finally, we would like to thank Les Trois Brasseurs for stimulating our creativity.