JDLA-Gの模試

はじめに

Study-AIが提供する
日本ディープラーニング協会試験の問題を解く。
http://ai999.careers/tools/x09/

問題

ニューラルネットワークは高い表現力を持つ反面、過学習をしやすいという性質を持つため、それを改善させる方法が多数考案されている。例えば、学習の際に一部のノードを無効化する（ア）、一部の層の出力を正規化する（イ）、データの水増しをしてデータの不足を補う（ウ）、パラメータのノルムにペナルティを課す（エ）などがそれに当たる。

問題

学習率の値は学習の進み方に大きな影響を与える。例えば、学習率が過度に（ア）とコスト関数の高い局所的最適解から抜け出せなくなることがある。また、学習率が過度に（イ）と、ネットワークの重みが発散することがある。学習率を学習が進むに連れて変化させる方法もあり、一般に学習が進むに連れて学習率を（ウ）と最終的により最適解に近いパラメータになる。

問題

生成モデルの一つであり、生成ネットワークと識別ネットワークの２つのネットワークを対抗させるように学習させることで、得られる生成モデルの名称として最も適切なものを１つ選べ。

問題

 データが少量しかないなどの理由で、対象のタスクを学習させることが困難なときに、関連する別のタスクで学習し、その学習済みの特徴やパラメータなどを利用することで効率的に対象のタスクを学習することがある。これを（ア）という。

問題

 ディープラーニングは、ニューラルネットワークを多層化したものであり、観測データから本質的な情報である（ア）を自動的に抽出できる点が特徴である。また、従来の機械学習手法と比べると、（ウ）という性質も持っている。

問題

 機械学習においては過学習を避けるために、訓練誤差ではなく汎化誤差を可能なかぎり小さくする手法である（ア）を用いることが多い。また複数のモデルの予測結果の平均を利用する（イ）がある。他にもディープニューラルネットワークに対しては、ランダムに一定の割合のノードを削除して学習を行う（ウ）が有効とされている。（ア）手法にはいくつかのパラメータをスパースにする（エ）などがある。

問題

 ディープニューラルネットワークの普及に貢献した一つの要素に、（ア）を克服する手法が提案されたことがある。（ア）は誤差逆伝播法において、（イ）ことによって生じるとされている。（ア）に対処するための一つの方法として、活性化関数に（ウ）を利用するなどがある。

問題

大規模なディープニューラルネットワークの学習では学習するべきパラメータ数が膨大となるため、処理の高速化が必要となる。2012年に提案された分散並列技術である（ア）や画像処理に特化したプロセッサの（イ）は大規模なニューラルネットワークの学習を実現するために利用されてきた。また、大規模なニューラルネットワークの学習が困難となる原因の一つとして、ある層の入力がそれより下層の学習が進むにつれて変化する（ウ）がある。（ウ）を防ぐために出力値の分布の偏りを抑制する（エ）が2015年に提案されている。

問題

 畳み込みニューラルネットワークは、畳み込み層とプーリング層を積み上げた構成をしている。画像データを用いた場合、畳み込み層では、出力画像のサイズを調整するために元の画像の周りを固定の値で埋める（ア）を行う。プーリング層では畳み込み層の出力を圧縮するプーリングを行う、（イ）などの手法がある。

問題

 ニューラルネットワークには（ア）などの多くのハイパーパラメータが存在し、これらの値が精度に大きな影響を与える。ハイパーパラメータのチューニング方法としては、パラメータの候補値を指定し、それらの組み合わせを調べる（イ）などがある。また、近年は、ハイパーパラメータを含め最適化問題とする（ウ）が効率的なチューニング方法として注目をあびている。

問題

 自己符号化器はニューラルネットワークによる（ア）の代表的な応用であり、出力が入力に近づくようにニューラルネットを学習させる。主に（イ）のために利用されることが多く、活性化関数に恒等写像を用いた場合の3層の自己符号化器は（ウ）と同様の結果を返す。自己符号化器を多層化すると、ディープニューラルネット同様に勾配消失問題が生じるため、複雑な内部表現を得ることは困難であった。この問題に対して2006年頃に（エ）らは、単層の自己符号化器に分割し入力層から繰り返し学習させる（オ）を積層自己符号化器に適用することで、汎用的な自己符号化器の利用を可能とした。また、自己符号化器の代表的な応用例として（カ）がある。

問題

 RNNは（ア）系列データの処理に長けているニューラルネットワークである。RNNは、（イ）勾配消失問題が起きやすいという特徴を持っていたが、RNNの一種であるLSTMでは（ウ）を含むLSTM Blockを組み込むことで、長期間の系列情報に対しても勾配消失せずに学習を行うことができた。

問題

 RNNについての説明として誤っている選択肢を一つ選べ。
1RNNではネットワークにループ構造が含まれるため、中間層が1層であっても勾配消失問題が起きてしまう。
2音声認識ではRNNの一種であるエルマン・ネットワークが利用されてきた。
3RNNの学習には勾配消失問題を避けることのできる通時的誤差逆伝播法(back-propagation through time法)が利用される
4RNNの一種であるLSTMは機械翻訳や画像からのキャプション生成などに応用できる。

問題

ディープニューラルネットワークの学習の目的は（ア）を最小化することであり、この最適化のために勾配降下法が利用される。しかし、勾配降下法にはパラメータの勾配を数値的に求めると（イ）問題があり、このような問題を避けるために誤差逆伝播法が利用される。またディープラーニングには過学習の問題もある。過学習とは（ウ）は小さいにも関わらず、（エ）が小さくならないことであり、これらの問題を克服するために様々な手法の開発が進められている。

問題

 勾配降下法においてパラメータの更新量を決める（ア）の決定は重要である。例えば（ア）が小さすぎると（イ）などの課題が生じるため、（ウ）などの様々な（ア）調整手法が提案されている。

問題

CNNで行われる畳み込み演算の計算処理について考える。5×5のサイズの画像に対して、3×3のフィルタをパディング1、ストライド1で適当した場合の出力の図のサイズを答えよ。

問題

ディープニューラルネットワークのパラメータ最適化手法として（ア）などの勾配降下法が適用される。しかし、勾配降下法には（イ）などの問題があり、これらの問題に対処するために、学習率をパラメータに適応させることで自動的に学習率を調整することができる（ウ）や勾配の平均と分散をオンラインで推定し利用する（エ）が利用されてきた。

問題

 機械学習の分野において有名な二つの定理について扱う。（ア）は、認知できる全ての客観的な特徴に基づくと全ての対象は同程度に類似している、つまり特徴を選択しなければ表現の類似度に基づく分類は不可能であることを示している。（イ）は、全てのタスクに対して常に他よりすぐれている万能的なアルゴリズムは存在しないことを示している。

問題

 深層学習のモデルは、確定的モデルと確率的モデルに分類することができる。これらのモデルの例として、確定的モデルに（ア）や確率的モデルに（イ）がある。

問題

 深層学習を含めて機械学習において精度の高い学習をするためには、観測データの適切な前処理が必須である。異なるスケールの特徴量を同時に扱えるようにするために、平均を0に分散を1に規格化する（ア）や、特徴量の線形結合からデータ内の分散が大きくなるような特徴量を得る(イ）などは広く利用されている。また、画像処理の分野においては、減算正規化と除算正規化の処理を行う（ウ）などが前処理として利用され、（エ）などの画像処理に特化したライブラリで行うことができる。また、自然言語処理の分野においては、文章に単語が含まれているかどうかを考えてテキストデータを数値化する（オ）や文章に含まれる単語の重要度を特徴量とする（カ）などがある。

問題

 強化学習の説明として誤りであるものを選べ
1正解データ付きの訓練データを用意する必要がない。
2一般的に学習には時間がかかる。
3状態遷移を考慮することができる。
4汎用性が高く異なるタスクへの転移が容易である。

問題

 生成モデルとは、訓練データからそのデータの特徴を学習し、類似したデータを生成することができるモデルである。ディープニューラルネットの生成モデルの例として、自己符号化器の潜在変数に確率分布を導入した（ア）や、訓練データと生成器が生成したデータを識別器で判別させることによって学習を進める（イ）がある。

問題

 （ア）は深層学習における重要な課題の一つであり、学習済みのディープニューラルネットモデルを欺くように人工的に作られたサンプルのことである。サンプルに対して微小な摂動を加えることで、作為的にモデルの誤認識を引き起こすことができる。

問題

強化学習では、行動を学習する（ア）と（ア）が行動を加える対象である（イ）を考え、行動に応じて（イ）は（ア）に状態と（ウ）を返す。行動と状態/（ウ）の獲得を繰り返し、最も多くの（ウ）をもらえるような方策を得ることが強化学習の目的である。

問題

 強化学習において、行動価値関数の関数近似に畳み込みニューラルネットワークを用いた手法が（ア）である。

問題

 過学習とはどのような状態のことか。以下の文から最も適切なものを１つ選べ。
1重みの状態が0になること
2活性化関数が機能しなくなること
3特定の訓練サンプルに対して、特化して学習すること
4バイアスが0になること

問題

 内部共変量シフトについて以下の記述から最も適切なものを１つ選べ。
1入力の分布が学習途中で大きく変わってくる問題
2入力の平均と分散を特定の値にする手法
3重みの初期値を設定する手法
4パラメータの勾配が0になる問題

問題

 確率的勾配法は深層学習において最もよく知られる最適化アルゴリズムであり、いくつかの改善を加えたものが広く使われている。例えば、以前に適用した勾配の方向を現在のパラメータ更新にも影響させる（ア）という手法や、勾配を２乗した値を蓄積し、すでに大きく更新されたパラメータほど更新量（学習率）を小さくする（イ）や、（イ）における一度更新量が飽和した重みはもう更新されないという欠点を、指数移動平均を蓄積することにより解決した（ウ）などがある。

問題

 ディープラーニングの技術を利用したシステムを開発する際、複雑な処理が比較的簡潔に記述できることから、既存のフレームワークを利用することも多い。ディープラーニングのフレームワークは複数あり、Google社提供の（ア）や（ア）のラッパーとして機能する（イ）、国内企業であるPreferredNetworksで開発された（ウ）などがある。また、（エ）は（ウ）と同じDefine-by-Run方式を採用している。

問題