AIと機械学習（前期2単位）

教授　大塚 玲

１．授業のねらい

本講義では、情報セキュリティへの応用も活発化しているAIと機械学習の理論について学ぶ．講義は2つの部分に分かれている．最初の10回はC.M. Bishop著「パターン認識と機械学習」を教科書として機械学習の基礎理論を学ぶ．後半の5回はIan Goodfellow他著の「Deep Learning」や原著論文を参考文献として最近の深層学習の話題を取り上げ，最終回の演習では学生が独自に実験した内容を発表する．

２．到達目標

• 機械学習の基礎理論を理解する．
• 情報セキュリティ研究に機械学習を応用する力を身につける．

３．授業計画と開講形態

全回教室での対面のみの開催とする．．

[機械学習の理論]
第1回 確率論
　　　　<確率の加法定理, 乗法定理, 条件付き確率, ベイズの定理>
第2回 情報エントロピー
　　　　<エントロピー, 条件付きエトロピー, 相互情報量, KLダイバージェンス>
第3回 確率分布
　　　　<ベルヌーイ分布, マルチヌーイ分布, ガウス分布>
第4-5回 一般化線形モデル
　　　　<基底関数を用いた線形回帰の非線形回帰への一般化, 二乗和誤差関数>
第6-7回 一般化線形識別モデル
　　　　<一般化線型識別モデル, 交差エントロピー誤差関数>
第8-9回 ニューラルネットワークと誤差逆伝搬
　　　　<多層パーセプトロン, 誤差逆伝播>
第10回 演習（テストと解説）
[最近の話題]
第11回 万能近似定理と深層学習
　　　　<万能近似定理, XORの学習, 深層学習の効果>
第12回 畳み込みネットワーク
　　　　<畳み込み(convolution), 重み共有(weight sharing), 画像認識>
第13回 表現学習
　　　　<分散表現, Word2Vec, Embedding, 生成モデル, Variational Autoencoder, GAN>
第14回 Transformerと言語モデル
　　　　<注意機構, Transformer, BERT, GPT-3>
第15回 演習（発表）

４．教科書

• C.M.ビショップ著, パターン認識と機械学習(上) , 丸善出版, 2007. ISBN 978-4621061220.

５．参考書

• I. Goodfellow, Y. Bengio, A. Courville著, 深層学習, ドワンゴ, 2018, ISBN 978-4048930628.
• Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S. & Dean, J. Distributed representations of words and phrases and their compositionality. ArXiv abs/1310.4546, (2013).
• Vaswani, A. et al. Attention is all you need. in Advances in neural information processing systems, vol. 30 (Curran Associates, Inc., 2017).

６．関連科目

アルゴリズム基礎、数論基礎、暗号プロトコル、暗号理論，特設講義（ブロックチェーン理論）と関連がある。

７．成績評価の方法と基準

到達目標を充足しているかどうかを評価の基準として、テストと演習発表の内容により評価する（90％）質問など授業への積極的な参加も評価対象とする（10％）