シラバス
AIと機械学習（前期2単位）
教授 大塚 玲
１．授業のねらい
本講義では、情報セキュリティへの応用も活発化しているAIと機械学習の理論について学ぶ． Christopher M. Bishop & Hugh Bishop著「Deep Learning: Foundations and Concepts」を教科書として機械学習の基礎理論から最近の深層学習の話題を講義する．最終回に期末テストと解説を実施する．
２．到達目標
- 機械学習の基礎理論を理解する．
- 機械学習の論文を理解するために必要な知識を得る．
- 情報セキュリティ研究に機械学習を応用する力を身につける．
３．授業計画と開講形態
全回教室での対面のみの開催とする．
[機械学習の理論]
第1回 確率論
<確率の加法定理, 乗法定理, 条件付き確率, ベイズの定理>
第2回 情報エントロピー
<エントロピー, 条件付きエトロピー, 相互情報量, KLダイバージェンス>
第3回 確率分布
<ベルヌーイ分布, マルチヌーイ分布, ガウス分布>
第4回 単一層ネットワークにおける回帰
<基底関数による非線形回帰への一般化, 二乗和誤差関数>
第5回 単一層ネットワークにおける識別モデル
<一般化線型識別モデル, 交差エントロピー誤差関数>
第6回 深層学習
<Deep Learning, 勾配最適化，対照学習>
第7回 勾配降下法
<Gradient Decent, RMSPropとAdam, データ正規化, バッチ正規化, 層正規化>
第8回 誤差逆伝播
<勾配の計算法, Feed Forwardネットワーク, 数値微分, 自動微分>
第9回 畳み込みネットワーク
<畳み込み, Saliency Map, 敵対的サンプル>
第10回 Transformer
<注意機構, 自然言語処理, 言語モデル>
第11回 グラフニューラルネットワーク
<神経メッセージ伝達, グラフ畳み込みネットワーク, グラフ注意ネットワーク>
第12回 サンプリング
<重要度サンプリング, マルコフ連鎖モンテカルロ(MCMC), Langevinサンプリング>
第13回 拡散モデル
<重要度サンプリング, マルコフ連鎖モンテカルロ(MCMC), Langevinサンプリング>
第14回 Normalizing Flow
<Coupling Flow, 自己回帰Flow, Neural ODE>
第X回 演習（テストと解説）
４．教科書
- Bishop, C. M. & Bishop, H. Deep Learning: Foundations and Concepts. (Springer International Publishing, Cham, 2024). doi:10.1007/978-3-031-45468-4.
無料オンライン版: https://www.bishopbook.com
５．参考書
- C.M.ビショップ著, パターン認識と機械学習(上, 下) , 丸善出版, 2007. ISBN 978-4621061220.
- I. Goodfellow, Y. Bengio, A. Courville著, 深層学習, ドワンゴ, 2018, ISBN 978-4048930628.
- Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S. & Dean, J. Distributed representations of words and phrases and their compositionality. ArXiv abs/1310.4546, (2013).
- Vaswani, A. et al. Attention is all you need. in Advances in neural information processing systems, vol. 30 (Curran Associates, Inc., 2017).
６．関連科目
情報理論と計算複雑性、数論基礎、暗号プロトコル、量子計算と暗号理論，ブロックチェーン理論と関連がある。
７．成績評価の方法と基準
到達目標を充足しているかどうかを評価の基準として、テストにより評価する（80％）質問など授業への積極的な参加も評価対象とする（20％）