E資格の勉強①応用数学レポート
目次
１ 本投稿の目的
応用数学に関する学習のまとめ
２ 線形代数(行列と固有値)
【行列】
行列の使い方として以下がある。(もちろん、その他の用途もある)
- 大量の連立方程式をシンプルに表現する
(行列の掛け算を理解すると、この意味が分かる。)
また、以下のような行列特有の専門用語があるので、覚える必要がある。
- 単位行列(普通の数値における1。
「X × 1 = X」と同様、掛け算しても結果を変えない行列で1と0で構成される。
さらに、行列の計算は手法を覚える必要がある。
- 行列同士の足し算、引き算
→ 行列のサイズが同一であれば、単なる足し算、引き算で算出可能。 - 行列同士の掛け算
→ 直行表のようなイメージで、全パターンの掛け算を加算していく。
これは練習して確実に理解する必要がある。 - 行列 → 通常の数値の変換
→ 左斜めに掛け算 - →右斜めに掛け算 がベースで、3×3ならたすき掛けが必要。
【固有値】
行列のn乗を簡単に求めるために必要となる。
※厳密には、固有値の一覧 = 対角行列と固有ベクトルを使用することで、
行列の累乗を簡単に求める事ができるようになる。
対角行列の累乗は各数値をn乗する、という簡単な方法で計算できるため。
行列に対して固有値分解(書籍により対角化とも記載されている)
を行うことで、累乗式に必要な以下を取得できる。
なお、正方行列でない場合は特異値分解、という手法で求める必要がある。
【補足：参考資料】
全体的に、以下の資料がとても参考になった。
★行列を知らない人のための線形代数学入門 - 広島大学
http://www.math.sci.hiroshima-u.ac.jp/m-mat/TEACH/senkei-daisuu.pdf
３ 確率・統計
条件付確率が、特に注意が必要。
解説：
①PA(B) = P(B|A) = 事象Aが発生した世界で、事象Bが発生する確率※
②P(B∩A) = AとBが同時に発生する確率
→①②は別の意味であるので注意。
※各順番が逆じゃない?と思うが、英語ベースで考えるとこの順番になる。
(日本語と異なり、主語がとにかく先頭にくる形式)
その他、以下の用語がある。
- 期待値(期待される値の平均)
- 分散(実際の値と期待値の差を2乗したもの、2乗するのは±の考慮を無くすため)
- 標準偏差(分散を√したもの。2乗 = 単位自体が変わるため、それを解消する)
【補足：参考資料】
条件付確率の参考
https://ousar.lib.okayama-u.ac.jp/files/public/6/60999/20201203115534771574/bgeou_175_027_037.pdf
ベイズ統計の考え方については、以下の本が参考になった。
※数時間読めば、図ベースで、条件付確率が理解できるようになる。
4 情報理論
【自己情報量】
「-log(p(x))」という公式を始めてみたが、実際に問題を考えてみると意味が良く分かった。確率は0~1の範囲になるので、p(x)の値はほぼ分数になる。分数は累乗に直すと-n乗になるので答えが正数になる。かつ、値が小さければ小さいほど(-n乗のnが大きいほど)最終的な値(その情報の価値)が大きくなる。
【シャノンエントロピー】
自己情報量の期待値。誤差関数の中身として使う、という事もできそう。
【カルバック・ライブラー・ダイバージェンス】
想定していた確率分布と、実際の確率分布の違いを表すことができる。
ダイバージェンス <> 距離。
ダイバージェンスは距離と呼ぶには一部の定義を満たせていない。
ここでもΣは使用するので、Σは非常に重要。
【公差エントロピー】
KLダイバージェンスの一部分。Qに対する情報をP(現実)の分布で平均する。
全て、公式を覚えておく(意味も理解する)はもちろん、自己情報量以外も実際に計算してみて、解いてみる必要があると思われる。
以上
