機械学習を使って〜
深層学習（ディープラーニング）を使って〜
人工知能を使って〜
など、機械学習の進展には著しいものがあります。
本記事では、「機械学習」で必須となる「連続最適化」について、必要な数学、アルゴリズム、機械学習での最適化の使い方などが１冊に凝縮された本をご紹介します。
本記事の概要
機械学習アルゴリズムは日々、高速で進歩しています
機械学習はアカデミックの研究分野ではもちろんですが、ビジネス応用を考えたときにも、多くの改良が日々行われています。
- 機械学習の性能を高めるアルゴリズム
- 金銭的・時間的コストを下げてくれるアルゴリズム
- （スマホなど）汎用的なシステムでも動作可能なアルゴリズム
機械学習アルゴリズムは日々進歩しており、１年前のスタンダードは今ではもう使えなかったりもします。
変化の速い分野で最先端についていくのは、それだけでも大変ですよね。
機械学習の進歩についていくにはどうすればいいの？
そういったときに役に立つのは、
- 必要となる数学の体系的知識
- 必須となるアルゴリズム
- それらアルゴリズムのその分野での使い方
といったものではないでしょうか。
それらは汎用性もあり、かつ、最先端の学びを加速してくれる基礎知識になるはずです。
機械学習を学ぶと、必ず「最適化」を通る
機械学習では、なんらかの関数を定義してそれを最適化します。
最適化を制するものは機械学習を制す(!?)
かは分からないですが、
最適化を系統立てて学んでおくことは、最新論文を読んで理解する上でも役に立つはずです。
本書では、様々な最適化について、
使われる数学（微積分・線形代数・凸解析）や概念の説明から始まり、制約あり・制約なしの最適化についてのわかりやすい解説があります。
それぞれのアルゴリズムについて、導出過程がサクッと説明させているだけでなく、アルゴリズムも示されていて、理解を促進してくれます。
重要な定理や補題などもしっかり記述されており、論文を読む際にも役に立つ知識となるのではないでしょうか。
これらの最適化が、機械学習アルゴリズムの中でどう使われているかについて詳細な解説があるのがうれしいところです。
機械学習のための最適化ってどんなもの？
第13章では、「上界最小化アルゴリズム」が扱われています。
「上界最小化アルゴリズム(majorization minimization algorithm: MM-algorithm)」は、目的関数を単調減少させる点列を生成する逐次解法の一般的な枠組みとなっています。
よく使われる「期待値最大化(EM)アルゴリズム」もその１つです。
直接解きにくい最小化問題について、その近似関数の最小化問題を逐次的に解くことで、解候補点列を生成する方法を示してくれます。
このときに使う近似関数の条件や、それを満たした代理関数(surrogate function)の考え方がグラフや擬似アルゴリズムとともに明快に示されています。
MMアルゴリズムの単調減少性や収束性に関する定理の証明だけでなく、
代理関数の例として具体的に線形化・二次近似・イェンセンの不等式の利用などが説明されています。
その後、
- EMアルゴリズム
- ２つの凸関数の差の最適化（DC計画問題）
- 近似点アルゴリズム
が定理や擬似アルゴリズムとともにサクッと解説されています。
第14章でのサポートベクトルマシンに関する最適化の丁寧な解説のあとに、
第15章では、「スパース学習」について定式化と手法が解説されています。
「スパースモデリング」とはノイズを取り除き、低次元部分空間の本質的情報を引き出す手法で、特に高次元データ解析で力を発揮する方法です。
これを行う方法については、古くから統計学での研究が行われていて、「赤池情報量規準（AIC）」や「ベイズ情報量規準(BIC)」などが提案されてきました。
しかしこれらの方法は高次元のパラメータ学習では計算が困難になります。
これを解決する方法の１つが「スパース学習」になります。
まず、「L1正則化」使った
- スパースな回帰（Lasso）
- スパースな判別（L1正則化ロジスティック回帰）
や、その他の「スパース正則化」として
- トレースノルム正則化
- グループ正則化
- エラスティックネット正則化
などが紹介されています。
また、L1正則化（Lasso）とL2正則化（Ridge）の数値的評価が比較されており、サンプルサイズが小さい場合にもLassoの推定誤差はRidgeよりも小さくなっていることなどが示されています。
続いて、
- 近接勾配法
- 座標降下法
- 交互方向乗数法
が考え方から、定理、具体例、アルゴリズム、数値実験と、コンパクトながら濃い内容で、すっきりとまとめられています。画像復元の数値実験が示されており、自分でやってみると非常に勉強になるのではないでしょうか。
第16章では、「行列空間上の最適化」として、多様体上での制約なし最適化問題が扱われています。
機械学習では、行列空間での最適化を扱うことがあります。
このとき、多様体上での最適化を使って、よりシンプルに解を求めることができる場合があります。
本章では、行列空間での最適化を、制約なしの問題として扱う方法が解説されています。
まず、シューティーフェル多様体やグラスマン多様体の定義があります。
次に行列空間上の最適化問題についての定式化の説明があります。独立成分分析、次元削減付き密度比推定などが解説されています。
そして、多様体の概念が説明された後に、多様体上の最適化が解説されています。最急降下法、共役勾配法の定式化とアルゴリズムがそれぞれ示されています。
また、計算効率を高めるための工夫として、「レトラクション」や「ベクトル輸送」も定理やアルゴリズムとともに解説されています。
これらを使って、行列多様体上の効率的な最適化の定式化が行われます。
独立成分分析の数値例を用いた例が示されており、多様体上の最急降下法と共役勾配法の収束スピードが比較されています。また、画像データを用いた例で画像復元が試みられています。
本書の構成は以下の通りです。
第１部 導入
第１章 はじめに
第２章 基礎事項
第２部 制約なし最適化
第３章 最適性条件とアルゴリズムの停止条件
第４章 勾配法の基礎
第５章 ニュートン法
第６章 共役勾配法
第７章 準ニュートン法
第８章 信頼領域法
第３部 制約付き最適化
第９章 等式制約付き最適化の最適性条件
第10章 不等式制約付き最適化の最適性条件
第11章 主問題に対する最適化法
第12章 ラグランジュ関数を用いる最適化法
第４部 学習アルゴリズムとしての最適化
第13章 上界最小化アルゴリズム
第14章 サポートベクトルマシンと最適化
第15章 スパース学習
第16章 行列空間上の最適化
参考文献
索引
となっています。
本書は最適化の基礎となる概念や考え方から、最適化の方法も丁寧に説明されています。
加えて機械学習での使い方では、考え方・定式化・アルゴリズム・具体例・数値例など、濃いの内容ながら、スッキリと理解させてくれる良書となっています。
- 機械学習を学んでいる学生さん
- 機械学習を用いてビジネスに活かしたいエンジニアの方
- 最新論文を素早く理解していきたいあなた
など、最適化を体系立てて理解したい、機械学習全般の学習を底上げしたいあなたにもおすすめの本となっています。
こちらもございます↓
![統計学が最強の学問である[数学編]――データ分析と機械学習のための新しい教科書](https://m.media-amazon.com/images/I/51p4aPUyeOL._SL160_.jpg)
こちら無料です↓
