湯どうふ

多様体上の最適化

多様体上の最適化について、最近よく話を聞く。多様体を考えることで、何が嬉しいかというと、制約付きの最適化問題を、制約なし最適化問題として、読み替えることができるので、演算が早くなるのだと理解している。

テキストとして、英語では『Optimization Algorithms on Matrix Manifolds』、日本語では『機械学習のための連続最適化』がそれぞれ挙げられる。

 

機械学習のための連続最適化 (機械学習プロフェッショナルシリーズ)

機械学習のための連続最適化 (機械学習プロフェッショナルシリーズ)

 

英語テキストは数学が詳しく説明されているのに対して、日本語テキストはコンパクトに説明がまとまっている。というより、多様体についてすでに知っている人向けだと思うので、入門者は東京理科大の佐藤先生の普及向け論文を読むといい。

日本語テキストでは、『行列空間上の最適化』という言い方をしているが、要するに似たようなことである。

多様体について、いまいちわからない人は、多様体の本がたくさんあるので、読んでみるといいと思う。

 

具体例から学ぶ 多様体

具体例から学ぶ 多様体

 
多様体の基礎 (基礎数学5)

多様体の基礎 (基礎数学5)

 

多様体とは位相空間上の開集合において、局地的に座標系を定義できるもののことである。

例えば、地球の表面を考える。地球の表面は一種の球面であり、これを多様体と思うことにする。多様体上の任意の点を網羅できる座標系を定義することはできない。

なので、多様体の一部だけで通用する座標系を定義する。同様にして、多様体を覆うように、多様体の一部を量産する。すると、多様体上の任意の点を、どこかの局地座標系で定義することができるようになる。

用語(順次更新)

接ベクトル

接空間:多様体M上の点pにおける接空間を{T_p M(orall pin M)}と定義する。

微分写像

測地線

シュティーフェル多様体

グラスマン多様体

自然勾配

(続く)