Top > 特異値分解
Last-modified: Wed, 02 Oct 2013 09:41:33 JST

特異値分解

工事中(永遠に? (..;
このページは修正の記録無しで更新しちゃってます。

「特異値分解」の英名は、Singular Value Decomposition(SVDと略される)。 また、エッカート・ヤング分解(Eckart and Young)とも書かれる。応用として、データ分析等がある。


特異値分解の資料が少なくて困ってます(特に応用例に関する記述を読みたいと思っています)。本など、紹介して下さい。 擬似逆行列(一般逆行列)と零空間は、もっと使い道があるのではないかと思ってます。


計算は、FORTRANやC言語のライブラリとしてLAPACK、お金を出せるならIntel Math Kernel Library(IMKL)*1、計算ツールはMATLABMahematicaなどを使えば簡単にできます。

学生時代はMathematicaで確認して、MKLを使って計算していました。2002年頃の話でうろ覚えですが、MKLはしっかりしたドキュメントが良かった憶えがあります。もし今、また特異値分解を使った研究をすることになったとして、Mathematicaがある環境なら、そのままMathematicaで数値計算させると思います。

Wikipedia(JP) - 特異値分解
Wikipedia(EN) - Singular Value Decomposition

[TODO]

応用例捜索

直交軸上へのマップ

2008/09/29
とりあえずメモ

コレスポンデンス分析、主成分分析などのキーワード。こういった手法、実はやろうとしていることはみんな似てる(よね?)。MT法(マハラノビス・タグチ・メソッド)も一緒か。応用は違えど、処理する過程は特異値分解で一般化できるという認識なんだけど、この理解で正しいのか確信が持てない。

2008/12/29

Wikipedia(Ja)-分散共分散行列の、性質って項に理解を助ける記述あり。引用しておく。

分散共分散行列からは、データの相関を完全に失わせるような写像を作る変換行列を作ることができる。これは、違った見方をすれば、データを簡便に記述するのに最適な基底を取っていることになる。(分散共分散行列のその他の性質やその証明については、en:Rayleigh quotientを参照) これは、統計学では主成分分析 (PCA=Principal components analysis)と呼ばれており、画像処理の分野では、Karhunen-Loève transform (KL-transform)と呼ばれている。

この、「データの相関を完全に失わせるような写像を作る変換行列」っての。

次元下げ

2008/09/29
けっこう見てくれている人がいるようなので、とりあえずメモ。

LSI(Latent Semantic Indexing)について調べていたら、下記資料が出てきた。 特異値の大きさで判断して次元を下げることは、よくでてくる使い方(特異値の小さい軸を捨てる)。割と参考になると思う。

東京大学 中川裕志教授の資料
http://www.r.dl.itc.u-tokyo.ac.jp/~nakagawa/infoDB/ir-lsi.pdf

参考

再履修線形代数―分解定理を主軸に整理整頓

なんて良いサイトなんでしょうか。トップページに書いてある想定ラーナーの1番目は、私のことではありませんか (^^;
http://linalg.u-aizu.ac.jp/Linear_Algebra/

このページの、レッスン11が特異値分解の説明に割かれている。

Refresh Linear Algebra

その英語版
http://www.cdi.ucla.edu/redir/linearalgebra/

産総研 中田亨さんのページ

擬似逆行列の作り方 そして、ガウスの最小拘束の原理
http://staff.aist.go.jp/toru-nakata/Gauss/Gauss2.html

トップページ末の備忘録はためになります。
http://staff.aist.go.jp/toru-nakata/index-j.html

2008/10/17 追記

  • 擬似逆行列のページは、学生時代に「ホロノミック拘束」をキーワードにネットを調べていたら見た記憶あり(2003年頃のはずだが、ページに記載してある日付は2005年になっている。うーん)。
  • ロボットハンドでの把持(はじ:物を持つとか)に関する研究をしていた友人が擬似逆行列を使ってると話していた。ここに書いてあることと同じ内容だろう。

特異値分解を紹介する論文

CTの画像情報の取り扱いへの応用です。素晴らしい内容です。
http://jasosx.ils.uec.ac.jp/JSPF/JSPF_TEXT/jspf1998/jspf1998_11/jspf1998_11-1310.pdf

福井大学 細田陽介さんの学会資料(?)

オススメ。特異値分解の応用として実験結果等の数値データに適用するなら、12ページからの「悪条件問題」というところを読みましょう。

特異値分解・QR分解の数値計算法の実際
http://www.nifs.ac.jp/workshop/kazokeisoku2005/hosoda.pdf

特異値の大きさで打ち切ったりする例を見ますが、この資料では打ち切りする行為を重み関数(窓関数)で表現して、Tikhonovの正則化法を説明しています。

未整理

http://ccoe.blog60.fc2.com/blog-entry-510.html

参考文献

この本は、単に数学全般の本としてもかなりオススメです。特異値分解に関して書かれたページは少ないですが、概念を理解させてくれようとしています。

←「射影行列・一般逆行列・特異値分解」という題名の本があり、かなり高額なamazonの予約注文を入れてますが、手に入りません。持ってて要らない人、売ってください。

2008/01/10 母校の蔵書検索を利用してみたら、何冊も持ってました。時間ができたら久々に大学図書館に行ってみようと思います (^-^

これも読んでみたい。「逆問題」ってのをキーワードで探すと、良さそうな本がいくつかある。

制約つき主成分分析法―新しい多変量データ解析法 (行動計量学シリーズ)

読んでみたいが、手に入らない。。これも大学図書館で閲覧だ。

2008/05/23

特異値分解に関する記述がある本が2008年1月発行に出版されています。ちとお値段が張ります。上記した本と共に、大学図書館で見てこようと思います。

2011/11/09

2008年にすごい本が出ていたようだ。前にMT法やコレスポンデンス分析、主成分分析などの処理が似てるって書いたけど、この本はいろいろな統計処理手法を比較しながら解説している。是非とも読んでみようと思う。
amazon

2013/08/30 2012年1月に第2版が出版されていました
amazon

Google Booksでもかなりのページを読むことができる(初版)。
http://books.google.co.jp/books?id=uGHpmGsDcrEC

2013/09/12 第2版買いました。まだ読んでません (^^;

2013/10/02

この本が良さそう。購入予定。一般化逆行列について、たくさん書いてあることいいな。


一般逆行列と連立方程式との関係について、よくまとまっているエントリがありました。
http://d.hatena.ne.jp/Zellij/20120811/p1


*1 2010/07/29 URL変更に伴って、リンク先を http://www.intel.com/cd/software/products/ijkk/jpn/329226.htm から変更しました。


コメント

適当に書いて頂いて構いません。スパム対策があるので、書き込めない場合があります。また、ボタンを押した後にしばらく時間がかかります。

新規コメント(ラジオボタンで親コメント選択可)
お名前
  • Very nice site! -- Pharmd555 2016-12-16 (金) 15:54:00
  • Hello! ddkddce interesting ddkddce site! I'm really like it! Very, very ddkddce good! -- Pharme96 2016-12-16 (金) 15:51:43
  • Very nice site! -- Pharmd147 2016-12-16 (金) 15:51:01
  • Hello! cdedcde interesting cdedcde site! I'm really like it! Very, very cdedcde good! -- Pharmb645 2016-12-16 (金) 15:48:49
  • Sorry but,

    a href="http://vimaxpills-2013.com">vimax</a> , -- 2013-02-26 (火) 02:13:50