一般化レイリー商最大化・最小化問題 その２

<<前回はこちら>>

こんにちわ(^^)
前回は一般化レイリー商R(x)の最大化問題の解は
(A, H)の一般化固有値問題に帰着されるということに触れました～
今日はここのところをもう少し深く考えたいと思います！

実は一般化固有値の正体は考えている条件下では簡単です．
今，Hは対称正定値なので正則です．
従って，定義から(A, H)の一般化固有値はH^-1Aの固有値になります…
でももう少しスマートに問題に取り組みたいですよね！

まずは一般化固有値が実数となることを簡単に確認して，
それから最大化問題を考えましょう．

定理： Aを実対称行列，Hを実対称正定値行列とする．このとき，(A, H)の一般化固有値は実数となり，一般化固有ベクトルとして実ベクトルを選ぶことができる．

証明： λとvを一般化固有値とそれに対応する非零の一般化固有ベクトルとすると，AとHが実対称なので\lambda v^* H v = v^* A v = (A v)^* v = \overline{\lambda} v^* H vを得る．今Hは正定値なのでv^*Hv > 0．よってλ = λ，すなわちλは実数である．
また，λが実数かつA, Hが実対称なので，vの共役vもλに対応する一般化固有ベクトルとなる．よってRe(v) = (v + v) / 2も(A, H)の一般化固有ベクトルとなるので，vとして実ベクトルを取れる． Q.E.D.

はてさて，問題を考えるにあたり，新しい「内積」とその内積の意味での直交を定義します．

定義： n次元実ベクトル空間の内積⟨⋅,⋅⟩_Hとノルム||⋅||_Hを次のように定める：\begin{aligned}\langle x, y \rangle_H &= y^t H x\\ \lVert x \rVert_H &= \sqrt{\langle x, x \rangle_H}\end{aligned}また，⟨x, y⟩_H = 0となる時，xとyはH-直交すると言う．

ここで，Hは対称正定値なので上式は内積の定義を満足することに注意してください～
それによって誘導されたノルム||⋅||_Hもノルムの性質を満たします．
つまり，(Rⁿ, ⟨⋅,⋅⟩_H)はヒルベルト空間になりますね:P

さらに，新しい直交行列の概念を導入しましょう！

定義： n次実正方行列Vの各列v_i, i = 1, 2, …, n, が次の条件を満たすとき，H-直交行列と呼ぶ：
\langle v_i, v_j \rangle_H = \delta_{ij} = \begin{cases} 1 & \text{if}\ i = j\\ 0 & \text{if}\ i \neq j\end{cases}すなわち，Vの各列は互いにH-直交し，H-ノルムで正規化されている．
（Vの列がヒルベルト空間(Rⁿ, ⟨⋅,⋅⟩_H)の正規直交基底を成す．）

これが直交行列の一般化であることはすぐわかると思います．
上の定義を行列を使って表現すると次のようになります：

定理： 次の３つは同値である．

1. VがH-直交行列
2. V^tHV=I
3. VV^t=H^{-1}

証明： (1)⇔(2)は自明．(2)⇔(3)もVの各列が一次独立なのでVがフルランクになることに注意すればH = (VV^t)^-1 = V^-tV^-1より明らか． Q.E.D.

少し準備が長くなってしまいました(＠_＠;)
次回は一般化Rayleigh商最大化問題を解く上で肝となる対称行列AのH-直交行列による対角化とスペクトル分解について書きたいと思います．

なかなか解にたどり着きませんが，頑張ります～( ..)φ