1. Pengenalan
Kertas penyelidikan komprehensif ini menyiasat masalah pengoptimuman nisbah surih pada manifold Stiefel dari perspektif teori dan pengiraan. Masalah asas yang ditangani ialah pemaksimuman fungsi nisbah surih ditakrifkan sebagai fα(X) = surih(XTAX + XTD) / [surih(XTBX)]α, di mana X tergolong dalam manifold Stiefel On×k = {X ∈ Rn×k : XTX = Ik}. Matriks A dan B ialah matriks simetri n×n dengan B separa pasti positif dan mempunyai pangkat lebih besar daripada n-k, D ialah matriks n×k, dan parameter α berada antara 0 dan 1. Keadaan pangkat(B) > n-k memastikan penyebut kekal positif untuk semua X yang layak.
Rangka kerja pengoptimuman manifold Stiefel menyediakan asas matematik yang ketat untuk menyelesaikan kelas masalah ini, yang mempunyai implikasi signifikan merentasi pelbagai domain sains data dan pembelajaran mesin. Penyelidikan ini mewujudkan syarat perlu dalam bentuk masalah nilai eigen tak linear dengan kebergantungan vektor eigen dan membangunkan algoritma berangka menumpu berdasarkan lelaran medan konsisten kendiri (SCF).
1.1 Kajian Lepas
Kertas kerja ini mengenal pasti dan menganalisis tiga kes khas penting yang telah dikaji secara meluas dalam literatur sebelumnya:
Analisis Diskriminan Linear Fisher
Dengan D = 0 dan α = 1, masalah ini berkurang kepada maxX∈On×k surih(XTAX) / surih(XTBX), yang timbul dalam analisis diskriminan linear Fisher untuk pembelajaran berpandu. Pendekatan sebelumnya menukar ini kepada masalah pencarian sifar: selesaikan φ(λ) = 0 di mana φ(λ) := maxX∈On×k surih(XT(A - λB)X). Fungsi φ(λ) terbukti tidak menaik dan biasanya mempunyai sifar unik, yang boleh ditemui menggunakan kaedah Newton. Syarat Karush-Kuhn-Tucker (KKT) membawa kepada masalah nilai eigen tak linear (NEPv): H(X)X = XΛ, di mana H(X) ialah fungsi matriks simetri bagi X dan Λ = XTH(X)X.
Analisis Korelasi Kanonik Ortogon
Dengan A = 0 dan α = 1/2, masalah menjadi maxX∈On×k surih(XTD) / √surih(XTBX), yang muncul dalam analisis korelasi kanonik ortogon (OCCA). Formulasi ini berfungsi sebagai teras skim lelaran berselang. Syarat KKT untuk kes ini tidak serta-merta mengambil bentuk NEPv tetapi boleh diubah setara kepada satu, membolehkan penyelesaian melalui lelaran SCF dengan pasca pemprosesan yang sesuai.
Masalah Procrustes Tidak Seimbang
Kes khas ketiga berkaitan dengan masalah Procrustes tidak seimbang, walaupun kurang terperinci secara eksplisit dalam petikan yang disediakan. Ketiga-tiga kes menunjukkan kebolehgunaan luas rangka kerja pengoptimuman nisbah surih merentasi pelbagai paradigma pembelajaran statistik.
2. Perumusan Masalah
Masalah pengoptimuman nisbah surih umum ditakrifkan secara formal sebagai:
Masalah (1.1a): maxXTX=Ik fα(X)
di mana: fα(X) = [surih(XTAX + XTD)] / [surih(XTBX)]α
Parameter memenuhi: 1 ≤ k < n, Ik ialah matriks identiti k×k, A, B ∈ Rn×n adalah simetri dengan B separa pasti positif dan pangkat(B) > n-k, D ∈ Rn×k, pembolehubah matriks X ∈ Rn×k, dan parameter 0 ≤ α ≤ 1.
Kertas kerja ini juga menyatakan bahawa kes yang kelihatan lebih umum dengan pemalar tambahan c dalam pengangka boleh dirumus semula sebagai kes khas Masalah (1.1) melalui manipulasi algebra, menunjukkan keluasan rangka kerja yang dicadangkan.
3. Asas Teori
Penyelidikan ini mewujudkan beberapa keputusan teori asas:
Syarat Perlu
Syarat keoptimalan perlu untuk masalah pengoptimuman nisbah surih diterbitkan sebagai masalah nilai eigen tak linear dengan kebergantungan vektor eigen (NEPv). Untuk kes khas LDA Fisher (α=1, D=0), NEPv mengambil bentuk H(X)X = XΛ, di mana H(X) = A - λ(X)B dan λ(X) = surih(XTAX)/surih(XTBX).
Kewujudan dan Keunikan
Untuk Masalah (1.3) (kes LDA Fisher), terbukti tiada pemaksimum tempatan—hanya pemaksimum global wujud. Sifat penting ini memastikan sebarang algoritma menumpu akan mencapai penyelesaian optimum global.
Tafsiran Geometri
Pengoptimuman berlaku pada manifold Stiefel, yang mempunyai struktur geometri yang kaya. Penumpuan algoritma dianalisis dari segi manifold Grassmann Gk(Rn) (kumpulan semua subruang k-dimensi Rn), memberikan perspektif geometri pada proses pengoptimuman.
4. Kaedah Berangka
Kertas kerja ini mencadangkan dan menganalisis lelaran medan konsisten kendiri (SCF) untuk menyelesaikan masalah pengoptimuman nisbah surih:
Algoritma SCF
Lelaran SCF asas untuk Masalah (1.3) ialah: H(Xi-1)Xi = XiΛi-1, bermula dengan pemula