1. परिचय

यह व्यापक शोध पत्र स्टाइफेल मैनिफोल्ड पर ट्रेस रेशियो ऑप्टिमाइजेशन समस्या की सैद्धांतिक और कम्प्यूटेशनल दृष्टिकोण से जाँच करता है। मूल समस्या ट्रेस रेशियो फ़ंक्शन f_α(X) = ट्रेस(X^TAX + X^TD) / [ट्रेस(X^TBX)]^α का अधिकतमीकरण है, जहाँ X स्टाइफेल मैनिफोल्ड O_n×k = {X ∈ R^n×k : X^TX = I_k} से संबंधित है। आव्यूह A और B सममित n×n आव्यूह हैं जहाँ B अर्ध-धनात्मक निश्चित है और इसकी रैंक n-k से अधिक है, D एक n×k आव्यूह है, और पैरामीटर α 0 से 1 के बीच है। शर्त रैंक(B) > n-k यह सुनिश्चित करती है कि हर संभव X के लिए हर सकारात्मक रहे।

स्टाइफेल मैनिफोल्ड ऑप्टिमाइजेशन फ्रेमवर्क इस प्रकार की समस्याओं को हल करने के लिए एक कठोर गणितीय आधार प्रदान करता है, जिसका डेटा साइंस और मशीन लर्निंग के कई डोमेन में महत्वपूर्ण प्रभाव है। शोध आइजनवेक्टर निर्भरता वाली गैर-रैखिक आइगेनवैल्यू समस्याओं के रूप में आवश्यक शर्तें स्थापित करता है और सेल्फ-कंसिस्टेंट फील्ड (एससीएफ) पुनरावृत्ति पर आधारित अभिसरण संख्यात्मक एल्गोरिदम विकसित करता है।

1.1 पूर्व कार्य

पेपर तीन महत्वपूर्ण विशेष मामलों की पहचान करता है और उनका विश्लेषण करता है जिनका पिछले साहित्य में व्यापक रूप से अध्ययन किया गया है:

फिशर का लीनियर डिस्क्रिमिनेंट एनालिसिस

D = 0 और α = 1 के साथ, समस्या कम हो जाती है max_X∈On×k ट्रेस(X^TAX) / ट्रेस(X^TBX), जो सुपरवाइज्ड लर्निंग के लिए फिशर के लीनियर डिस्क्रिमिनेंट एनालिसिस में उत्पन्न होती है। पिछले दृष्टिकोणों ने इसे एक शून्य-खोज समस्या में बदल दिया: φ(λ) = 0 को हल करें जहाँ φ(λ) := max_X∈On×k ट्रेस(X^T(A - λB)X)। फ़ंक्शन φ(λ) गैर-बढ़ता हुआ सिद्ध होता है और आमतौर पर एक अद्वितीय शून्य होता है, जिसे न्यूटन की विधि का उपयोग करके पाया जा सकता है। करुश-कुह्न-टकर (केकेटी) शर्तें एक गैर-रैखिक आइगेनवैल्यू समस्या (एनईपीवी) की ओर ले जाती हैं: H(X)X = XΛ, जहाँ H(X), X का एक सममित मैट्रिक्स-मूल्यवान फ़ंक्शन है और Λ = X^TH(X)X।

ऑर्थोगोनल कैनोनिकल करलेशन एनालिसिस

A = 0 और α = 1/2 के साथ, समस्या बन जाती है max_X∈On×k ट्रेस(X^TD) / √ट्रेस(X^TBX), जो ऑर्थोगोनल कैनोनिकल करलेशन एनालिसिस (ओसीसीए) में उभरती है। यह सूत्रीकरण एक वैकल्पिक पुनरावृत्ति योजना के कर्नेल के रूप में कार्य करता है। इस मामले के लिए केकेटी शर्तें तुरंत एनईपीवी रूप नहीं लेती हैं लेकिन उचित पोस्ट-प्रोसेसिंग के साथ एससीएफ पुनरावृत्ति के माध्यम से समाधान को सक्षम करते हुए, समकक्ष रूप से एक में परिवर्तित की जा सकती हैं।

असंतुलित प्रोक्रस्ट्स समस्या

तीसरा विशेष मामला असंतुलित प्रोक्रस्ट्स समस्या से जुड़ा है, हालाँकि प्रदत्त अंश में कम विस्तार से वर्णित है। ये तीनों मामले विविध सांख्यिकीय लर्निंग प्रतिमानों में ट्रेस रेशियो ऑप्टिमाइजेशन फ्रेमवर्क की व्यापक प्रयोज्यता को प्रदर्शित करते हैं।

2. समस्या संरूपण

सामान्य ट्रेस रेशियो ऑप्टिमाइजेशन समस्या को औपचारिक रूप से इस प्रकार परिभाषित किया गया है:

समस्या (1.1a): max_X^TX=Ik f_α(X)

जहाँ: f_α(X) = [ट्रेस(X^TAX + X^TD)] / [ट्रेस(X^TBX)]^α

पैरामीटर संतुष्ट करते हैं: 1 ≤ k < n, I_k k×k पहचान आव्यूह है, A, B ∈ R^n×n सममित हैं जहाँ B अर्ध-धनात्मक निश्चित है और रैंक(B) > n-k, D ∈ R^n×k, आव्यूह चर X ∈ R^n×k, और पैरामीटर 0 ≤ α ≤ 1।

पेपर यह भी नोट करता है कि अंश में एक अतिरिक्त स्थिरांक c वाला एक प्रतीत होने वाला अधिक सामान्य मामला बीजगणितीय हेरफेर के माध्यम से समस्या (1.1) के एक विशेष मामले के रूप में पुनर्गठित किया जा सकता है, जो प्रस्तावित फ्रेमवर्क की व्यापकता को प्रदर्शित करता है।

3. सैद्धांतिक आधार

शोध कई मौलिक सैद्धांतिक परिणाम स्थापित करता है:

आवश्यक शर्तें

ट्रेस रेशियो ऑप्टिमाइजेशन समस्या के लिए आवश्यक इष्टतमता शर्तें आइजनवेक्टर निर्भरता (एनईपीवी) वाली गैर-रैखिक आइगेनवैल्यू समस्याओं के रूप में प्राप्त की जाती हैं। फिशर एलडीए (α=1, D=0) के विशेष मामले के लिए, एनईपीवी का रूप H(X)X = XΛ लेती है, जहाँ H(X) = A - λ(X)B और λ(X) = ट्रेस(X^TAX)/ट्रेस(X^TBX)।

अस्तित्व और विशिष्टता

समस्या (1.3) (फिशर एलडीए मामला) के लिए, यह सिद्ध होता है कि कोई स्थानीय अधिकतमकर्ता नहीं हैं—केवल वैश्विक मौजूद हैं। यह महत्वपूर्ण गुण सुनिश्चित करता है कि कोई भी अभिसरण एल्गोरिदम एक वैश्विक रूप से इष्टतम समाधान तक पहुँचेगा।

ज्यामितीय व्याख्या

अनुकूलन स्टाइफेल मैनिफोल्ड पर होता है, जिसकी समृद्ध ज्यामितीय संरचना होती है। एल्गोरिदम के अभिसरण का विश्लेषण ग्रासमैन मैनिफोल्ड G_k(Rⁿ) (Rⁿ के सभी k-आयामी उप-स्थानों का संग्रह) के संदर्भ में किया जाता है, जो अनुकूलन प्रक्रिया पर एक ज्यामितीय परिप्रेक्ष्य प्रदान करता है।

4. संख्यात्मक विधियाँ

पेपर ट्रेस रेशियो ऑप्टिमाइजेशन समस्या को हल करने के लिए सेल्फ-कंसिस्टेंट फील्ड (एससीएफ) पुनरावृत्ति प्रस्तावित करता है और इसका विश्लेषण करता है:

एससीएफ एल्गोरिदम

समस्या (1.3) के लिए मूल एससीएफ पुनरावृत्ति है: H(X_i-1)X_i = X_iΛ_i-1, एक प्रारंभिक