১. ভূমিকা

এই ব্যাপক গবেষণাপত্রটি স্টিফেল ম্যানিফোল্ডে ট্রেস রেশিও অপ্টিমাইজেশন সমস্যাটি তাত্ত্বিক ও গণনামূলক উভয় দৃষ্টিকোণ থেকে অনুসন্ধান করে। মৌলিক সমস্যাটি হলো একটি ট্রেস রেশিও ফাংশনের সর্বোচ্চকরণ, যা定义为 f_α(X) = trace(X^TAX + X^TD) / [trace(X^TBX)]^α, যেখানে X স্টিফেল ম্যানিফোল্ড O_n×k = {X ∈ R^n×k : X^TX = I_k} এর অন্তর্গত। ম্যাট্রিক্স A এবং B হল প্রতিসম n×n ম্যাট্রিক্স, যেখানে B অর্ধ-ধনাত্মক নির্দিষ্ট এবং যার র্যাঙ্ক n-k এর চেয়ে বেশি, D হল একটি n×k ম্যাট্রিক্স, এবং প্যারামিটার α এর মান 0 এবং 1 এর মধ্যে থাকে। শর্ত rank(B) > n-k নিশ্চিত করে যে সকল সম্ভাব্য X এর জন্য হরটি ধনাত্মক থাকে।

স্টিফেল ম্যানিফোল্ড অপ্টিমাইজেশন ফ্রেমওয়ার্ক এই শ্রেণীর সমস্যা সমাধানের জন্য একটি কঠোর গাণিতিক ভিত্তি প্রদান করে, যার ডেটা সায়েন্স এবং মেশিন লার্নিংয়ের একাধিক ডোমেইনে উল্লেখযোগ্য প্রভাব রয়েছে। গবেষণাটি আইজেনভেক্টর নির্ভরতা সহ ননলিনিয়ার আইজেনভ্যালু সমস্যার আকারে প্রয়োজনীয় শর্ত স্থাপন করে এবং স্ব-সামঞ্জস্যপূর্ণ ক্ষেত্র (SCF) পুনরাবৃত্তির উপর ভিত্তি করে অভিসারী সংখ্যাগত অ্যালগরিদম উন্নত করে।

১.১ পূর্ববর্তী গবেষণা

এই গবেষণাপত্রটি তিনটি উল্লেখযোগ্য বিশেষ ক্ষেত্রে চিহ্নিত ও বিশ্লেষণ করে যা পূর্ববর্তী সাহিত্যে ব্যাপকভাবে অধ্যয়ন করা হয়েছে:

ফিশারের লিনিয়ার ডিসক্রিমিন্যান্ট অ্যানালিসিস

D = 0 এবং α = 1 হলে, সমস্যাটি হ্রাস পায় max_X∈On×k trace(X^TAX) / trace(X^TBX), যা সুপারভাইজড লার্নিংয়ের জন্য ফিশারের লিনিয়ার ডিসক্রিমিন্যান্ট অ্যানালিসিসে উদ্ভূত হয়। পূর্ববর্তী পদ্ধতিগুলি এটিকে একটি শূন্য-অনুসন্ধান সমস্যায় রূপান্তরিত করে: φ(λ) = 0 সমাধান করুন যেখানে φ(λ) := max_X∈On×k trace(X^T(A - λB)X)। ফাংশন φ(λ) প্রমাণিতভাবে অ-বর্ধমান এবং সাধারণত একটি অনন্য শূন্য থাকে, যা নিউটনের পদ্ধতি ব্যবহার করে পাওয়া যেতে পারে। কারুশ-কুহন-টাকার (KKT) শর্তাবলী একটি ননলিনিয়ার আইজেনভ্যালু সমস্যার (NEPv) দিকে নিয়ে যায়: H(X)X = XΛ, যেখানে H(X) হল X এর একটি প্রতিসম ম্যাট্রিক্স-মানযুক্ত ফাংশন এবং Λ = X^TH(X)X।

অর্থোগোনাল ক্যানোনিকাল কোরিলেশন অ্যানালিসিস

A = 0 এবং α = 1/2 হলে, সমস্যাটি হয়ে যায় max_X∈On×k trace(X^TD) / √trace(X^TBX), যা অর্থোগোনাল ক্যানোনিকাল কোরিলেশন অ্যানালিসিস (OCCA) তে উদ্ভূত হয়। এই ফর্মুলেশনটি একটি পর্যায়ক্রমিক পুনরাবৃত্তিমূলক স্কিমের কার্নেল হিসেবে কাজ করে। এই ক্ষেত্রে KKT শর্তাবলী অবিলম্বে NEPv ফর্ম গ্রহণ করে না কিন্তু সমতুল্যভাবে একটিতে রূপান্তরিত করা যেতে পারে, উপযুক্ত পোস্ট-প্রসেসিং সহ SCF পুনরাবৃত্তির মাধ্যমে সমাধান সক্ষম করে।

আনব্যালান্সড প্রোক্রাস্টেস সমস্যা

তৃতীয় বিশেষ ক্ষেত্রটি আনব্যালান্সড প্রোক্রাস্টেস সমস্যার সাথে সংযুক্ত, যদিও প্রদত্ত অংশে কম স্পষ্টভাবে বিস্তারিত। তিনটি ক্ষেত্রই বিভিন্ন পরিসংখ্যানগত লার্নিং প্যারাডাইম জুড়ে ট্রেস রেশিও অপ্টিমাইজেশন ফ্রেমওয়ার্কের বিস্তৃত প্রযোজ্যতা প্রদর্শন করে।

২. সমস্যা গঠন

সাধারণ ট্রেস রেশিও অপ্টিমাইজেশন সমস্যাটি আনুষ্ঠানিকভাবে সংজ্ঞায়িত করা হয়েছে:

সমস্যা (১.১ক): max_X^TX=Ik f_α(X)

যেখানে: f_α(X) = [trace(X^TAX + X^TD)] / [trace(X^TBX)]^α

প্যারামিটারগুলি সন্তুষ্ট করে: ১ ≤ k < n, I_k হল k×k আইডেন্টিটি ম্যাট্রিক্স, A, B ∈ R^n×n প্রতিসম যেখানে B অর্ধ-ধনাত্মক নির্দিষ্ট এবং rank(B) > n-k, D ∈ R^n×k, ম্যাট্রিক্স ভেরিয়েবল X ∈ R^n×k, এবং প্যারামিটার ০ ≤ α ≤ ১।

গবেষণাপত্রটি আরও উল্লেখ করে যে লবতে একটি অতিরিক্ত ধ্রুবক c সহ একটি আপাতদৃষ্টিতে আরও সাধারণ ক্ষেত্রে বীজগাণিতিক ম্যানিপুলেশনের মাধ্যমে সমস্যা (১.১) এর একটি বিশেষ ক্ষেত্রে পুনর্গঠন করা যেতে পারে, যা প্রস্তাবিত ফ্রেমওয়ার্কের ব্যাপকতা প্রদর্শন করে।

৩. তাত্ত্বিক ভিত্তি

গবেষণাটি বেশ কয়েকটি মৌলিক তাত্ত্বিক ফলাফল প্রতিষ্ঠা করে:

প্রয়োজনীয় শর্তাবলী

ট্রেস রেশিও অপ্টিমাইজেশন সমস্যার জন্য প্রয়োজনীয় সর্বোত্তমতা শর্তাবলী আইজেনভেক্টর নির্ভরতা সহ ননলিনিয়ার আইজেনভ্যালু সমস্যা (NEPv) হিসাবে উদ্ভূত হয়। ফিশারের এলডিএ (α=1, D=0) এর বিশেষ ক্ষেত্রে, NEPv টি H(X)X = XΛ আকার নেয়, যেখানে H(X) = A - λ(X)B এবং λ(X) = trace(X^TAX)/trace(X^TBX)।

অস্তিত্ব এবং স্বতন্ত্রতা

সমস্যা (১.৩) (ফিশারের এলডিএ ক্ষেত্রে) এর জন্য প্রমাণিত যে কোনও স্থানীয় সর্বোচ্চকারী নেই—কেবলমাত্র গ্লোবাল সর্বোচ্চকারী বিদ্যমান। এই গুরুত্বপূর্ণ বৈশিষ্ট্যটি নিশ্চিত করে যে কোনও অভিসারী অ্যালগরিদম একটি গ্লোবালি সর্বোত্তম সমাধানে পৌঁছাবে।

জ্যামিতিক ব্যাখ্যা

অপ্টিমাইজেশনটি স্টিফেল ম্যানিফোল্ডের উপর ঘটে, যার সমৃদ্ধ জ্যামিতিক কাঠামো রয়েছে। অ্যালগরিদমগুলির অভিসৃতি গ্রাসম্যান ম্যানিফোল্ড G_k(Rⁿ) (Rⁿ এর সমস্ত k-মাত্রিক সাবস্পেসের সংগ্রহ) এর পরিপ্রেক্ষিতে বিশ্লেষণ করা হয়, যা অপ্টিমাইজেশন প্রক্রিয়ার উপর একটি জ্যামিতিক দৃষ্টিকোণ প্রদান করে।

৪. সংখ্যাগত পদ্ধতি

গবেষণাপত্রটি ট্রেস রেশিও অপ্টিমাইজেশন সমস্যা সমাধানের জন্য স্ব-সামঞ্জস্যপূর্ণ ক্ষেত্র (SCF) পুনরাবৃত্তি প্রস্তাব ও বিশ্লেষণ করে:

SCF অ্যালগরিদম

সমস্যা (১.৩) এর জন্য মৌলিক SCF পুনরাবৃত্তি হল: H(X_i-1)X_i = X_iΛ_i-1, একটি প্রারম্ভিক দিয়ে শুরু করে