Uboreshaji wa Uwiano wa Fuatilio na Utumizi katika Kujifunza kwa Mtazamo Mbalimbali

Uchambuzi wa kinadharia na kihesabu wa uboreshaji uwiano wa fuatilio kwenye eneo la Stiefel, ukijumuisha matumizi katika LDA ya Fisher, uchambuzi wa uhusiano wa kimsingi, na kujifunza kwa nafu ndogo za mtazamo mbalimbali.
hashratetoken.net | PDF Size: 0.8 MB
Tazama Waraka PDF Pakua PDF Tafsiri PDF
Nyumbani » Nyaraka » Uboreshaji wa Uwiano wa Fuatilio na Utumizi katika Kujifunza kwa Mtazamo Mbalimbali

1. Utangulizi

Karatasi hii ya utafiti inachunguza tatizo la uboreshaji wa uwiano wa fuatilio kwenye eneo la Stiefel kutoka kwa mitazamo ya kinadharia na kihesabu. Tatizo la msingi linaloshughulikiwa ni upeo wa kazi ya uwiano wa fuatilio inayofafanuliwa kama fα(X) = fuatilio(XTAX + XTD) / [fuatilio(XTBX)]α, ambapo X iko kwenye eneo la Stiefel On×k = {X ∈ Rn×k : XTX = Ik}. Matriki A na B ni matriki ya n×n yenye ulinganifu na B ikiwa chanya nusu-maalum na kuwa na cheo kubwa kuliko n-k, D ni matriki ya n×k, na kigezo α kinafanana kati ya 0 na 1. Hali ya cheo(B) > n-k inahakikisha dhehebu kubaki chanya kwa X yote inayowezekana.

Mfumo wa uboreshaji wa eneo la Stiefel unatoa msingi madhubuti wa hisabati wa kutatua aina hii ya matatizo, ambayo ina athari kubwa katika nyanja mbalimbali za sayansi ya data na kujifunza kwa mashine. Utafiti huu unaanzisha hali muhimu katika mfumo wa matatizo ya thamani ya mstari isiyo ya mstari na utegemezi wa vekta ya sifa na kuunda algoriti za nambari zinazobadilika kulingana na kurudia kwa uwanja thabiti (SCF).

1.1 Kazi za Awali

Karatasi hii inatambua na kuchambua kesi tatu maalum muhimu ambazo zimesomwa kwa kina katika fasihi ya awali:

Uchambuzi wa Ubaguzi wa Mstari wa Fisher

Kwa D = 0 na α = 1, tatizo hupunguza hadi upeoX∈On×k fuatilio(XTAX) / fuatilio(XTBX), ambayo hutokea katika uchambuzi wa ubaguzi wa mstari wa Fisher kwa kujifunza kwa usimamizi. Mbinu za awali zilibadilisha hii kuwa tatizo la kupata sifuri: tatua φ(λ) = 0 ambapo φ(λ) := upeoX∈On×k fuatilio(XT(A - λB)X). Kazi φ(λ) imethibitishwa kuwa isiyoongezeka na kwa kawaida ina sifuri ya kipekee, ambayo inaweza kupatikana kwa kutumia mbinu ya Newton. Hali za Karush-Kuhn-Tucker (KKT) husababisha tatizo la thamani ya mstari isiyo ya mstari (NEPv): H(X)X = XΛ, ambapo H(X) ni kazi ya matriki yenye ulinganifu ya X na Λ = XTH(X)X.

Uchambuzi wa Uhusiano wa Kimsingi Wenye Pembemraba

Kwa A = 0 na α = 1/2, tatizo hukua upeoX∈On×k fuatilio(XTD) / √fuatilio(XTBX), ambayo hutokea katika uchambuzi wa uhusiano wa kimsingi wenye pembemraba (OCCA). Uundaji huu hutumika kama kiini cha mpango wa kurudia mbadala. Hali za KKT kwa kesi hii hazichukui mara moja umbo la NEPv lakini zinaweza kubadilishwa sawa kuwa moja, na kuwezesha ufumbuzi kupitia kurudia kwa SCF na usindikaji unaofaa wa baadaye.

Tatizo la Procrustes Lisilo na Usawa

Kesi ya tatu inahusishwa na tatizo la Procrustes lisilo na usawa, ingawa haijaelezewa kwa undani katika dondoo iliyotolewa. Kesi zote tatu zinaonyesha utumiaji mpana wa mfumo wa uboreshaji wa uwiano wa fuatilio katika mifumo tofauti ya kujifunza kwa takwimu.

2. Uundaji wa Tatizo

Tatizo la jumla la uboreshaji wa uwiano wa fuatilio limefafanuliwa kimasihi kama:

Tatizo (1.1a): upeoXTX=Ik fα(X)

ambapo: fα(X) = [fuatilio(XTAX + XTD)] / [fuatilio(XTBX)]α

Vigezo vinakidhi: 1 ≤ k < n, Ik ni matriki ya utambulisho ya k×k, A, B ∈ Rn×n zina ulinganifu na B ikiwa chanya nusu-maalum na cheo(B) > n-k, D ∈ Rn×k, tofauti ya matriki X ∈ Rn×k, na kigezo 0 ≤ α ≤ 1.

Karatasi pia inabainisha kuwa kesi inayoonekana kuwa jumla zaidi na ziada ya mara kwa mara c kwenye nambari inaweza kuundwa upya kama kesi maalum ya Tatizo (1.1) kupitia ubadilishaji wa aljebra, na kuonyesha ukamilifu wa mfumo uliopendekezwa.

3. Msingi wa Nadharia

Utafiti huu unaanzisha matokeo kadhaa muhimu ya kinadharia:

Hali Muhimu

Hali muhimu za uboreshaji bora za tatizo la uboreshaji wa uwiano wa fuatilio zimetolewa kama matatizo ya thamani ya mstari isiyo ya mstari na utegemezi wa vekta ya sifa (NEPv). Kwa kesi maalum ya LDA ya Fisher (α=1, D=0), NEPv inachukua umbo H(X)X = XΛ, ambapo H(X) = A - λ(X)B na λ(X) = fuatilio(XTAX)/fuatilio(XTBX).

Uwepo na Umoja

Kwa Tatizo (1.3) (kesi ya LDA ya Fisher), imethibitishwa kuwa hakuna viboreshaji vya ndani—umoja tu wa ulimwengu wote upo. Sifa hii muhimu inahakikisha kuwa algoriti yoyote inayobadilika itafikia ufumbuzi bora wa ulimwengu wote.

Fasiri ya Kijiometri

Uboreshaji hufanyika kwenye eneo la Stiefel, ambalo lina muundo tajiri wa kijiometri. Mabadiliko ya algoriti yanachambuliwa kwa suala la eneo la Grassmann Gk(Rn) (mkusanyiko wa nafu ndogo zote za kipimo k za Rn), na kutoa mtazamo wa kijiometri juu ya mchakato wa uboreshaji.

4. Mbinu za Kihisabati

Karatasi hii inapendekeza na kuchambua kurudia kwa uwanja thabiti (SCF) kwa ajili ya kutatua tatizo la uboreshaji wa uwiano wa fuatilio:

Algoriti ya SCF

Kurudia kwa msingi kwa SCF kwa Tatizo (1.3) ni: H(Xi-1)Xi = XiΛi-1, kuanza na kuanzia