Jump to content

Zbritja stokastike e gradientit

Nga Wikipedia, enciklopedia e lirë

Zbritja stokastike e gradientit (shpesh e shkurtuar SGD/ZSG ) është një metodë iterative për optimizimin e një funksioni të humbjes me vetitë e përshtatshme të lëmueshmërisë (p.sh. i diferencueshëm ose i nëndiferencueshëm ). Mund të konsiderohet si një përafrim stokastik i optimizimit të zbritjes së gradientit, pasi zëvendëson gradientin e tanishëm (të llogaritur nga i gjithë grupi i të dhënave ) nga një vlerësim i tij (i llogaritur nga një nëngrup i të dhënave i zgjedhur rastësisht).


Sidomos në problemet e optimizimit me dimensione të larta, kjo zvogëlon ngarkesën shumë të lartë llogaritëse, duke arritur përsëritje më të shpejta në këmbim të një norme më të ulët konvergjence. [1]

Metoda përsëritëse[Redakto | Redakto nëpërmjet kodit]

Luhatjet në funksionin total objektiv janë marrë si hapa gradienti në lidhje me mini-grumbujt.

Në zbritjen stokastike të gradientit (ose "on-line"), gradienti i vërtetë i përafrohet me një gradient në një kampion të vetëm:

Shembull[Redakto | Redakto nëpërmjet kodit]

Supozoni se duam të përshtasim një vijë të drejtë në një grup trajnimi me vëzhgime dhe përgjigjet përkatëse të vlerësuara duke përdorur katrorët më të vegjël . Funksioni objektiv që duhet minimizuar është

Rreshti i fundit në pseudokodin e mësipërm për këtë problem specifik do të bëhet:

Vini re se në çdo hap të përsëritjes ose përditësimit, gradienti vlerësohet vetëm në një të vetme. Ky është ndryshimi kryesor midis zbritjes stokastike të gradientit dhe zbritjes së gradientit me grumbuj.

  1. ^ Bottou, Léon; Bousquet, Olivier (2012). "The Tradeoffs of Large Scale Learning". përmbledhur nga Sra, Suvrit; Nowozin, Sebastian; Wright, Stephen J. (red.). Optimization for Machine Learning. Cambridge: MIT Press. fq. 351–368. ISBN 978-0-262-01646-9. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)