የግራዲየንት መውረድ በ Cauchy በ1847 ተፈጠረ። Méthode générale pour la résolution des systèmes d'équations simultanées። ገጽ 536–538 ስለ እሱ ለበለጠ መረጃ እዚህ ይመልከቱ።
SGD መቼ ተፈጠረ?
የሲንጋፖር ዶላር ለመጀመሪያ ጊዜ በ 1965 በማሌዢያ እና በብሩኔ መካከል የነበረው የገንዘብ ህብረት ከተበላሸ በኋላ ወጥቷል፣ነገር ግን በሁለቱም ሀገራት ከብሩኒ ዶላር ጋር ሊለዋወጥ ይችላል።
የግራዲየንት ማበረታቻን ማን ፈጠረ?
የግራዲየንት ማሳደጊያ ማሽኖችን የፈለሰፈው ማነው? ጄሮም ፍሪድማን፣ ከ1999 (እ.ኤ.አ. የተሻሻለው) በሴሚናል ወረቀቱ (በ2001 ዓ.ም. የተሻሻለው) ስግብግብ ማበልፀጊያ ማሽን፣ የግራዲየንት ማበልጸጊያ ማሽን አስተዋወቀ፣ ምንም እንኳን እራሱን የማሳደግ ሀሳብ አዲስ ባይሆንም።
አዳም ስቶካስቲክ ቅልመት ቁልቁለት ይጠቀማል?
አዳም የጥልቀት ትምህርት ሞዴሎችን ለማሰልጠን የ ምትክ ማሻሻያ ስልተ ቀመር ነው። አዳም የAdaGrad እና RMSProp ስልተ ቀመሮችን በማጣመር በጫጫታ ችግሮች ላይ ትንሽ ቀስቶችን ማስተናገድ የሚችል የማመቻቸት ስልተ-ቀመር ያቀርባል።
ለምን ስቶካስቲክ ቅልመት መውረድ ተባለ?
«ስቶቻስቲክ» የሚለው ቃል በዘፈቀደ ዕድል የተገናኘ ሥርዓት ወይም ሂደት ማለት ነው። ስለዚህ፣ በStochastic Gradient Descent፣ ጥቂት ናሙናዎች ለእያንዳንዱ ተደጋጋሚነት ከጠቅላላው ውሂብ ይልቅ በዘፈቀደ ተመርጠዋል።
