مقاله

در زمان آموزش شبکه یکی از موارد مهمی که لازم است به آن توجه کرد، سایز minibatch است. وقتی که این سایز را افزایش می دهیم، تخمین تابع هزینه و جهت کاهشی به واقعیت نزدیکتر خواهد بود؛ با این حال، مشکلی که وجود دارد همین تخمین مناسب است که باعث می شود خطر گیر کردن در نقاط اکسترمم افزایش یابد. به عبارتی با تخمین مناسب ما در جهت کاهشی حرکت می کنیم ولی در نهایت چون هر بار تخمین تقریبا یکسان است، ما به یک نقطه احتمالا همگرا می شویم. توصیه می شود سایز minibatch را 32 یا 64 در نظر بگیرید تا در هر بار فرآیند کاهش تابع هزینه، تخمین تابع هزینه چیز جدیدی شود. اینکار شاید در ظاهر خوب نباشد ولی سبب می شود به صورت کلی در جهت کاهشی حرکت کنیم و به یک نقطه خاص همگرا نشویم زیرا تخمین خیلی دقیق نیست. با این ترفند می توان از اکسترمم های محلی گریخت.