مقاله

یکی از نکاتی که مرسوم است چندان به آن توجه نمی شود، دقت در نوعِ پارامتر در شبکه است. این موضوع از این جهت مهم است که در شبکه های خیلی عمیق، باید نرمالسازی مناسبی داشته باشیم و گرنه شبکه خوب یاد نمی گیرد و پیدا کردن علت آسان نخواهد بود. اصولا تمامی پارامترهای شبکه، بردارها و ماتریسهای وزن نیستند؛ به عنوان مثال، در batch normalization پارامترهای ما بردار وزن نیستند ولی لازم است که یاد گرفته شوند. در شبکه های مختلف و در روشهای مختلف از این دست پارامترها دیده می شود. نکته ای که لازم است توجه کرد این است که اگر مثلا پارامتری دارید که وزن نیست و قرار است با یک محاسباتی از شبکه جمع یا تفریق شود، لازم است بررسی کنید که اصطلاحا آیا زورِ پارامتری که قرار است یاد گرفته شود به قسمت دیگر می رسد که در آن تغییر ایجاد کند یا خیر. در این شرایط scale کردنِ دستی می تواند به کار آید اگر با مشکل روبه رو شدید. به عنوان مثالی که شباهت دارد ولی دقیقا مثل این نیست، می توان به نرمال کردن داده های تسکِ regression برای خروجی اشاره کرد. در جاهایی که رنج بزرگ است، این کار واجب است زیرا لایه آخر زورش نمی رسد که target را بسازد.