مقاله

در پروژه های تجاری، سیاست استفاده از توابع فعالیت کاملا متفاوت است با آن چیزی که در نوشتن مقاله لازم است در نظر گرفته شود. معمولا در مقالات لازم است نویسندگان اثبات کنند که کار خودشان چه نوع آوری داشته و باید میزان اثر بخشی کار خودشان را اثبات کنند. اصطلاحا در قسمت ablation study مقالات، نویسندگان باید بررسی کنند که پیشنهادات خودشان چقدر باعث بهبود عملکرد شده؛ برای اینکه بهتر این موضوع را جا بیاندازیم، فرض کنید که شما مقاله ای نوشته اید و می خواهید اثبات کنید که روش شما خوب است. در این حالت، باید تمرکز روی قسمتی که خودتان با نوآوری به آن رسیده اید، باشد. قسمتهای اثر بخشی که به وسیله دیگران کشف شده اند، قبلا جواب پس داده اند به صورت کلی و نویسندگان باید تمرکزشان روی نوآوری خودشان باشد. به همین دلیل معمولا می بینید که خیلی ها در شبکه هایشان، در لایه های میانی از تابعی مثل ReLU یا PReLU استفاده می کنند. اگر از توابع دیگری استفاده شود، لازم است در قسمت ablation study میزان تاثیر گذاری روشهای استفاده شده بررسی شود و ثابت شود که نوآوری از کار مولفین مقاله جدید بوده که این کار در هر صورت هزینه بر است؛ به همین خاطر و به صورت کلی، معمولا همه همان ReLU را انتخاب می کنند. با این حال، لازم است بدانید که تابع فعالیت اهمیت بسیار بالایی دارد. در زمینه انتخاب تابع فعالیت، مقالات بسیار زیادی وجود دارد. جالب است بدانید که برای تسکهای متفاوت، بعضی از توابع فعالیت ممکن است بهتر کار کنند؛ بنابراین، وقتی شبکه ای را برای کار تجاری خود آماده می کنید، تنها به ReLU اتکا نکنید و بگردید و گزینه های متفاوت را بررسی کنید. پیشنهاد ما این است که بررسی کنید برای تسکتان، چه توابعی اخیرا نتایج بهتری گرفته اند. در این باره، مقالات بسیار زیادی را می توانید پیدا کنید.