استفاده از بهینه سازِ مربوط به تسک در پروژه های تجاری


استفاده از بهینه سازِ مربوط به تسک در پروژه های تجاری

یکی از مسائلی که معمولا در پروژه های تجاری به درستی رعایت نمی شود، استفاده از روش بهینه سازی مناسب است. اگر بخواهیم در مورد بهینه سازی به صورت مستقل نگاه کنیم، بحث بسیار است. به هر حال بهینه سازی یک گرایش در کارشناسی ارشد است ولی اگر بخواهیم بحث را مربوط به عنوان خودمان کنیم، می توان به صورت خلاصه گفت که برای مسائل متفاوت، از روشهای بهینه سازی مربوط به خودشان که خوب جواب داده اند استفاده کنید. به این شکل که اگر می خواهید پروژه ای را انجام دهید، در تمامیِ سایکلهای تغییر هایپرپارامترها از یک تابع بهینه سازی مثل Adam استفاده نکنید. دقت کنید که قرار نیست مقاله بنویسید، بلکه می خواهید برای تسکتان مدل مناسبی داشته باشید. در مقالات بهینه سازی مربوط به یادگیری عمیق معمولا بررسی می شود که روشهای ارایه شده برای چه تسکهایی مناسب هستند. در اینجا سوالاتی را مطرح می کنیم. اگر جوابشان را نمی دانید، این به این معنی است که تا به این لحظه به این نکته خیلی آگاه نبوده اید؛ بنابراین پیشنهاد می کنیم که در این زمینه چند مقاله بخوانید تا کامل متوجه شوید که در چه context ای از چه روشی برای بهینه سازی استفاده کنید.

  • برای تسکهایی مثل detection روش SGD با Nesterov مناسب است یا Adam؟
  • چرا وقتی از روشی مثل Adam که به نوعی حافظه دار است، استفاده می کنیم، دیگر روشهای رگیولاریزیشن مثل L2 چندان جواب نمی دهند؟
  • آیا برای تمامی تسکهای NLP باید از یک تابع هزینه مثل Adam استفاده کرد؟
  • نمی توان شکل تابع هزینه را به دلیل ابعاد بالا تصور کرد ولی آیا MSE برای تسکهای متفاوت شکل و رفتار یکسانی دارد؟


نوشته شده بوسیله: محمد ابراهیم
محمد ابراهیم

سردبیر بخش هوش مصنوعی وبسایت هستم. زمینه های فعالیت من عبارت است از یادگیری عمیق، یادگیری تقویتی، بازیابی اطلاعات و بینایی ماشین. به ریاضیات، جبر و بهینه سازی علاقه فراوانی دارم. تجربیات بسیاری در برنامه نویسی دارم و فریمورکهای مورد علاقه من عبارتند از django ،pytorch و tensorflow. از دانشگاه …

مطالب مشابه