مقاله

در این پست قصد معرفی کتاب Foundations of Deep Reinforcement Learning را داریم که امسال نسخه نهاییش چاپ شد. کتابهایی که معمولا در زمینه تقویتی عمیق به چاپ می رسند باید یک مصالحه ای داشته باشند بین ارائه مفاهیم جدید و پایه ای. اختلاف زمانی ارایه روشها بسیار بالاست؛ برای مثال، روشهای مبتنی بر میانگین در دهه ی پنجاه میلادی وجود داشته اند ولی روشهای نوینی که مبتنی بر مدلهای غیر خطی هستند برای همین چهار پنج سال اخیر هستند. معمولا کتابها از جمله کتاب دکتر ساتون خیلی وارد ریزه کاری های ریاضی مباحث نمی شوند که مجبور نباشند پیشنیازهای مفصلی ارایه کنند. این کتاب نیز از این قاعده مستثنی نیست ولی با این حال فصول مرتبط با روش های مبتنی بر سیاست عمق مناسبی دارند و شما را در درک این مفاهیم کمک خواهند کرد. از سویی دیگر در کتاب قسمتی وجود دارد که شامل چند فصل است و به صورت متمرکز در مورد طراحی reward function، استیت، موارد مربوط به چک کردن ترنزیشن فانکشن و ... بحث شده است که این کتاب را در نوع خود متمایز از سایر کتابها می کند. از سویی دیگر نوتیشن کتاب به صورت کلی قابل قبول است و گیج کننده نیست. در نهایت به بخش کد زنی می پردازیم. در کتاب در کنار موارد تئوری بخش کدزنی هم قرار دارد و در انتهای هر فصل می توانید توقع داشته باشید که کدهای مربوطه بررسی شده باشند. علاوه بر این نویسندگان کتابخانه جالبی را نیز در کنار کدزنی عادی ارایه کرده اند که می تواند کمک کند که سریع تر کدهای مربوط به یادگیری عمیق تقویتی را داشته باشید. با وجود مطالب ذکر شده، لازم است ذکر شود که کتاب در هر صورت کتاب جمع و جوری است و به هیچ وجه قصد نداشته که تمامی روشهای موجود را بررسی کند. ولی پس از خواندن این کتاب، خواننده در شرایط مناسبی قرار خواهد گرفت.