در زمان آموزش شبکه یکی از موارد مهمی که لازم است به آن توجه کرد، سایز minibatch است. وقتی که این سایز را افزایش می دهیم، تخمین تابع هزینه و جهت کاهشی به واقعیت نزدیکتر خواهد بود؛ با این حال، مشکلی که وجود دارد همین تخمین مناسب است که باعث می شود خطر گیر کردن در نقاط اکسترمم افزایش یابد. به عبارتی با تخمین مناسب ما در جهت کاهشی حرکت می کنیم ولی در نهایت چون هر بار تخمین تقریبا یکسان است، ما به یک نقطه احتمالا همگرا می شویم. توصیه می شود سایز minibatch را 32 یا 64 در نظر بگیرید تا در هر بار فرآیند کاهش تابع هزینه، تخمین تابع هزینه چیز جدیدی شود. اینکار شاید در ظاهر خوب نباشد ولی سبب می شود به صورت کلی در جهت کاهشی حرکت کنیم و به یک نقطه خاص همگرا نشویم زیرا تخمین خیلی دقیق نیست. با این ترفند می توان از اکسترمم های محلی گریخت.
تعیین کردن سایز بچ
نوشته شده بوسیله:
کامران پناهی
کارشناسی ارشد هوش مصنوعی
علاقه مند به یادگیری عمیق
مطالب مشابه
مقالات
یکی از مواردی که لازم است به عنوان فردی که در حوزه یادگیری فعالیت می …
در آموزش شبکه های عصبی، learning rate یکی از مهمترین هایپرپارامترهایی است که لازم است …
معمولا در پروژه های تجاری زمان تحویل پروژه یکی از مهمترین قسمتهای کار است. به …
حتما شنیده اید که به لایه های پولینگ از جمله max-pool انتقادات زیادی وارد شده …
از چالشهایی که معمولا در تمامی رشته ها وجود دارد، استفاده از کلمه یکسان در …
دوره های آموزشی
یادگیری عمیق گونهای از الگوریتمهای یادگیری ماشین است که وابسته به انجام تعداد زیادی محاسبه …
Tensorflow یکی از محبوبترین کتابخانههای شبکههای عصبی است. بسیاری از شرکتهای بزرگ که در حوزهی …
به دلایل متفاوت، لازم است که در کد پایتون لاگ گیری داشته باشیم ولی کتابخانه …
زبان پایتون در چند سال اخیر به زبانی پرطرفدار تبدیل شده است. یکی از دلایل …
معماری تبدیلکننده، یک معماری شبکهی عصبی و یادگیری عمیق است که در سال 2017 ارایه …