آموزش یادگیری تقویتی ویژه مهندسی کنترل

هر موجود زنده‌ای با محیط اطراف خودش تعامل دارد و از این برهمکنش به منظور انجام عمل‌هایی استفاده می‌کند که منجر به بقا و بهبود آن شوند. چارلز داروین نشان داد که گونه‌های مختلف عمل‌های خود را بر اساس تعامل با محیط طوری اصلاح می‌کنند که در طولانی مدت منجر به انتخاب طبیعی و بقای بهترین‌ها شود. به تغییر رفتار یک موجود زنده و یا یک شی (مانند ربات) بر اساس تعامل با محیط یادگیری تقویتی یا Reinforcement Learning می‌گوییم. روش‌های مختلفی برای یادگیری وجود دارد. دسته اول یادگیری نظارت‌شده است که در آن داده‌های لیبل‌دار به عامل نشان داده می‌شود تا یاد بگیرد. گروه دوم یادگیری نظارت‌نشده است که در آن خود عامل باید الگوهای موجود بین داده‌ها را استخراج کند و در حقیقت لیبلی نداریم. اما دسته سوم یادگیری تقویتی است که عامل فقط از طریق تعامل با محیط می‌تواند یاد بگیرد. الگوریتم‌های یادگیری تقویتی بر این مبنا استوار هستند که عمل‌های خوب در موقعیت‌های خاص باید به خاطر سپرده شوند تا مجددا در آینده استفاده شوند. از این رو یادگیری تقویتی ارتباط خیلی نزدیکی با کنترل تطبیقی (Adaptive Control) دارد. در کنترل تطبیقی هدف این است که پارامترهای کنترل‌کننده با تغییر دینامیک سیستم طوری تغییر داده شوند که رفتار سیستم حلقه‌ بسته همچنان بهینه و مطلوب باشد. در تئوری یادگیری ماشینی به کنترل‌کننده در اصطلاح عامل یا Agent گفته می‌شود که وظیفه آن تنظیم سیگنال‌های کنترلی است به شکلی که خروجی‌های سیستم همانند سیگنال مطلوب تغییر کند. سیگنال‌های کنترلی طبیعتا به پلنت (Plant)  اعمال خواهند شد که در اصطلاح یادگیری تقویتی به آن محیط (Environment) می‌گوییم. بنابراین کنترل‌کننده تطبیقی مبتنی بر یادگیری تقویتی، یک کنترل‌کننده بهینه است که فقط از طریق تعامل با محیط، سیگنال‌های کنترلی بهینه را تولید می‌کند و همانند بسیاری از الگوریتم‌های یادگیری تقویتی، شناختی از محیط ندارد و فقط می‌تواند با آن تعامل داشته باشد. در مهندسی کنترل، استراتژی‌های خیلی زیادی برای کنترل تطبیقی ارائه شده است که در تمام آن‌ها فرض اساسی، داشتن مدل دینامیکی سیستم است. اما در کنترل تطبیقی مبتنی بر یادگیری تقویتی، بدون داشتن دینامیک سیستم به طراحی کنترل‌کننده‌های بهینه خواهیم پرداخت. لازم به ذکر است که پیش‌نیاز این آموزش دروس کنترل بهینه، کنترل مدرن و یادگیری تقویتی با متلب است که در فرادرس نیز وجود دارد و علاقه‌مندان بعد از رعایت پیش‌نیازها می‌توانند بهترین استفاده را از این آموزش ببرند.