رفتن به محتوای اصلی
x
یادگیری چندعاملی با نگاه ذهنی در محیط های نیمه مشاهده پذیر با وظایف مكانی
تاریخ دفاع
استاد

مازيار پالهنگ

دانشکده
مهندسی برق و كامپیوتر

تخصیص وظیفه غیرمتمرکز در یک سیستم چندعاملی موضوعی است که علاقه‌مندی فزاینده‌ای در سال‌های اخیر ایجاد کرده است. از کاربردهایی مانند همکاری میان ربات‌های فوتبالیست و ربات‌های امدادگر در مسابقات رباتیک تا کاربردهایی مثل مدیریت پهپادها در امور نظامی همگی مسائلی هستند که نیاز به روش‌های سریع و غیرمتمرکز را در سال‌های اخیر افزایش داده‌اند.

وقتی صحبت از ربات می‌شود، می‌بایست حسگرهایی را در نظر بگیریم که الزاماً دقیق نیستند و دامنه‌ی محدود دارند و همین امر محیط را از حالت کاملاً مشاهده‌پذیر به نیمه‌مشاهده‌پذیر تبدیل می‌کند. با پذیرش این واقعیت می‌بایست دشواری و هزینه‌ی بالاتر کار با داده‌های مبهم ورودی را نیز بپذیریم.

استفاده از نگاه ذهنی به ما این فرصت را می‌دهد که یک سیستم کاملاً غیرمتمرکز داشته‌باشیم. پیش از این، کلیس و همکاران از رویکرد ذهنی برای حل غیرمتمرکز مسئله تخصیص وظیفه مکانی(SPATAP)

[1]

در یک محیط کاملاً مشاهده‌پذیر استفاده کرده بودند[?]. هدف   این پژوهش، حل غیر‌متمرکز SPATAP   در یک محیط نیمه‌مشاهده‌پذیر است. در مسائل   SPATA   با یک محیط شبکه‌ای روبرو هستیم که در هر مکان آن با احتمالی وظیفه جدید ظاهر می‌شود. نگاه ذهنی به معنای آن است که یک عامل در مورد رفتار عامل‌های دیگر استنتاج کرده و عمل آنها را پیش‌بینی کند. دو روش عامل خودجذب و گونه‌ای از تابع ارزش توزیع‌یافته

[2]

(DVF) براین اساس در [?] معرفی شدند. در   روش پیشنهادی عامل خودجذب آنها،   هر عامل خودش را تنهاعامل در سیستم فرض می‌کرد و به سایرین مانند نویز

[3]

نگاه می‌کرد یا یک توزیع یکنواخت بر روی رفتار آنها می‌ساخت. در این رساله، ایده عامل خودجذب در SPATAP به محیط نیمه‌مشاهده‌پذیر توسعه داده شد. برایانجام این کار و به منظور پیش‌بینی سودمندی حالت باور آتی، از الگوریتم طرح‌ریزی مونت‌کارلو نیمه‌مشاهده‌پذیر

[4]

(POMCP)   استفاده شد. الگوریتم حاصل،   عامل خودجذب در محیط نیمه‌مشاهده‌پذیر

[5]

(POSA)   نام گرفت. هم‌چنین در پژوهش حاضر، تابع ارزش توزیع‌یافته  که پیش از این در محیط‌های کاملاً مشاهده‌پذیر   (بدون نیاز به ارتباط) استفاده شده بود، به محیط‌های نیمه‌مشاهده‌پذیر توسعه داده شد و تابع ارزش توزیع‌یافته نیمه‌مشاهده‌پذیر

[6]

(PODVF) نام گرفت. PODVF با استفاده از متر تشابه دو توزیع احتمال و مفهومفاصله باتاچاریا، احتمال حضور عامل‌ها را به دنیای پیوسته تعمیم داده و با استفاده از POMCP ارزشمندی باور آتی را تقریب می‌زند. نتایج شبیه‌سازی بیانگر دقت مناسب دو الگوریتم POSA و   ODVF است، اما سرعت اجرایهر دو الگوریتم پایین است.

برای رفع مشکل کندی سرعت، اصلاحاتی در POMCP انجام شد تا آن را مناسب یک محیط چندعاملی غیرمتمرکز کند. دو ایده برای انجام این کار پیشنهاد و مورد بررسی قرار گرفت: روش اول، ساخت درخت جستجوی مونت‌کارلو با اعمال منفرد عامل تصمیم‌گیرنده   (عمل تک‌عامل) که به آن POMCP با عمل منفرد

تحت نظارت وف ایرانی