خوشه بندی مقید با استفاده ازیادگیری عمیق
Constrained Clustering Using Deep Learning
خوشه بندی مقید با استفاده ازیادگیری عمیق – کارشناسی ارشد
وشه بندی یکی از مسائل مهم در حوزه یادگیری ماشین می باشد و کاربرد آن در حل مسائل مختلف، روز به روز افزایش پیدا کرده است. از آنجاییکه الگوریتم های خوشه بندی بدون ناظر عمل میکنند برای بهبود آنها سعی شده تا دانش اولیه ای را از داده های خام استخراج کرده و آن دانش را تحت عنوان قید به الگوریتم اعمال کرد. با استفاده از اطلاعات خبرگان یا تخمین توزیع داده ها، می توان قیدهایی را برروی نمونه ها بصورت باید- پیوند و نفی- پیوند استخراج کرد و نتایج تحقیقات حاکی از بهبود قابل توجه دقت خوشهبندی با استفاده از این روش میباشد. تلاشهای زیادی برروی نحوه اعمال این قیدها در الگوریتم های خوشه بندی انجام شده است ولی الگوریتم های خوشه بندی مقید کنونی پیچیدگی محاسباتی بسیار بالایی دارند. از یک زاویه دیگر، تاثیر بسیار مثبت استخراج/انتخاب/یادگیری ویژگیها در تمامی پژوهشهای وزین خوشه بندی، بصورت تجربی نشان داده است. با توجه به پیشرفت چشمگیر شبکه های عصبی عمیق در تمامی کاربردهای عملی، در این تحقیق هم به منظور یادگیری ویژگیها بصورت غیرخطی و هم به منظور خوشه بندی مقید داده های عملی، یک شبکه عمیق طراحی شده و بصورت بدون سرپرست برای هر دو منظور آموزش دیده است. در این تحقیق، ابتدا از یک شبکه کد کننده و یک شبکه کدگشا بصورت سریال استفاده شده تا ویژگیهای مناسبی را بصورت غیرخطی استخراج کند. سپس ویژگیهای آموزش دیده شده (خرجی کد کننده) به یک شبکه عمیق داده میشود که با کمینه سازی فاصله کولبک لیبر سعی در گنجاندن قیدها به منظور خوشه بندی موثرتری میکند. پس از مرحله آموزش، این روش بسیار سریع در فاز تست عمل میکند و حتی برای داده های با ابعاد بالا نیز از پیچیدگی زمانی مناسبی برخوردار باشد.
واژگان کلیدی:
خوشه بندی مقید,خوشه بندی عمیق, شبکه عصبی عمیق, یادگیری عمیق, خودرمزگذار عمیق
Keywords:
Constrained clustering, Deep clustering, Deep learning, Deep neural networks, Deep autoencoder
فصل اول مقدمه
1-1- تعریف مسئله 2 1-2- چالش های خوشه بندی 2 1-3- چرا یادگیری عمیق برای ما اهمیت دارد؟ 4 1-4- نوآوری ها 6 1-5- ساختار پایان نامه 7
فصل دوم مبانی نظری پژوهش
2-1- خوشه بندی 9 2-1-1- خوشه بندی سلسله مراتبی 10 2-1-2- روش های خوشه بندی افرازی 10 2-1-3- روش های خوشه بندی طیفی 11 2-1-4- روش های خوشه بندی مبتنی بر شبکه 11 2-1-5- روش های خوشه بندی مبتنی بر چگالی 12 2-2- خوشه بندی مقید 12 2-2-1- روش های مبتنی بر فاصله 15 2-2-2- روش های مبتنی بر قید 15 2-2-3- روش های مبتنی بر ارضای قید 16 2-3- مزایا و معایب خوشه بندی مقید 19 2-3-1- مزایای استفاده از قید در خوشه بندی 20 2-3-2- مشکلات استفاده از قید در خوشه بندی 21 2-4- شبکه عصبی 22 2-4-1- از نورون تا شبکه عصبی 25 2-4-2- الگوریتم انتشار رو به عقب 26 2-5- شبکه عصبی عمیق 30 2-5-1- شبکه های عصبی در هم تنیده 32 2-6- مدل های مولد عمیق 34 2-6-1- شبکه های خودرمزگذار 35
فصل سوم کارهای انجام شده
3-1- شبکه خودرمزگذار رقابتی 38 3-1-1- شبکه مولد رقابتی 38 3-1-2- شبکه خودرمزگذار رقابتی 40 3-1-3- خوشه بندی با شبکه خودرمزگذار رقابتی 41 3-2- خوشه بندی یک طیفی مقید 43
فصل چهارم راهکار پیشنهادی
4-1- مقدمه 45 4-2- DEC 46 4-2-1- خودرمزگذار پشته شده 47 4-2-2- Kullback-Leibler divergence (KL) 49 4-2-3- DEC مقدار دهی اولیه پارامترها 50 4-2-4- DEC خوشه بندی با معیار KL 52 4-3- تعریف مسئله 54 4-4- مدل پیشنهادی 54
فصل پنجم آزمایشات و نتایج
5-1- مجموعه داده ها 59 5-2- پیاده سازی 60 5-3- نتایج 61 5-4- داده های تولید شده 62 فصل ششم 70 نتیجهگیری و پیشنهادها 71 6-1- نتیجه گیری 71 6-2- کارهای آینده 72 منابع 73