بهینه‌سازی وزن‌ها در کرنل مرکب برای طبقه‌بند مبتنی بر نمایش تنک کرنلی

نویسندگان

دانشگاه یزد - دانشکده مهندسی برق

چکیده

طبقه‌بند مبتنی بر نمایش تنک (SRC)یکی از الگوریتم‌های موفق در ترکیب مفاهیم مطرح در دو حوزه نمونه‌برداری فشرده و آموزش ماشین است. در SRC، هر نمونه بر اساس ترکیب خطی تنکی از نمونه‌های آموزشی نمایش داده می‌شود. با توجه به موفقیت‌های اولیه این الگوریتم، فرم کرنلیزه آن (KSRC) نیز ارائه شده که در آن داده‌ها با استفاده از تابع کرنل به طور غیر صریح به فضای ویژگی جدیدی با ابعاد بالاتر نگاشت یافته و سپسSRC اعمال می‌شود. در این چارچوب، انتخاب کرنل مناسب اهمیت زیادی دارد. استفاده از کرنل مرکب به جای استفاده از یک کرنل، بهترین راه حلی است که تاکنون برای این مسئله ارائه شده است. در این پژوهش، برای افزایش سرعت و دقت طبقه‌بند، از کرنل مرکب در ساختار KSRC استفاده شده است. کرنل مرکب، با جمع وزن‌دار کرنل‌های پایه ایجاد می‌شود که وزن کرنل‌ها با به‌کارگیری معیارهای متفاوتی تعیین می‌شود. در این مقاله، با هدف حداقل سازی خطای بازسازی درچارچوب KSRC، روش‌هایی برای بهینه سازی وزن کرنل‌ها ارائه می‌شود. بر این اساس، ابتدا روش‌های پایه برای ساخت کرنل مرکب که تا کنون برای کاربرد KSRC استفاده نشده است، مورد بررسی قرار خواهد گرفت. سپس الگوریتمی، نوین جهت بهینه‌سازی کرنل مرکب در چارچوب مسئله KSRC ارائه می‌شود. برای بررسی عملکرد الگوریتم‌های پیشنهادی از دادگان واقعی موجود در پایگاه داده UCI و مجموعه اعداد دست نویس MNIST استفاده شده است. نتایج حاصله موید عملکرد خوب الگوریتم پیشنهادی در شرایط مختلف و مقاوم‌تر بودن روش پیشنهادی در مواجهه با نویز است.

کلیدواژه‌ها


عنوان مقاله [English]

Optimization of the Weights in Multiple Kernel for Kernel Sparse Representation Based Classifier

نویسندگان [English]

  • T. Zare Bidaki
  • M. T. Sadeghi
Department of Electrical Engineering, University of Yazd, Yazd, Iran
چکیده [English]

Sparse representation based classifier (SRC) is a well-known algorithm which combines the compressive sampling and machine learning concepts. In this classifier, each sample is represented by a linear and sparse combination of the associated training samples. Following the successful application of the SRC algorithm, the kernelized version of the classifier was also presented in which the data points are implicitly mapped into a high dimensional feature space. The SRC algorithm is then applied. Selection of a proper kernel is an important issue in such a kernel based algorithm. Using multiple kernel is a proper solution for this problem. In this study, in order to increase the accuracy and speed of the KSRC algorithm, we utilize a multiple kernel function within the framework of the KSRC. The multiple kernel is created by the weighted summation of a set of basis kernels where the kernel weights are determined using a set of different approaches. In this paper, we propose a novel method of determining the weights by using an optimization algorithm which is based on minimization of the reconstruction error of the KSRC. The proposed algorithm is evaluated considering real data sets from the UCI database and also hand written digits of the MNIST data sets. Our experimental results show the superiority of the proposed algorithm in different conditions. The proposed method is also more robust against additive noises.

کلیدواژه‌ها [English]

  • Multiple Kernel
  • Sparse Representation based Classifier (SRC)
  • Kernel Sparse Representation based classifier (KSRC)