حداقل‌سازی خطای پیش‌بینی مدل‌های طبقه‌بندی تصویر با استفاده از کدگذاری تنک و تطبیق دامنه

شناسنامه علمی شماره

نویسندگان

دانشکده مهندسی فناوری اطلاعات و کامپیوتر - دانشگاه صنعتی ارومیه

چکیده

تطبیق دامنه می‌تواند دانش را از یک مجموعه آموزشی (دامنه منبع) به یک مجموعه آزمایشی (دامنه هدف) انتقال دهد تا بازدهی مدل یادگرفته‌شده از داده‌های آموزشی افزایش یابد. علاوه‌بر این، استفاده از کدگذاری تنک، مدل یادگرفته‌شده را بسیار مختصر نموده و کنترل آن را ساده می‌نماید. با این حال، اختلاف توزیع بین دامنه‌های منبع و هدف بازدهی مدل را کاهش می‌دهد. در این مقاله، ما یک مدل تطبیق دامنه بدون‌نظارت پیشنهاد می‌دهیم تا خطای پیش‌بینی مدل‌های طبقه‌بندی تصاویر را کاهش دهیم. از وزن‌دهی مجدد نمونه‌ها برای مدیریت داده‌های اضافه و اطلاعات بلااستفاده داده‌های منبع در نمایش جدید استفاده می‌شود. همچنین، اختلاف توزیع شرطی بین دامنه‌های منبع و هدف با استفاده از روی هم‌گذاری زیرفضاها کاهش داده می‌شود. روش پیشنهادی ما یک طبقه‌بند مستقل از دامنه تنک در زیرفضای به‌دست‌آمده می‌باشد که ساختار داده‌های ورودی را حفظ می‌کند. آزمایشات گسترده نشان می‌دهد که روش پیشنهادی ما بر روی پایگاه‌داده‌های واقعی در مقایسه با روش‌های به روز در حوزه یادگیری ماشین و تطبیق دامنه، 49/4% بهبود در صحت طبقه‌بندی دارد.

کلیدواژه‌ها

عنوان مقاله [English]

Prediction Error Minimization of Image Classification Models via Sparse Coding and Domain Adaptation

نویسندگان [English]

  • F. Sherafati
  • J. Tahmoresnezhad
Faculty of IT & Computer Engineering, Urmia University of Technology, Urmia, Iran
چکیده [English]

Domain adaptation can transfer knowledge from a training set (source domain) to a test set (target domain), promoting the performance of the model learned from the training set. In addition, sparse coding makes the learned model more succinct and easy to manipulate. However, the existence of the distribution mismatch across the source and target domains reduce the performance of model. In this paper, we propose an unsupervised domain adaptation model to minimize the prediction error of image classification. Sample reweighting is utilized to handle redundant and useless information of source data in the new representation. Moreover, the difference of the conditional distributions across the source and target domains is reduced along with the subspace alignment. Our proposed approach learns a sparse domain-invariant classifier in a latent subspace with preserving the structure of the input data. Extensive experiments demonstrate that our proposed approach shows 4.49% improvement in classification accuracy on real-world datasets compared to state-of-the-art machine learning and domain adaptation methods.

کلیدواژه‌ها [English]

  • Image processing
  • domain adaptation
  • sparse coding
  • conditional distribution difference
  • subspace alignment

مراجع

[1] J. Tahmoresnezhad and S. Hashemi, “A generalized kernel-based random k-sample sets method for transfer learning”, Iran J Sci Technol Trans Electrical Eng, vol. 39, pp. 193-207, 2015.
[2] J. Tahmoresnezhad  and S. Hashemi S, “An Efficient yet Effective Random Partitioning and Feature Weighting Approach for Transfer Learning”, International Journal of Pattern Recognition and Artificial Intelligence, vol. 30, no. 2, 1651003, 2016.
[3] طاهره زارع بیدکی و محمدتقی صادقی، «بهینه‌سازی وزن‌ها در کرنل مرکب برای طبقه‌بند مبتنی بر نمایش تنک کرنلی»، مجله مهندسی برق دانشگاه تبریز، جلد 47، شماره 3، صفحات 1059-1072، 1396.
[4] Pereira, L. A., & da Silva Torres, R. “Semi-supervised transfer subspace for domain adaptation ”, Pattern Recognition, 75, pp.  235-249, 2018.
[5] Ishii, M., & Sato, A, “Joint optimization of feature transform and instance weighting for domain adaptation”,  In Neural Networks (IJCNN), International Joint Conference on IEEE,  pp. 3793-3799, 2017.
 [6] B. Gong, Y. Shi, F. Sha and K. Grauman, “Geodesic flow kernel for unsupervised domain adaptation”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2066-2073, 2012.
[7] Cao, Y., Long, M., & Wang, J. “Unsupervised Domain Adaptation with Distribution Matching Machines”, In AAAI Conference on Artificial Intelligence, 2018.
[8] Herath, S., Harandi, M. T., & Porikli, F. “ Learning an Invariant Hilbert Space for Domain Adaptation”, In CVPR, pp. 3956-3965, 2017.
 [9] M. Ghifary, D. Balduzzi, W. B. Kleijn, and M. Zhang, “Scatter component analysis: A unified framework for domain adaptation and domain generalizayion”, IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 1-1, 2016.
[10] B. Sun and K. Saenko. “Subspace distribution alignment for unsupervised domain adaptation”, in Proc.British Machine Vision Conference, 2015.
[11] S. Satpal and S. Sarawagi, “Domain adaptation of conditional
probability models via feature subsetting”, Proceedings of PKDD, vol.
4702, pp. 224-235, 2007.
[12] J. Tahmoresnezhad and S. Hashemi, “Visual domain adaptation via transfer feature learning”, KnowlInf Syst, vol. 50, no. 2, pp. 585-605, 2016.
[13] Ding, Z., & Fu, Y, “ Robust transfer metric learning for image classification”, IEEE Transactions on Image Processing, vol.  26, no. 2, 660-670, 2017.
[14] Jolliffe I, “Principal component analysis”, Wiley, vol. 2, pp. 433-459, 2002.
[15] مهرداد حیدری ارجلو، سید قدرت اله سیف السادات و مرتضی رزاز، «یک روش هوشمند تشخیص جزیره در شبکه توزیع دارای تولیدات پراکنده مبتنی‌بر تبدیل موجک و نزدیک‌ترین k-همسایگی (kNN) »، مجله مهندسی برق دانشگاه تبریز، جلد 43، شماره 1، صفحات 15-26، 1392.
[16] S. Si, D. Tao and B. Geng, “Bregman divergence-based regularization for transfer subspace learning”, IEEE Transactions on Knowledge and Data Engineering, vol. 22, no. 7, pp. 929-942, 2010.
[17] S. J. Pan, I. W. Tsang, J. T. Kwok and Q. Yang, “Domain adaptation via transfer component analysis”, IEEE Trans. Neural Netw, vol. 22, no. 2, pp. 199–210, 2011. [18] L. Duan, D. Xu, I.W. Tsang, “Domain adaptation from multiple sources: a domain-dependent regularization approach”, IEEE Trans. Neural Netw. Learn. Syst, vol, 23, no. 3, pp. 504-518, 2012.
[19] B. Fernando, A. Habrard, M. Sebban, and T. Tuytelaars, “Unsupervised visual domain adaptation using subspace alignment”, in Proc. IEEE International Conference on Computer vision, pp. 2960-2967, 2013.
[20] Y. Xu, X. Fang, J. Wu, X. Li and D.  Zhang, “Discriminative transfer subspace learning via low-rank and sparse representation”, IEEE Transactions on Image Processing, vol. 25, no. 2,pp. 850-863, 2016.

فایل ها

هم رسانی

ارجاع به این مقاله

آمار