تطبیق دامنه‌های بصری با استفاده از تطبیق خصوصیات و مدل

نویسندگان

دانشکده مهندسی فناوری اطلاعات و کامپیوتر - دانشگاه صنعتی ارومیه

چکیده

در اکثر الگوریتم‌های یادگیری ماشین، توزیع احتمالی داده‌های آموزشی و تست (دامنه‌های منبع و هدف) یکسان فرض شده است. این درحالی است که در مسائل دنیای واقعی، اغلب این فرض برقرار نبوده و موجب کاهش بازدهی مدل می‌شود. هدف روش‌های تطبیق دامنه، ایجاد یک مدل تطبیق‌پذیر بر روی داده‌های آموزشی است که دارای عملکرد قابل‌قبولی بر روی داده‌های تست باشد. در این مقاله، یک روش تطبیقی بدون نظارت دومرحله‌ای با بهره‌گیری از روش‌های تطبیق خصوصیات و تطبیق مدل پیشنهاد شده است. در مرحله اول، داده‌های دامنه‌های منبع و هدف به یک فضای مشترک که دارای حداقل اختلاف توزیع حاشیه‌ای و شرطی می‌باشد، نگاشت می‌شوند و سپس از خوشه‌بندی مستقل از دامنه برای ایجاد تفکیک‌پذیری کلاس‌های مختلف در دامنه منبع بهره گرفته می‌شود. در مرحله دوم، یک طبقه‌بند انطباقی با حداقل کردن خطای پیش‌بینی و حداکثر نمودن سازگاری هندسی بین دامنه‌های منبع و هدف ایجاد می‌شود. روش پیشنهادی، بر روی چهار نوع پایگاه‌داده بصری شناخته‌شده با 36 آزمایش طراحی‌شده، مورد ارزیابی قرارگرفته است. نتایج به‌دست‌آمده، نشان‌دهنده بهبود قابل‌ملاحظه از عملکرد روش پیشنهادی در مقایسه با جدیدترین روش‌های حوزه یادگیری ماشین و یادگیری انتقالی است.

کلیدواژه‌ها

عنوان مقاله [English]

Visual Domains Adaptation via Feature and Model Matching

نویسندگان [English]

  • E. Gholenji
  • J. Tahmoresnezhad
Faculty of IT & Computer Engineering, Urmia University of Technology, Urmia, Iran
چکیده [English]

In most machine learning algorithms, the distribution of training and test sets (source and target domains, respectively) are assumed the same. However, this condition is violated in many real world problems and the performance of model degrades as well. The aim of domain adaptation solution is to build an adaptive model on source data to have acceptable performance on target domain. In this paper, we propose an unsupervised two-phases approach which benefits from representation and model adaptation methods. In the first phase, source and target data are projected onto a common subspace on which the marginal and conditional distribution difference is minimized. Moreover, domain invariant clustering is exploited to discriminate between various classes of source data. In the second phase, an adaptation classifier is presented to minimize prediction error rate and maximize manifold adaptability across source and target domains. The proposed approach is evaluated on four visual benchmark datasets according to 36 designed experiments. The obtained results highlight the considerable performance of the proposed approach against other state-of-the-art machine learning and transfer learning methods.

کلیدواژه‌ها [English]

  • Transfer learning
  • Visual domain adaptation
  • Feature representation
  • Domain invariant clustering
  • Adaptive classifier

مراجع

[1] B. Gong, K. Grauman and F. Sha,“Reshaping visual datasets for domain adaptation”, Proceedigns of the Advances in Neural Information Processing Systems, vol. 26, pp. 1286-1294, 2013.
[2] B. Gong, K. Grauman and F.Sha, “Learning kernels for unsupervised domain adaptationwith applications to visual object recognition”, Int J Comput Vision vol. 109, pp. 3–27, 2014
[3] Jolliffe I, Principal component analysis, Wiley, vol. 2, pp. 433-459, 2002.
[4] طاهره زارع بیدکی، محمدتقی صادقی، «بهینه‌سازی وزن‌ها در کرنل مرکب برای طبقه‌بند مبتنی بر نمایش تنک کرنلی»، مجله مهندسی برق دانشگاه تبریز، جلد 47، شماره 3، صفحات 1059-1072، 1396.

[5] B. Gong, K. Grauman and F. Sha, “Connecting the dots with landmarks: discriminatively learning domain-invariant features for unsupervised domain adaptation”, Proceedings of the International Conference on Machine Learning, vol. 28, no. 1, pp. 222-230, 2013.
[6] L. Duan L, I. W. Tsang, D. Xu and S. J. Maybank, “Domain transfer SVM for video concept detection”,IEEE Conference on computer vision and pattern recognition, pp. 1375-1381, 2009.
[7] L. Bruzzone and M. Marconcini, “Domain adaptation problems: a DASVM classification technique and a circular validation strategy”, IEEE Trans Pattern Anal Mach Intell, vol. 32, no. 5, pp. 770–787, 2010.
[8] M. Long, J. Wang, G. Ding, S. J. Pan and P. Yu, “Adaptation regularization: a general framework for transfer learning”, IEEE Trans. Knowl. Data Eng, vol. 26, pp. 1076–1089, 2013.
[9] S. J. Pan, I. W. Tsang, J. T. Kwok and Q. Yang, “Domain adaptation via transfer component analysis”, IEEE Trans. Neural Netw, vol. 22, pp. 199–210, 2011.
[10] S. Si, D. Tao and B. Geng, “Bregman divergence-based regularization for transfer subspace learning”, IEEE Trans Knowl Data Eng, vol. 22, no. 7, pp. 929–942, 2010.
[11] B. Gong, Y. Shi, F. Sha and K. Grauman, “Geodesic flow kernel for unsupervised domain adaptation”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2066-2073, 2012.
[12] M. Long, J. Wang, G. Ding, J. Sun and P. S. Yu, “Transfer joint matching for unsupervised domain adaptation”, IEEE conference on computer vision and pattern recognition, pp. 1410-1417, 2014.
[13] S. Satpal and S. Sarawagi, “Domain adaptation of conditional probability models via feature subsetting”, Proceedings of PKDD, vol. 4702, pp. 224-235. 2007.
[14] B. Quanz, J. Huan and M. Mishra, “Knowledge transfer with low-quality data: a feature extraction issue”, IEEE Trans Knowl Data Eng, vol. 24, no. 10, pp. 1789–1802, 2012.
[15] M. Long, J. Wang, G. Ding, J. Sun and S. YuPhilip, “Transfer feature learning with joint distribution adaptation”, IEEE international conference on computer vision, pp. 2200-2207, 2013.
[16] J. Tahmoresnezhad and S. Hashemi, “Visual domain adaptation via transfer feature learning”, KnowlInf Syst, vol. 50, no. 2, pp. 585-605, 2016.
[17] J. Tahmoresnezhad and S. Hashemi, “A generalized kernel-based random k-sample sets method for transfer learning”, Iran J Sci Technol Trans Electrical Eng, vol. 39, pp. 193-207, 2015.
[18] M. Belkin, P. Niyogi, V. Sindhwani, “Manifold regularization: a geometric framework for learning from labeled and unlabeled examples”, J. Mach. Learn. Res, vpl. 7, pp. 2399-2434, 2006.
[19] U. von Luxburg, “A tutorial on spectral clustering”, Stat. Comput, vol. 17, no. 4, pp. 395-416, 2007.
[20] B. Schӧlkopf, R. Herbrich and A. J. Smola, “A generalized representer theorem”, Proceedings of the Conference on Computational Learning Theory, pp. 416-426, 2001.
[21] K. Saenko, B. Kulis, M. Fritz and T. Darrell, “Adapting visual category models to new domains”, Proceedings of the European Conference on Computer Vision, pp. 213-226, 2010.
[22] G.Griffin, A. Holub and P. Perona, “Caltech-256 object category dataset”, Technical Report7694, 2007.
[23] J. J. Hull, “A database for handwritten text recognition research”, IEEE Trans. Pattern Anal. Mach. Intell, vol. 16, no. 5, pp. 550–554, 1994.
[24] Y. LeCun, L. Bottou, Y. Bengio, P. Haffner, “Gradient-based learning applied to document recognition”, Proc. IEEE, vol. 86, no. 11, pp. 2278–2324, 1998.
[25] S. A. Nene, S. K. Nayar and H. Murase, “Columbia object image library (COIL-20)”, Technical Report CUCS, 1996.
[26] T. Sim, S. Baker and M. Bsat, “The CMU pose, illumination, and expression (PIE) database”, Proceedings of Fifth IEEE International Conference on Automatic Face Gesture Recognition, pp. 53-58, 2002.
[27] مهرداد حیدری ارجلو، سید قدرات اله سیف السادات، مرتضی رزاز، «یک روش هوشمند تشخیص جزیره در شبکه توزیع دارای تولیدات پراکنده مبتنی بر تبدیل موجک و نزدیک‌ترین k-همسایگی (kNN)»، مجله مهندسی برق دانشگاه تبریز، جلد 43، شماره 1، صفحات 15-26، 1392.
مجله مهندسی برق دانشگاه تبریز
دوره 49، شماره 1 - شماره پیاپی 87
اردیبهشت 1398
صفحه 381-397

فایل ها

هم رسانی

ارجاع به این مقاله

آمار