تشخیص اجزای بدن انسان در تصاویر RGB-D با استفاده از ویژگی-های الگوی تغییرات عمق و تفاضل مکانی عمق

نوع مقاله : علمی-پژوهشی

نویسندگان

پژوهشکده ی فضای مجازی - دانشگاه شهید بهشتی

چکیده

تشخیص بخش‌های بدن انسان یکی از مهم­ترین موضوعات پژوهش در دهه‌ی اخیر بوده­­است. این موضوع در حوزه‌هایی مانند تشخیص فعالیت‌، تشخیص حالت و سایر سامانه‌های مرتبط با فعالیت‌های حرکتی انسان، کاربرد گسترده­ای دارد. هدف از سیستم تشخیص بخش‌های بدن انسان تعلق­دادن هر پیکسل انسان به بخش‌های بدن می‌باشد. در تحقیقات اخیر نشان داده‌ شده­است، استفاده از نقشه‌ی عمق می‌تواند نتایج حاصل تشخیص بخش­های بدن را بهبود بخشد. در این پژوهش ویژگی‌های جدیدی براساس تفاوت پیکسلی عمق ارائه ‌شده­است. ویژگی اول بر­اساس تفاضل پیکسلی عمق بین پیکسل ورودی و همسایه­های آن‌که بر­اساس توزیع وزن­دار حلقوی انتخاب شدند، تعیین شدند. ویژگی دوم  تفاوت ضرایب چندجمله‌ای برازش­شده از پیکسل ورودی در مقیاس‌های مختلف می‌باشد که موجب ایجاد ویژگی­ای مستقل از مقیاس می‌شود. برای دسته‌بندی پیکسل­ها از جنگل تصمیم تصادفی استفاده ‌شده­است. مقایسه نتایج روش پیشنهادی با روش‌های موجود نشان می‌دهد روش پیشنهادی توانسته است با دقت بیشتری اجزای مختلف بدن را تشخیص و تقسیم‌بندی کند.

کلیدواژه‌ها

عنوان مقاله [English]

Human body part detection in RGB-D image with pattern of depth difference and spatial depth difference features

نویسندگان [English]

  • F. Arefi
  • A. Nadian
Cyberspace Research Institute, Shahid Beheshti University, Tehran, Iran
چکیده [English]

Human body part detection has been an important research topic in the last decade. It is widely applicable in areas such as human activity recognition, pose detection and other applications related to human movements. The objective of a human body part detection system is to associate a body part to each human pixel. Recent studies show that applying depth maps significantly improves the results of body part detection. In this study, two new features based on pixel depth difference is proposed. First feature is based on pixel-wise depth difference between the input pixel and neighbor pixels selected using a weighted circular distribution. The second feature is the difference between coefficients of polynomials fitted to neighbors of the input pixel at difference scales, making the feature invariant scaling. Random decision forest was used for pixel classification. Comparison of results with the state of the art methods reveal that the proposed method is able to distinguish and differentiate the various components of the body more accurately.

کلیدواژه‌ها [English]

  • Human body part detection
  • RGB-D image
  • shape based feature
  • random decision forest

مراجع

[1] محمد امین نعمت‌اللهی, سید علی اکبر صفوی, محمد علی حاج‌عباسی, محمد رحیم همتیان, «حل سینماتیک وارون روبات‌های فرافزونه‌ای با استفاده از شبکه عصبی موجکی»، مجله مهندسی برق دانشگاه تبریز, دوره40، شماره 1، صفحه­ی 57-68، 1389.
[2] رسول قربانی، حمید ابریشمی مقدم, «استفاده از بینای استریو به منظور ارائه یک سامانه واقعیت افزوده مبتنی بر بینایی»،  مجله مهندسی برق دانشگاه تبریز, دوره 45، شماره 1، صفحه­ی 1-11، 1392.­
[3]      J. Shotton, A. Fitzgibbon, M. Cook, T. Sharp, M. Finocchio, R. Moore, A. Kipman and A. Blake, “Real-time human pose recognition in parts from a single depth image”, Communications of the ACM, vol. 56 pp. 116–124, 2011.
[4]      L. He, G Wang, Q. Liao and J.  Xue, “Depth-images-based pose estimation using regression forests and graphical models” Neurocomputing, vol.164, pp. 210-219, 2015.
[5]      L. Breiman. “Random forests”, Machine learning, vol. 45, pp. 5-32, 2001.
[6]      http://mocap.cs.cmu.edu/ ,December 10, 2017
[7]      L. Vincent, P. Lagger and P. Fua. “Randomized trees for real-time keypoint recognition”, Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on. Vol. 2, pp. 775-781, 2005.
[8]      L. Hui, J. Yuan, and D. Thalmann. “Parsing the hand in depth images”, IEEE Transactions on Multimedia vol. 16, pp. 1241-1253, 2014.
[9]      K. Buys,C. Cagniart.,A. Baksheev,T. De Laet,J. De Schutter and C. Pantofaru, “An adaptable system for RGB-D based human body detection and pose estimation”, Journal of visual communication and image representation, vol. 25. pp. 39-52, 2014.
[10]      R. Girshick, J. Shotton, P. Kohli, A. Criminisi and A. Fitzgibbon, “Efficient regression of general-activity human poses from depth images”, Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, pp. 415-422, 2011.
[11]      B. Leibe, A. Leonardis and B. Schiele. “Robust object detection with interleaved categorization and segmentation”, International journal of computer vision, vol. 77, pp. 259–289, 2008.
[12]      J. Gall and V. Lempitsky, “Class-specific Hough forests for object detection”, Decision forests for computer vision and medical image analysis. pp, 143-157, 2009.
[13]      S. Min, P. Kohli and J. Shotton. “Conditional regression forests for human pose estimation”, Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, pp. 3394-3401, 2012.
[14]      C. Ju Yong, S. Woo Nam. “Fast Random-Forest-Based Human Pose Estimation Using a Multi-scale and Cascade Approach”, ETRI Journal, vol. 35, pp. 949-959, 2013.
[15]      T. Daniel, H. Liang and J. Yuan, “First-Person Palm Pose Tracking and Gesture Recognition in Augmented Reality”, International Joint Conference on Computer Vision, Imaging and Computer Graphics, pp. 3-15, 2015.
[16]      Y.Jung, H. Lee, S. Heo and Y. Dong Yun, “Random tree walk toward instantaneous 3D human pose estimation”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2467-2474, 2015.
[17]      W. Xiaolin, P. Zhang and J. Chai, “Accurate realtime full-body motion capture using a single depth camera”, ACM Transactions on Graphics, vol. 31 188, 2012.
[18]      J. Ahmad, Y. Kim and D. Kim. “Ridge body parts features for human pose estimation and recognition from RGB-D video data”, Computing, Communication and Networking Technologies (ICCCNT), 2014 International Conference on. IEEE, pp. 1-6, 2014.
[19]      E. Brian, G. Dunn. “Principal components analysis”, Applied Multivariate Data Analysis, Second Edition, pp. 48-73, 1993.
[20]      L. Yazhou, P. Lasang, M. Siegel and Q. Sun. “Geodesic invariant feature: A local descriptor in depth”, IEEE Transactions on Image Processing, vol. 24, pp. 236-248, 2015.
[21]      S. Schwarz, L. Arthur, A. Mkhitaryan, D. Mateus and  N. Navab, “Human skeleton tracking from depth data using geodesic distances and optical flow” , Image and Vision Computing , vol. 30 , pp. 217-226 , 2012.
[22]      C. Plagemann, V. Ganapathi, D. Koller and S. Thrun, “Real-time identification and localization of body parts from depth images”, Robotics and Automation (ICRA), 2010 IEEE International Conference on. IEEE, pp. 3108-3113, 2010.
[23]      J. M.,C. Wolf, G. Taylor and A. Baskurt, “Human body part estimation from depth images via spatially-constrained deep learning ”, Pattern Recognition Letters ,vol. 50 pp. 122-129, 2014.
[24]      A. Shafaei, J. James, “Real-Time Human Motion Capture with Multiple Depth Cameras”, Computer and Robot Vision (CRV), 2016 13th Conference on. IEEE, pp.24-31, 2016.
[25]      http://www.makehuman.org/, December 10, 2017.
[26]      https://www.blender.org/, December 10, 2017.
[27]      https://www.autodesk.com/products/motionbuilder/overview, December 10, 2017.
[28]      https://www.autodesk.com/products/3ds-max/overview, December 10, 2017)
https://github.com/noronet/sbupose , December 10, 2017.

فایل ها

هم رسانی

ارجاع به این مقاله

آمار