تخمین سرعت و ابعاد خودرو به کمک کالیبراسیون مبتنی‌بر شناسایی تعدادی خودروی رایج توسط شبکه VGG

نوع مقاله : علمی-پژوهشی

نویسندگان

دانشکده مهندسی برق و رباتیک - دانشگاه صنعتی شاهرود

چکیده

در این مقاله روشی خودکار برای تخمین سرعت و ابعاد خودرو مبتنی بر کالیبراسیون تک دوربین، ارائه شده‌است. در این روش در قاب‌های ابتدایی با توجه ‌به راستای حرکت خودروها، نقاط محوشدگی و صفحه فرضی جاده به‌دست می‌آید. سپس با شناسایی پیش‌زمینه توسط روش IGMM و حذف سایه، محدوده هر خودرو تعیین و جعبه سه‌بُعدی آن تشکیل می‌گردد. برای تعیین ضرایب متریک، چند خودرو از کلاس‌های رایج با استفاده از شبکه عمیق VGG در چند قاب اول شناسایی می‌شوند. در ادامه با توجه ‌به ابعاد واقعی خودروهای شناسایی‌شده برحسب متر و ابعاد معادل‌شان روی صفحه جاده برحسب پیکسل، ضرایب متریک محاسبه‌شده و پارامترهای مربوط به کالیبراسیون تکمیل می‌گردد. در نهایت خودروهای عبوری بر صفحه فرضی تصویر شده و با ردیابی، سرعت و ابعاد دقیق آن‌ها محاسبه می‌گردد. برای شناسایی خودروهای رایج نیاز به تصاویری از خودروها بود که برای این منظور مجموعه‌ای جمع‌آوری گردید. همچنین برای تست دقت در تخمین سرعت و ابعاد، مجموعه‌ای از ویدئوهای دارای برچسب، با فیلم‌برداری هم‌زمان توسط دوربین عادی و لیزر از جاده‌ها تهیه شد. میانگین خطای روش در تخمین سرعت 1.15 کیلومتربرساعت و در تخمین ابعاد %2.3 به‌دست ‌آمد که بیان‌گر عملکرد خوب روش پیشنهادی است.

کلیدواژه‌ها

عنوان مقاله [English]

Vehicle Dimensions and Speed Estimation using Camera Calibration Based on Recognition of a Number of Common Cars by VGG Network

نویسندگان [English]

  • R. Asgarian Dehkordi
  • H. Khosravi
  • A. Ahmadyfard
Faculty of Electrical and Robotic Engineering, Shahrood University of Technology, Shahrood, Iran
چکیده [English]

This paper presents an automated method for calibrating road cameras in order to estimate the speed and dimensions of the vehicles. In this method, in the initial frames, according to the direction of vehicles movement, vanishing points and the hypothetical road surface is obtained. Then, by identifying the foreground using IGMM and removing the shadow, the exact boundary of each vehicle is determined and a 3D bounding box is constructed. To determine the metric coefficients, several vehicles from common classes are identified using the deep VGG neural network in the first few frames. Further, according to the actual dimensions of the vehicles identified in meters and their equivalent dimensions on the road surface in pixels, the metric coefficients are calculated and the calibration parameters are completed. Ultimately, passing cars are projected on the hypothetical page, and by tracking each car, its speed and dimension are calculated. A database of vehicle images was collected to identify common cars. To evaluate our method, a series of videos with ground truth was provided, by simultaneous capture of road vehicles by RGB and laser camera. The mean error of the proposed method for speed estimating is 1.15 km /h and for dimension estimation is equal to 2.3%, which shows good performance of the method.

کلیدواژه‌ها [English]

  • Calibration
  • speed estimation
  • dimension estimation
  • vehicle type identification
  • deep neural network

مراجع

[1]            M. Dubská, A. Herout, R. Juránek and J. Sochor, "Fully Automatic roadside camera Calibration for traffic Surveillance, IEEE Transactions on Intelligent Transportation Systems, vol. 16, no. 3, pp. 1162-1171, June 2015.
[2]            D.N. Dawson and S. T. Birchfield, "An energy minimization approach to automatic traffic camera calibration," IEEE Transactions on Intelligent Transportation Systems, vol. 14, no. 3, pp. 1095-1108, Sept 2013.
[3]            T. N. Schoepflin and D. J. Dailey, "Dynamic camera calibration of roadside traffic management cameras for vehicle speed estimation," IEEE Transactions on Intelligent Transportation Systems, vol. 4, no. 2, pp. 90-98, June 2003.
[4]            K. Wang, H. Huang, Y. Li and F. Wang, "Research on lane-marking line based camera calibration," IEEE International Conference on Vehicular Electronics and Safety, Beijing, pp. 1-6,2007.
[5]            T. Pai and W. Juang, "An adaptive windowing prediction algorithm for vehicle speed estimation," Proceedings of IEEE Intelligent Transportation Systems(ITSC), Oakland, pp. 901-906, 2001.
[6]            X. Zhan, Yi. Zheng and S. V. Ukkusuri, "Citywide traffic volume estimation using trajectory data," IEEE Transactions on Knowledge and Data Engineering, vol. 29, no. 2, pp. 272-285, Feb 2017.
[7]            J. Sochor, R. Juránek, J. Špaňhel, L. Maršík and A. Široký, " BrnoCompSpeed: review of traffic camera calibration and comprehensive dataset for monocular speed measurement", IEEE Transactions on Intelligent Transportation Systems, 2017.
[8]            X. You and Y. Zheng "An accurate and practical calibration method for roadside camera using two vanishing points, " Neurocomputing, April 2016.
[9]            P. Filipiak, B. Golenko and C. Dolega, "NSGA-II based auto-calibration of automatic number plate recognition camera for vehicle speed measurement" 19th European Conference on Applications of Evolutionary Computation, pp. 803–818, April 2016.
[10]            D. C. Luvizon, B. T. Nassu and R. Minetto, "Vehicle speed estimation by license plate detection and tracking," IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Florence, pp. 6563-6567,2014.
[11]            I. Sina, A. Wibisono, A. Nurhadiyatna, B. Hardjono, W. Jatmiko and P. Mursanto,"Vehicle counting and speed measurement using headlight detection," International Conference on Advanced Computer Science and Information Systems (ICACSIS), Bali, pp. 149-154,2013.
 [12]            H. Eslami, A. Raieand , K. Faez, " Precise vehicle speed measurement for law enforcement applications based on calibrated camera with parallel standard patterns" IET Computer Vision, vol. 10, 2016.
 [13]            M. Famouri, Z. Azimifar and A. Wong, "A novel motion plane-based approach to vehicle speed estimation," in IEEE Transactions on Intelligent Transportation Systems. 2018.
[14]            آقایان و خسروی« تخمین بلادرنگ سرعت خودرو از طریق دوربین به کمک ردیابی مرکز ثقل و پیاده‌سازی آن روی برد توسعه XU4» دهمین کنفرانس بینایی ماشین و پردازش تصویر ایران، اصفهان، انجمن ماشین بینایی و پردازش تصویر ایران، دانشگاه صنعتی اصفهان، آذرماه 1396.
 [15]            M. Dubská, J. Sochor and A. Herout, "Automatic camera calibration for traffic understanding ", BMVC, 2014.
 [16]            J. Sochor, Traffic analysis from video, PHD. Thesis, Brno university of technology, 2014.
[17]            عسگریان دهکردی و خسروی«شناسایی خودکار ابعاد خودروها بر اساس ویدیوی دریافتی از دوربین کنار جاده‌ای» دهمین کنفرانس بینایی ماشین و پردازش تصویر ایران، اصفهان، انجمن ماشین بینایی و پردازش تصویر ایران، دانشگاه صنعتی اصفهان، آذرماه 1396.
 [18]            C. Lin, C. Yang and YW. Shou, "An efficient and robust moving shadow removal algorithm and its applications in ITS" EURASIP Journal on Advances in Signal Processing, 2010.
[19]            عسگریان دهکردی و خسروی « روشی سریع و کارآمد برای حذف سایه خودروهای متحرک به‌منظور تخمین محدوده دقیق خودرو در تصاویر دریافتی از دوربین جاده‌ای» سومین کنفرانس پردازش سیگنال و سیستمهای هوشمند ایران، شاهرود، دانشگاه صنعتی شاهرود، آذرماه 1396.
 [20]            J. Wang, H. Zheng, Y. Huang and X. Ding, "Vehicle type recognition in surveillance images from labeled web-Nature data using deep transfer learning," in IEEE Transactions on Intelligent Transportation Systems, 27 November 2017.
 [21]            S.Ren, K. He, R. Girshick and J. Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 6, pp. 1137-1149, 2017.
 [22]            L. Yang, P. Luo, C. C. Loy and X. Tang, "A large-scale car dataset for fine-grained categorization and verification," 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, pp. 3973-3981,2015.
 [23]            S. Yu, Y. Wu and W. Li " A model for fine grained vehicle classification based on deep learning" in Neurocomputing, vol. 257, pp. 97-103, 2017.
 [24]            J. Sochor, A. Herout and J. Havel, "BoxCars: 3D Boxes as CNN Input for Improved Fine-Grained Vehicle Recognition," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, pp. 3006-3015, 2016.
 [25]            J. Sochor, J. Špaňhel and A. Herout, "BoxCars: Improving Fine-Grained Recognition of Vehicles using 3-D Bounding Boxes in Traffic Surveillance" in IEEE Transactions on Intelligent Transportation Systems, 2018.
 [26]            How to Compute Intrinsics from Vanishing Points: September 2018, https://www.coursera.org/lecture/robotics-perception/how-to-compute-intrinsics-from-vanishing-points-jnaLs
 [27]            Z. Zivkovic, "Improved adaptive Gaussian mixture model for background subtraction," Proceedings of the 17th International Conference on Pattern Recognition(ICPR), Vol.2, pp. 28-31,2004.
 [28]            S. Kamijo, Y. Matsushita, K. Ikeuchi and M. Sakauchi, "Traffic monitoring and accident detection at intersections," International Conference on Intelligent Transportation Systems, Tokyo, pp. 703-708, 1999.
 [29]            K. Simonyan and A. zesserman, "Very deep convolutional networks for large-scale Image recognition" in Computer Science - Computer Vision and Pattern Recognition, 2015
[30]             اکبری‌زاده، تیرانداز و آل سیدغفور« بخش بندی نظارت نشده سلسله مراتبی تصاویر SAR با استفاده از سوپرپیکسل و فشرده سازی پر اتلاف داده» مجله مهندسی برق دانشگاه تبریز، جلد 46، شماره 2، تابستان 1395.
[31]            طیبی، اکبری‌زاده و فرشیدی «آشکارسازی شکستگی‌های سنگ مخزن مبتنی بر آنالیز بافت جهتی و نگاشت خود سازمان ده» مجله مهندسی برق دانشگاه تبریز، جلد 48، شماره 2، تابستان 1397.

فایل ها

هم رسانی

ارجاع به این مقاله

آمار