pks: یک روش انتخاب فریم های کلیدی مبتنی بر فتوگرامتری برای سیستم های بینایی-اینرسی ساخته شده بر پایه orb-slam3

به‌دلیل پیچیدگی ‌های پردازش فریم برای تعیین موقعیت و تهیه نقشه در الگوریتم‌های ماشین بینایی و فتوگرامتری، روش‌های انتخاب فریم‌های کلیدی به‌منظور افزایش کارایی الگوریتم‌ها معرفی شدند که در عین حفظ دقت و استحکام الگوریتم، حجم پردازش‌ ها را کاهش می‌دهند. یکی از معروف‌ترین الگوریتم‌های تعیین موقعیت و تهیه نقشه هم‌زمان مبتنی بر تصویر (ویژوال اسلم)، الگوریتم orb-slam3 است. انتخاب فریم کلیدی در این الگوریتم و سایر الگوریتم‌های این حوزه وابسته به حد آستانه‌های ابتکاری است. در این مقاله یک روش هندسی و بر پایه اصول طراحی شبکه تصویربرداری در فتوگرامتری به‌منظور انتخاب فریم‌های کلیدی در بهبود الگوریتم orb-slam3 پیشنهاد شده است. در این روش، حد آستانه‌های ابتکاری با اصول فتوگرامتری جایگزین شده است که علاوه بر استحکام الگوریتم، کیفیت ابر نقطه حاصل از فریم‌های کلیدی را تضمین می‌کند. در روش پیشنهادی، ابتدا یک حد آستانه انطباقی در مورد مجاز بودن تعداد نقاطی که ناحیه مخروطی خط دید آن‌ها در یک مخروط چهار ناحیه‌ای تشکیل‌شده بر روی هر نقطه، تغییر کرده است، تصمیم می‌گیرد. سپس با تشکیل یک شبکه 3 در 3 در هر فریم و شمارش نقاط موثر در هر سلول این شبکه، معیار تعادل مرکز ثقل (ecog) در مورد مناسب بودن توزیع نقاط داخل این فریم تصمیم می‌گیرد. از طرف دیگر سنسور اینرسی (imu) در صورت مشاهده تغییرات شدید شتاب حرکت، مستقل از دوربین اقدام به اخذ فریم کلیدی می‌کند. به‌منظور ارزیابی روش پیشنهادشده، آزمایش‌های وسیعی روی داده euroc در حالت تک‌دوربینه و دو دوربین انجام ‌شده است. ارزیابی‌های کیفی و کمی با مقایسه مسیر ردیابی شدۀ هر الگوریتم با مسیر مرجع، مقایسه ابر نقطه تشکیل‌شده از فریم‌های کلیدی و مقایسه مقدار خطای مطلق مسیر حرکت (ate) انجام‌ شده است. همچنین زمان اجرای هر الگوریتم برای تمامی دنباله تصاویر داده euroc ارزیابی شده است. نتایج نشان می‌دهد، الگوریتم پیشنهادی در حالت دو دوربین 18.1% و در حالت تک‌دوربینه 20.4% دقت تعیین موقعیت orb-slam3 را بهبود داده و علاوه بر این ابر نقطه متراکم‌ تری تولید کرده است.

PKS: A photogrammetric keyframe selection method for visual inertial systems built upon ORBSLAM3

Extended AbstractIntroductionDue to the complexity of frame processing used for positioning and mapping in visual odometry (VO) and visual simultaneous localization and mapping (VSLAM) algorithms, keyframe selection methods have been introduced to improve the performance and decrease the number of frames required for processing while maintaining accuracy and robustness of the algorithms. Selected keyframes in these methods make a very good representation of all available frames. The current keyframe selection methods rely on heuristic thresholds in their selection procedure. Researchers have used several datasets to find optimum values for these thresholds through trial and error. In fact, proposed methods may not work as expected with a new dataset due to changes occurring in the sensor, environment and the platform. Materials & MethodThe present study has proposed an improved geometric and photogrammetric keyframe selection method built upon ORBSLAM3, as the state of the art visual SLAM algorithm. The proposed Photogrammetric Keyframe Selection (PKS) algorithm has replaced inflexible heuristic thresholds with photogrammetric principles and thus guaranteed the robustness of the algorithm and the quality of the point cloud obtained from the keyframes. First, an adaptive threshold decides the allowable number of points whose line of sight zone has changed on a fourzone cone built upon each point. Increased number of points whose line of sight zone has changed means increased changes and displacements of the frame and thus, increased need for a new keyframe. Then, a 3*3 grid was formed in each frame and the number of points with a more than 30degree change in line of sight angle (effective points) in each cell were counted. Later, the Equilibrium of Center Of Gravity (ECOG) criterion decides whether the distribution of points is appropriate using the center of gravity of the points inside the frame. Appropriate distribution of effective points within the frame shows a high geometric strength and thus will improve the strength of keyframes network. IMU sensor  is not dependent on the position of the frames and the camera sensor. Thus, it independently obtains the keyframe in case significant changes occur in acceleration. The threshold value of acceleration has been experimentally considered equal to 1 meter per square second, which entirely depends on the type of robot. For ground robots with slower moving speeds, this threshold must be reset. Results & DiscussionThe present study has employed data collected by the European Robotics Challenge (EuRoC) flying robot containing the information collected by the synchronized camera and IMU information, as well as the ground truth data such as the robot trajectory and point cloud formed by the laser scanner. To evaluate the proposed method, extensive experiments have been implemented on the EuRoC dataset in monoinertial and stereoinertial modes. Then, trajectory of each algorithm was compared with the reference trajectory and point clouds formed by the keyframes were also compared. Apart from these qualitative evaluations, absolute trajectory error (ATE) obtained from running the PKS and ORBSLAM3 algorithm 10 times were also compared quantitatively and finally, the error histogram was used to evaluate the point clouds. The processing time of each algorithm was also evaluated for each EuRoC dataset sequence. Results indicated that the proposed algorithm has improved ORBSLAM3 accuracy in stereoinertial by 18.1% and in the monoinertial mode by 20.4% producing a more complete and accurate point cloud and thus, extracting more details from the environment. Furthermore, despite higher density of the point cloud, the error histogram has not changed significantly and fewer errors were observed in the ORBSLAM3 algorithm. ConclusionFindings indicated that the PKS method has succeeded in extracting keyframes using photogrammetric and geometric principles. Apart from improving the positioning accuracy of the robot, the method has produced a much more complete and dense point cloud as compared to the ORBSLAM3 algorithm. Also, dependency of the PKS method on the environment conditions and the type of system used (stereo camera or mono camera) was greatly reduced. Future studies can expand our keyframe selection method to include fisheye cameras or visualonly systems. More geometric conditions (near and far point condition and the vertex angle in the triangle formed by the points in the current frame, the camera and the corresponding points in the last keyframe) can also be added to the keyframe selection method.