Effective methodologies for 3D perception in autonomous vehicles

作者
Γεώργιος Ζαμανάκος
标识
DOI:10.12681/eadd/58128
摘要

Τα αυτόνομα οχήματα είναι στο επίκεντρο τόσο της ερευνητικής κοινότητας, όσο και της αυτοκινητοβιομηχανίας καθώς η χρήση τους θα μειώσει τα ατυχήματα που προκαλούνται από τον ανθρώπινο παράγοντα και θα αυξήσει την αποδοτικότητά τους μέσω της βέλτιστης χρήσης από πολλαπλούς χρήστες. Όμως, προκειμένου να μπορεί να κινηθεί ένα αυτόνομο όχημα με ασφάλεια σε αστικό και περιαστικό περιβάλλον, θα πρέπει να μπορεί να αντιληφθεί με ακρίβεια την οδηγική σκηνή στην οποία καλείται να δράσει. Το σύστημα αντίληψης ενός αυτόνομου οχήματος έχει ως στόχο να επεξεργαστεί τα δεδομένα των αισθητήρων του αυτόνομου οχήματος, ώστε να εντοπίζει και να αναγνωρίζει με ακρίβεια τα τριδιάστατα (3Δ) αντικείμενα που περιέχονται σε μια οδηγική σκηνή. Ένα σύστημα αντίληψης αποτελείται από αισθητήρες όπως είναι η οπτική κάμερα και ο αισθητήρας Light Detection And Ranging (LiDAR).Ο κάθε τύπος αισθητήρα έχει τα πλεονεκτήματα του αλλά και τους περιορισμούς του. Η χρήση συμπληρωματικών και διαφορετικών τύπων αισθητήρων περιορίζει σημαντικά τα επιμέρους μειονεκτήματα του κάθε αισθητήρα και αυξάνει συνολικά την αξιοπιστία του συστήματος αντίληψης. Όμως, προκειμένου να συσχετιστούν τα δεδομένα μεταξύ των διαφορετικών τύπων αισθητήρων, αυτά θα πρέπει να ενοποιηθούν σε ένα κοινό σύστημα συντεταγμένων. Κρίσιμο σημείο αυτής της διαδικασίας αποτελεί η βαθμονόμηση των αισθητήρων ως προς τα εξωγενή τους χαρακτηριστικά, δηλαδή ως προς τον προσανατολισμό και την θέση που έχουν τοποθετηθεί πάνω στο αυτόνομο όχημα. Έπειτα, τα δεδομένα των αισθητήρων μπορούν να χρησιμοποιηθούν από το αυτόνομο όχημα για τον εντοπισμό αντικειμένων. Τα 3Δ αντικείμενα που περιέχονται σε μια οδηγική σκηνή ορίζονται με την μορφή 3Δ κουτιών οριοθέτησης. Το κάθε 3Δ κουτί οριοθέτησης επισημαίνεται με συγκεκριμένα χαρακτηριστικά όπως είναι η θέση του, ο προσανατολισμός του και η κλάση του, π.χ. αυτοκίνητο, πεζός ή ποδηλάτης. Όμως, για την πλήρη αντίληψη της οδηγικής σκηνής μπορεί να απαιτηθεί να επισημανθεί επιπλέον σημασιολογική πληροφορία σε κάθε δομικό στοιχείο των δεδομένων των αισθητήρων, όπως είναι το νέφος σημείων από τον αισθητήρα LiDAR ή ακόμη και να αναγνωριστούν αλλαγές που έχουν συμβεί σε μια οδηγική σκηνή μεταξύ δύο διακριτών χρονικών στιγμών. Για τους σκοπούς αυτούς, οι σύγχρονες μεθοδολογίες που έχουν αναπτυχθεί βασίζονται σε δίκτυα βαθιάς μάθησης, κρίσιμο σημείο των οποίων αποτελεί η εκάστοτε αρχιτεκτονική που θα χρησιμοποιηθεί για την εξαγωγή χαρακτηριστικών. Στην πλειονότητά τους, οι μεθοδολογίες βασίζονται αποκλειστικά σε δεδομένα αισθητήρων LiDAR κυρίως λόγω της αυξημένης απόδοσης που επιδεικνύουν αλλά και της εκτέλεσής τους σε πραγματικό χρόνο σε ενσωματωμένα υπολογιστικά συστήματα. Η παρούσα διδακτορική διατριβή στοχεύει στην ανάπτυξη καινοτόμων και αποτελεσματικών μεθοδολογιών για την τριδιάστατη αντίληψη για αυτόνομα οχήματα. Συγκεκριμένα, μετά από εκτενή βιβλιογραφική ανασκόπηση και ανάλυση των διαθέσιμων μεθοδολογιών της τρέχουσας τεχνολογικής στάθμης, παρουσιάζονταιτέσσερις καινοτόμες προτάσεις. Η πρώτη σχετίζεται με την εγκατάσταση αισθητήρων κάμερας και LiDAR, οι οποίοι χρησιμοποιούνται για την καταγραφή μιας σκηνής οδήγησης, έτσι ώστε να καταστεί δυνατή η βέλτιστη συσχέτιση δεδομένων μεταξύ των δύο τύπων αισθητήρων. Προτείνεται μια μέθοδος για την βαθμονόμηση, ως προς τα εξωγενή χαρακτηριστικά, της κάμερας και του LiDAR από πολλαπλές στατικές σκηνές, χρησιμοποιώντας έναν απλό σχέδιο ως στόχο βαθμονόμησης το οποίο βασίζεται σε δείκτες ArUco. Προς το σκοπό αυτό, χρησιμοποιείται ένα νέο συνεργατικό σχήμα LiDAR-κάμερας. Αρχικά, η ανίχνευση του δείκτη που βασίζεται στην κάμερα καθοδηγεί την επεξεργασία του νέφους σημείων από τον αισθητήρα LiDAR ώστε να εντοπιστεί ο τριδιάστατος δείκτης σε αυτό. Μόλις εντοπιστεί με ακρίβεια ο δείκτης στο νέφος σημείων, πραγματοποιείται περαιτέρω διόρθωση σχετικά με την εκτίμηση πόζας του δείκτη από τον αισθητήρα της κάμερας. Με αυτόν τον τρόπο, τα πλεονεκτήματα του κάθε αισθητήρα χρησιμοποιούνται για τη βελτίωση του εντοπισμού των δεικτών. Η βελτιωμένη ακρίβεια που επιτυγχάνεται στον υπολογισμό των εξωγενών παραμέτρων βαθμονόμησης έχει αποδειχθεί πειραματικά τόσο με ποσοτικούς όσο και με ποιοτικούς όρους. Στην δεύτερη καινοτόμο πρόταση αντιμετωπίζεται το αντικείμενο του τριδιάστατου εντοπισμού αντικειμένων, το οποίο αποτελεί βασικό στοιχείο για την τριδιάστατη αντίληψη των αυτόνομων οχημάτων. Οι αισθητήρες LiDAR χρησιμοποιούνται για την αντίληψη περιβάλλοντος, παράγοντας μια αραιή αναπαράσταση της σκηνής με τη μορφή ενός νέφους σημείων. Η τρέχουσα τάση είναι η χρήση αρχιτεκτονικών που βασίζονται σε νευρωνικά δίκτυα βαθιάς μάθησης, τα οποία προβλέπουν τριδιάστατα κουτιά οριοθέτησης. Η συντριπτική πλειονότητα των αρχιτεκτονικών επεξεργάζεται απευθείας το νέφος σημείων LiDAR, αλλά, λόγω περιορισμών ως προς τους υπολογιστικούς πόρους και της μνήμης, σε κάποιο σημείο συμπιέζουν την είσοδο σε μια διδιάστατη (2Δ) αναπαράσταση τύπου Bird’s Eye View (BEV). Η προτεινόμενη αρχιτεκτονική 2Δ νευρωνικού δικτύου, συγκεκριμένα το Feature Aware Re-weighting Network, χρησιμοποιείται για την εξαγωγή χαρακτηριστικών στο επίπεδο BEV χρησιμοποιώντας το τοπικό περιεχόμενο της σκηνής μέσω ενός μηχανισμού προσοχής, για τη βελτίωση της απόδοσης των τριδιάστατων εντοπιστών αντικειμένων που βασίζονται στο LiDAR. Εκτεταμένα πειράματα σε πέντε εντοπιστές 3Δ αντικειμένων της τελευταίας τεχνολογικής στάθμης και σε τρία σύνολα δεδομένων συγκριτικής αξιολόγησης, συγκεκριμένα τα KITTI, Waymo και nuScenes, καταδεικνύουν την αποτελεσματικότητα της προτεινόμενης μεθόδου όσον αφορά τόσο την απόδοση ανίχνευσης όσο και την ελάχιστη πρόσθετη υπολογιστική επιβάρυνση. Η τρίτη και η τέταρτη συνεισφορά σχετίζονται με την ενσωμάτωση μηχανισμών προσοχής σε αρχιτεκτονικές βαθιάς μάθησης για τις εργασίες της τριδιάστατης σημασιολογικής τμηματοποίησης και της ανίχνευσης αλλαγής νέφους σημείων, αντίστοιχα, που διευκολύνουν την τριδιάστατη αναγνώριση μιας σκηνής οδήγησης. Η τριδιάστατη σημασιολογική τμηματοποίηση είναι βασικό στοιχείο στα αυτόνομα οχήματα. Για αυτές τις εφαρμογές, τα τριδιάστατα δεδομένα λαμβάνονται συνήθως από αισθητήρες LiDAR με την μορφή ενός νέφους σημείων. Για το έργο της τριδιάστατης σημασιολογικής τμηματοποίησης όπου τα αντίστοιχα νέφη σημείων θα πρέπει να επισημαίνονται με σημασιολογική πληροφορία, η τρέχουσα τάση είναι η χρήση αρχιτεκτονικών νευρωνικών δικτύων βαθιάς μάθησης για την αποτελεσματική εκμάθηση της αναπαράστασης. Από την άλλη πλευρά, διάφορες εργασίες σε 2Δ και 3Δ εφαρμογές όρασης υπολογιστών έχουν χρησιμοποιήσει μηχανισμούς προσοχής που έχουν ως αποτέλεσμα την αποτελεσματική επαναστάθμιση των διανυσμάτων χαρακτηριστικών. Σε αυτή τη διατριβή, διερευνάται ο ρόλος των μηχανισμών προσοχής για το αντικείμενο της τριδιάστατης σημασιολογικής τμηματοποίησης για εφαρμογές αυτόνομης οδήγησης, εντοπίζοντας τη σημαντικότητα των διαφορετικών μηχανισμών προσοχής όταν υιοθετούνται σε υπάρχοντα δίκτυα βαθιάς μάθησης. Πραγματοποιήθηκαν εκτενή πειράματα σε δύο σύνολα δεδομένων για αυτόνομη οδήγηση, συγκεκριμένα στο Street3D και στο SemanticKITTI, που επιτρέπουν την εξαγωγή συμπερασμάτων τόσο σε ποσοτικό όσο και σε ποιοτικό επίπεδο. Τα πειραματικά αποτελέσματα δείχνουν ότι υπάρχει σαφές πλεονέκτημα όταν υιοθετούνται μηχανισμοί προσοχής, με αποτέλεσμα την ανώτερη απόδοση του δικτύου. Συγκεκριμένα, αποδεικνύεται ότι η υιοθέτηση ενός Μετασχηματιστή Σημείου (Point Transformer) στο δίκτυο βαθιάς μάθησης SPVCNN, έχει ως αποτέλεσμα μια αρχιτεκτονική που ξεπερνά την απόδοση του δικτύου της τρέχουσας τεχνολογικής στάθμης στο σύνολο δεδομένων Street3D. Η ανίχνευση αλλαγής νέφους σημείων χρησιμοποιείται για τον εντοπισμό και την ταξινόμηση χωρικών αλλαγών μεταξύ δύο νεφών σημείων LiDAR, που καταγράφονται στην ίδια σκηνή οδήγησης σε διαφορετικές χρονικές στιγμές. Η τρέχουσα τάση είναι η χρήση δικτύων βαθιάς μάθησης, με σιαμαία δομή, για την επεξεργασία των δύο νεφών σημείων. Σε αυτή τη διατριβή, εξετάζονται δύο διακριτές προσεγγίσεις για το έργο της ανίχνευσης αλλαγής νέφους σημείων. Στην πρώτη προσέγγιση, προτείνεται μια νέα αρχιτεκτονική, συγκεκριμένα η SiamGCN-GCA, η οποία προκύπτει από την ενσωμάτωση ενός καινοτόμου μηχανισμού προσοχής στο δίκτυο βαθιάς μάθησης SiamGCN, για την εξαγωγή χρήσιμων γεωμετρικών και συναφών πληροφοριών (Geometry Context Aware). Στη δεύτερη προσέγγιση προτείνεται μια αρχιτεκτονική βαθιάς μάθησης, συγκεκριμένα το SiamVFE, η οποία βασίζεται για την εξαγωγή των χαρακτηριστικών σε ένα υπολογιστικά αποδοτικό δίκτυο κορμού από έναν εντοπιστή 3Δ αντικειμένων LiDAR. Τα πειραματικά αποτελέσματα τόσο από τα πραγματικά όσο και από τα συνθετικά σύνολα δεδομένων, καταδεικνύουν ότι η υιοθέτηση του προτεινόμενου μηχανισμού προσοχής GCA, βελτιώνει την απόδοση της προτεινόμενης μεθοδολογίας SiamGCN-GCA, σε σύγκριση με τη βασική μεθοδολογία SiamGCN. Επίσης, η προτεινόμενη μεθοδολογία SiamVFE επιτυγχάνει μια αποδεκτή απόδοση και είναι προτιμότερη για εφαρμογές αυτόνομης οδήγησης σε πραγματικό χρόνο. Η παρούσα διατριβή δομείται ως εξής: Στο πρώτο κεφάλαιο παρατίθενται εισαγωγικές πληροφορίες. Το δεύτερο κεφάλαιο αφορά στην βαθμονόμηση ως προς τα εξωγενή χαρακτηριστικά ενός ζεύγους αισθητήρων LiDAR-κάμερας, όπου η προτεινόμενη μεθοδολογία βασίζεται στην συνεργατικότητα, ώστε να αντιμετωπιστούν οι επιμέρους περιορισμοί των δύο τύπων αισθητήρων. Στο τρίτο κεφάλαιο γίνεται μια λεπτομερής ανάλυση της τρέχουσας βιβλιογραφικής στάθμης για τον εντοπισμό 3Δ αντικειμένων, όπου οι μεθοδολογίες που χρησιμοποιούν τα δεδομένα του αισθητήρα LiDAR και βασίζονται στην βαθιά μάθηση, κατηγοριοποιούνται σύμφωνα με την αναπαράσταση των δεδομένων του αισθητήρα, την αρχιτεκτονική για την εξαγωγή των χαρακτηριστικών και τον πυρήνα εντοπισμού για την ανίχνευση των αντικειμένων. Επίσης, παρατίθενται τα διαθέσιμα σύνολα δεδομένων καθώς και οι μετρικές αξιολόγησης αυτών. Στο τέταρτο κεφάλαιο αναλύεται εκτενώς και αξιολογείται πειραματικά η προτεινόμενη μεθοδολογία για την εξαγωγή χαρακτηριστικών στο επίπεδο BEV. Το πέμπτο κεφάλαιο αφορά την 3Δ σημασιολογική τμηματοποίηση μιας οδηγικ

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
liu完成签到,获得积分10
2秒前
王成鑫完成签到 ,获得积分10
2秒前
时平谊发布了新的文献求助200
3秒前
u924435完成签到,获得积分10
4秒前
北北完成签到 ,获得积分10
4秒前
1212122发布了新的文献求助10
5秒前
活泼的访云完成签到,获得积分10
6秒前
6秒前
鹿呦完成签到 ,获得积分10
7秒前
123完成签到 ,获得积分10
8秒前
promise完成签到 ,获得积分10
8秒前
CH完成签到,获得积分10
9秒前
Richard完成签到,获得积分10
9秒前
陶醉白梅完成签到,获得积分20
9秒前
10秒前
从容的罡完成签到,获得积分10
10秒前
FashionBoy的应助被丁一航采纳,获得10
11秒前
fsy完成签到,获得积分10
11秒前
Prophet发布了新的文献求助10
12秒前
安小安完成签到,获得积分10
12秒前
12秒前
13秒前
无足鸟完成签到,获得积分10
13秒前
14秒前
Samsara完成签到 ,获得积分10
15秒前
执着访文完成签到,获得积分10
15秒前
zr发布了新的文献求助10
16秒前
毅诚菌完成签到,获得积分10
16秒前
阿业发布了新的文献求助10
17秒前
17秒前
无极微光的应助被1212122采纳,获得20
17秒前
领导范儿的应助被zjy147采纳,获得10
17秒前
执着访文发布了新的文献求助10
18秒前
yyn完成签到,获得积分10
18秒前
20秒前
AxiE完成签到 ,获得积分10
21秒前
诚心元菱发布了新的文献求助10
21秒前
嘻嘻哈哈的应助被Prophet采纳,获得10
21秒前
乐乐的应助被务实的立诚采纳,获得10
21秒前
时平谊发布了新的文献求助30
22秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8186629
求助须知:如何正确求助?哪些是违规求助? 9574913
关于积分的说明 21838832
捐赠科研通 7784206
什么是DOI,文献DOI怎么找? 3434808
关于科研通互助平台的介绍 2559183
邀请新用户注册赠送积分活动 2481582