Αναγνώριση σημάτων κυκλοφορίας με βάση τον αλγόριθμο YOLOv3 Μέρος 1

Αφηρημένη:

Η ανίχνευση πινακίδων κυκλοφορίας είναι ένα ουσιαστικό στοιχείο ενός ευφυούς συστήματος μεταφορών, καθώς παρέχει κρίσιμα δεδομένα οδικής κυκλοφορίας για τη λήψη αποφάσεων και τον έλεγχο του οχήματος.

Καθώς η αστικοποίηση επιταχύνεται, ο πληθυσμός και ο αριθμός των οχημάτων συνεχίζουν να αυξάνονται, και προβλήματα όπως η κυκλοφοριακή συμφόρηση και τα ατυχήματα ασφαλείας γίνονται όλο και πιο σοβαρά, προκαλώντας μεγάλη ταλαιπωρία και πίεση στη ζωή και την εργασία των ανθρώπων. Ως εκ τούτου, η εμφάνιση έξυπνων συστημάτων μεταφοράς έχει φέρει μεγάλη άνεση στη ζωή μας και μπορεί επίσης να βελτιώσει την ασφάλεια της κυκλοφορίας. Τα ευφυή συστήματα μεταφοράς είναι επίσης αδιαχώριστα από την ανθρώπινη μνήμη.

Πρώτα απ 'όλα, τα ευφυή συστήματα μεταφορών μπορούν να χρησιμοποιούν μέσα υψηλής τεχνολογίας για τη συλλογή και ανάλυση πληροφοριών κυκλοφορίας και παρέχουν στους ανθρώπους λεπτομερείς και ακριβείς συνθήκες κυκλοφορίας, γεγονός που διευκολύνει το ταξίδι των ανθρώπων και αποτρέπει τις καθυστερήσεις λόγω ανακριβών πληροφοριών κυκλοφορίας, όπως τα φανάρια. Για τους οδηγούς, το έξυπνο σύστημα μεταφορών μπορεί να πραγματοποιεί ανάλυση και παρακολούθηση σε πραγματικό χρόνο των διαδρομών οδήγησης, να υπενθυμίζει στους οδηγούς να προσαρμόζουν τις διαδρομές οδήγησής τους αμέσως σε ειδικές περιόδους και να μειώνει την εμφάνιση κυκλοφοριακής συμφόρησης, καθυστερήσεων κ.λπ. βοηθά την προσοχή του οδηγού, μειώνει την κούραση κατά την οδήγηση και ως εκ τούτου βελτιώνει την οδική ασφάλεια.

Δεύτερον, το έξυπνο σύστημα μεταφοράς μπορεί επίσης να συνδεθεί με το κινητό τηλέφωνο του οδηγού, την πλοήγηση του οχήματος και άλλα συστήματα μέσω τεχνικών μέσων όπως το Διαδίκτυο Οχημάτων. Με αυτόν τον τρόπο, οι άνθρωποι μπορούν να λαμβάνουν τις πιο πρόσφατες πληροφορίες κυκλοφορίας ανά πάσα στιγμή, να γνωρίζουν το τρέχον κυκλοφοριακό περιβάλλον τους και να προσαρμόζουν τα ταξιδιωτικά τους σχέδια εγκαίρως. Ταυτόχρονα, μπορεί επίσης να συνεργαστεί με τα συστήματα ελέγχου ασφάλειας και υποβοήθησης οδήγησης του οχήματος για να διασφαλίσει την ασφαλή οδήγηση. Για παράδειγμα, αφού οι οδηγοί κατακτήσουν τις διαδρομές οδήγησης, τις πληροφορίες κυκλοφορίας κ.λπ. που παρέχονται από το έξυπνο σύστημα μεταφοράς, θα οδηγήσουν το όχημα πιο συγκεντρωμένο και σταθερό, δεν θα μπερδευτούν λόγω ξαφνικών αλλαγών στις διαδρομές κ.λπ., και επίσης να είναι σε θέση να ενεργεί γρήγορα σε καταστάσεις έκτακτης ανάγκης. αντιδρώ.

Τέλος, το έξυπνο σύστημα μεταφορών μπορεί επίσης να θέσει αντίστοιχους κανόνες διαχείρισης της κυκλοφορίας σύμφωνα με διαφορετικές καταστάσεις αστικής κυκλοφορίας για να εξασφαλίσει την ασφαλή μετακίνηση των οχημάτων και των πεζών και την αποφυγή τροχαίων ατυχημάτων. Για παράδειγμα, η αλλαγή της ώρας και της συχνότητας των φωτεινών σηματοδοτών με βάση την κυκλοφοριακή συμφόρηση, η παροχή υπενθυμίσεων ορίου ταχύτητας σε τμήματα δρόμων κ.λπ., επιτρέπει στους οδηγούς να ανταποκρίνονται σωστά όταν αντιμετωπίζουν περίπλοκες οδικές συνθήκες, διασφαλίζοντας έτσι την ομαλή κυκλοφορία. και ασφάλεια.

Συνοψίζοντας, υπάρχει στενή σύνδεση μεταξύ των ευφυών συστημάτων μεταφοράς και της ανθρώπινης μνήμης. Τα έξυπνα συστήματα μεταφοράς μπορούν να μας προσφέρουν ένα καλύτερο περιβάλλον οδήγησης, να μειώσουν την επιβάρυνση των ανθρώπων κατά την οδήγηση και, ως εκ τούτου, να ενισχύσουν τη μνήμη των ανθρώπων. Η ανάπτυξη έξυπνων συστημάτων μεταφορών είναι μια αναπόφευκτη τάση στην κατασκευή των σύγχρονων πόλεων μας. Μπορεί να φανεί ότι πρέπει να βελτιώσουμε τη μνήμη και το Cistanche deserticola μπορεί να βελτιώσει σημαντικά τη μνήμη, επειδή το Cistanche deserticola είναι ένα παραδοσιακό κινέζικο φαρμακευτικό υλικό που έχει πολλά μοναδικά αποτελέσματα, ένα από τα οποία είναι η βελτίωση της μνήμης. Η αποτελεσματικότητα του κιμά προέρχεται από τα διάφορα ενεργά συστατικά που περιέχει, όπως οξύ, πολυσακχαρίτες, φλαβονοειδή κ.λπ. Αυτά τα συστατικά μπορούν να προάγουν την υγεία του εγκεφάλου με διάφορους τρόπους.

Κάντε κλικ στο Μάθετε 10 τρόπους για να βελτιώσετε τη μνήμη

Για την επίλυση των προκλήσεων των μικρών σημάτων κυκλοφορίας, των δυσδιάκριτων χαρακτηριστικών και της χαμηλής ακρίβειας ανίχνευσης, προτείνεται μια μέθοδος αναγνώρισης σημάτων κυκλοφορίας που βασίζεται στο βελτιωμένο (You Only Look Once v3) YOLOv3.

Η χωρική δομή πυραμιδικής συγκέντρωσης συγχωνεύεται στη δομή του δικτύου YOLOv3 για να επιτευχθεί η συγχώνευση τοπικών χαρακτηριστικών και καθολικών χαρακτηριστικών και εισάγεται η τέταρτη κλίμακα πρόβλεψης χαρακτηριστικών μεγέθους 152 × 152 για την πλήρη χρήση των ρηχών χαρακτηριστικών στο δίκτυο για την πρόβλεψη μικρών στόχων.

Επιπλέον, η παλινδρόμηση του boundingbox είναι πιο σταθερή όταν χρησιμοποιείται η απώλεια απόστασης IoU (DIoU), η οποία λαμβάνει υπόψη την απόσταση μεταξύ στόχου και αγκύρωσης, το ποσοστό επικάλυψης και την κλίμακα.

Οι 12 αγκυρώσεις του συνόλου δεδομένων σημάτων κυκλοφορίας Tsinghua–Tencent 100K(TT100K) υπολογίζονται εκ νέου χρησιμοποιώντας τον αλγόριθμο ομαδοποίησης K-means, ενώ το σύνολο δεδομένων εξισορροπείται και επεκτείνεται για να αντιμετωπίσει το πρόβλημα ενός ανομοιόμορφου αριθμού στόχων στο σύνολο δεδομένων TT100K.

Ο αλγόριθμος συγκρίνεται με το YOLOv3 και άλλους αλγόριθμους ανίχνευσης στόχων που χρησιμοποιούνται συνήθως και τα αποτελέσματα δείχνουν ότι ο βελτιωμένος αλγόριθμος YOLOv3 επιτυγχάνει μέση μέση ακρίβεια (mAP) 77,3%, που είναι 8,4% υψηλότερη από το YOLOv3, ειδικά σε μικρή ανίχνευση στόχου, όπου το mAP είναι βελτιώθηκε κατά 10,5%, βελτιώνοντας σημαντικά την ακρίβεια του δικτύου ανίχνευσης διατηρώντας παράλληλα την απόδοση σε πραγματικό χρόνο όσο το δυνατόν υψηλότερη.

Η ακρίβεια του δικτύου ανίχνευσης βελτιώνεται σημαντικά, διατηρώντας παράλληλα την απόδοση του δικτύου σε πραγματικό χρόνο όσο το δυνατόν υψηλότερη.

Λέξεις-κλειδιά:

Αναγνώριση πινακίδων κυκλοφορίας. YOLOv3; χωρική πυραμιδική δομή συγκέντρωσης.

1. Εισαγωγή

Επί του παρόντος, η αυτοματοποιημένη οδήγηση και τα έξυπνα συστήματα μεταφοράς (ITS) είναι οι κύριες εφαρμογές για τεχνολογίες ανίχνευσης και αναγνώρισης σημάτων κυκλοφορίας.

Παρέχει στους οδηγούς και στα αυτόνομα οχήματα κρίσιμες πληροφορίες για την κυκλοφορία, έτσι ώστε τα τελευταία να μπορούν να κάνουν κρίσεις σύμφωνα με τους κανονισμούς του δρόμου ή να προειδοποιούν και να κατευθύνουν έγκαιρα τις συμπεριφορές λειτουργίας των οδηγών για τη μείωση των τροχαίων ατυχημάτων.

Τα σήματα κυκλοφορίας μπορούν γενικά να χωριστούν σε τρεις κατηγορίες: πινακίδες κατεύθυνσης, προειδοποιητικά σήματα και σήματα απαγόρευσης. Αυτές οι πινακίδες έχουν στρογγυλό ή τριγωνικό σχέδιο και είναι κόκκινο, κίτρινο και μπλε.

Επομένως, η κλασική αναγνώριση σημάτων κυκλοφορίας χρησιμοποιεί συνήθως τεχνικές μηχανικής εκμάθησης για να αναγνωρίσει σήματα κυκλοφορίας ή να εξάγει πληροφορίες όπως το χρώμα και το σχήμα από τα σήματα κυκλοφορίας.

Η χρωματική τμηματοποίηση για την εξαγωγή χαρακτηριστικών πριν από την αναγνώριση ταξινόμησης χρησιμοποιείται στον εντοπισμό σημάτων κυκλοφορίας βάσει χρώματος, ο οποίος επηρεάζεται εύκολα από τις παραλλαγές του φωτισμού. Η χρωματική τμηματοποίηση δεν επηρεάζεται από τις διακυμάνσεις της φωτεινότητας, σύμφωνα με την προηγούμενη βιβλιογραφία [1], και χρησιμοποιεί το χώρο HIS για να εξετάσει μόνο την απόχρωση και τον κορεσμό.

Λόγω των υψηλών απαιτήσεων αναγνώρισης χρώματος σε μεταβλητές όπως ο καιρός και η απόσταση ανίχνευσης, η προσέγγιση ανίχνευσης που βασίζεται σε χαρακτηριστικά χρώματος μπορεί να χρησιμοποιηθεί για αναγνώριση εικόνας υψηλής ευκρίνειας αλλά όχι για αναγνώριση εικόνας σε κλίμακα του γκρι [2].

Μια προσέγγιση αναγνώρισης σημάτων κυκλοφορίας βάσει σχήματος σε εικόνες σε κλίμακα του γκρι προτάθηκε σε μια άλλη βιβλιογραφία [3], η οποία μετατρέπει την ανίχνευση πινακίδων κυκλοφορίας τριγώνου σε ανίχνευση απλής γραμμής, η οποία μπορεί να αναγνωρίσει σωστά τα σημάδια κυκλοφορίας και δεν επηρεάζεται από την απόσταση.

Ένα σύστημα ανίχνευσης και αναγνώρισης πινακίδων κυκλοφορίας βασισμένο σε διανύσματα υποστήριξης προτάθηκε σε μια άλλη βιβλιογραφία [4], η οποία χρησιμοποιεί την ιδιότητα γενίκευσης μιας μηχανής γραμμικού διανύσματος υποστήριξης για να τμηματοποιήσει πρώτα το χρώμα των σημάτων κυκλοφορίας και στη συνέχεια να ταξινομήσει τη φόρμα.

Η μέθοδος ανίχνευσης χαρακτηριστικών χρώματος και σχήματος ξεχωριστά εκτελεί πρώτα την τμηματοποίηση χρώματος για να αποκτήσει την περιοχή ενδιαφέροντος και εάν η περιοχή ενδιαφέροντος δεν ανιχνεύεται, η ανίχνευση βάσει σχήματος δεν εκτελείται πλέον· δεύτερον, η τμηματοποίηση χρώματος απαιτεί να οριστεί ένα σταθερό όριο χειροκίνητα, καθιστώντας τον εντοπισμό οδικής σηματοδότησης περίπλοκο και χρονοβόρο.

Για την επίλυση αυτών των προβλημάτων και την αύξηση της απόδοσης ανίχνευσης, μια μελέτη [5] χρησιμοποίησε το πλαίσιο AdaBoost για να εκτελέσει ταυτόχρονη ανίχνευση μοντελοποίησης χρώματος και σχήματος.

Οι αλλαγές σε εξωτερικές συνθήκες, όπως το φως, οι αλλαγές χρώματος των πινακίδων κυκλοφορίας κ.λπ., μπορούν να επηρεάσουν τον εντοπισμό πινακίδων κυκλοφορίας βάσει χρώματος και σχήματος.

Ο αντίκτυπος ανίχνευσης είναι ασταθής, μειώνοντας την απόδοση του συστήματος αναγνώρισης σημάτων κυκλοφορίας και καθιστώντας το ευάλωτο στη διαρροή σημάτων κυκλοφορίας και στον ψευδή εντοπισμό. Τα νευρωνικά δίκτυα χρησιμοποιούνται συχνότερα για τον εντοπισμό στόχων καθώς προχωρά η τεχνολογία βαθιάς μάθησης. Παραδείγματα αυτών των αλγορίθμων περιλαμβάνουν το Faster R-CNN [6], το SSD [7] και το YOLO [8], κ.λπ., τα οποία διαχωρίζονται κυρίως σε προσεγγίσεις ανίχνευσης ενός σταδίου και δύο σταδίων.

Μια προηγούμενη μελέτη [9] παρουσίασε ένα βελτιωμένο δίκτυο ανίχνευσης βασισμένο στο YOLOv1 για να αντιμετωπίσει τα ζητήματα της χαμηλής ακρίβειας και της αργής ταχύτητας ανίχνευσης των τυπικών μεθόδων ανίχνευσης σημάτων κυκλοφορίας.

Αυτό το δίκτυο αύξησε την ταχύτητα ανίχνευσης σημάτων κυκλοφορίας και μείωσε τις απαιτήσεις υλικού του συστήματος ανίχνευσης. Μια άλλη μελέτη [10] πρότεινε μια προσέγγιση ανίχνευσης σημάτων κυκλοφορίας βασισμένη στο βελτιωμένο FasterRCNN, με βελτίωση 12,1% στο mAP, το οποίο αντιμετώπισε με επιτυχία ζητήματα όπως η χαμηλή απόδοση αναγνώρισης και έθεσε την ακρίβεια εντοπισμού και αναγνώρισης σημάτων κυκλοφορίας.

Στο [11], το σύνολο δεδομένων CCTSDB λήφθηκε με την επέκταση του συνόλου δεδομένων κινεζικών σημάτων κυκλοφορίας (CTSD) και την ενημέρωση των πληροφοριών δείκτη με βάση τον βελτιωμένο αλγόριθμο ανίχνευσης στόχου YOLOv2. Το σύνολο δεδομένων CCTSDB περιείχε μόνο τρεις κατηγορίες σημάτων κυκλοφορίας, κάτι που είναι ανεπαρκές για να ολοκληρώσει το δύσκολο έργο της αναγνώρισης σημάτων κυκλοφορίας.

Το σύνολο δεδομένων TheTT100K [12], που δημιουργήθηκε από το Πανεπιστήμιο Tsinghua και την Tencent σε συνεργασία, εξήχθη από το πανόραμα του κινεζικού Street View και καλύπτει ένα ευρύ φάσμα φωτισμού και καιρικών συνθηκών, καθιστώντας το πιο αντιπροσωπευτικό του πραγματικού περιβάλλοντος οδήγησης. Η μελέτη [13] χρησιμοποίησε το DenseNet αντί για Το ResNet στο βασικό δίκτυο του YOLOv3 και το επικύρωσε πειραματικά στο σύνολο δεδομένων TT100K.

Ο αλγόριθμος βελτιώνει την απόδοση του μοντέλου ανίχνευσης σε πραγματικό χρόνο, αλλά η ακρίβεια και η ανάκληση τείνουν να είναι χαμηλές όταν πρόκειται για μικρούς στόχους όπως τα σήματα κυκλοφορίας, κάτι που συνεπάγεται σοβαρό λάθος εντοπισμό.

Η εργασία ανίχνευσης γίνεται συχνά πιο δύσκολη στις εργασίες ανίχνευσης στόχου, καθώς ο στόχος που πρόκειται να εντοπιστεί είναι συνήθως μεγάλος και τα χαρακτηριστικά του μπορούν εύκολα να εξαχθούν.

Λόγω της δομής FPN που εισάγει το YOLOv3, είναι πλέον σε θέση να ανιχνεύει στόχους σε διάφορες κλίμακες χρησιμοποιώντας τη σύντηξη χαρακτηριστικών πολλαπλής κλίμακας, η οποία είναι κατάλληλη για περίπλοκες σκηνές κυκλοφορίας και έχει δείξει κάποια υπόσχεση στον εντοπισμό μικρών στόχων. Ωστόσο, υπάρχει ακόμη περιθώριο βελτίωσης στις εικόνες υψηλής ανάλυσης του συνόλου δεδομένων σημάτων κυκλοφορίας TT100K.

Συμπερασματικά, η προσέγγιση που βασίζεται σε νευρωνικά δίκτυα μπορεί να αντιμετωπίσει επιτυχώς ζητήματα με χαμηλή απόδοση αναγνώρισης, ανίχνευση χαμένης και ψευδούς ανίχνευσης, ενώ παράλληλα ενισχύει την ακρίβεια της ανίχνευσης και αναγνώρισης σημάτων κυκλοφορίας.

Οι μέθοδοι που βασίζονται σε νευρωνικά δίκτυα έχουν καλύτερη ακρίβεια ή ταχύτερη ανίχνευση από τις παραδοσιακές μεθόδους, αλλά δεν μπορούν να επιτύχουν τόσο την ταχύτητα ανίχνευσης όσο και την ακρίβεια ανίχνευσης. Επιπλέον, το μεγαλύτερο μέρος της ανίχνευσης πινακίδων κυκλοφορίας χρησιμοποιεί το GermanTraffic Sign Dataset (GTSDB) και τα σήματα κυκλοφορίας στη Γερμανία είναι διαφορετικά από αυτά στην Κίνα· υπάρχουν λιγότερες μελέτες για τον εντοπισμό και την αναγνώριση σημάτων κυκλοφορίας στην Κίνα.

Επομένως, για την αντιμετώπιση των προβλημάτων στις παραπάνω μεθόδους, αυτό το έγγραφο χρησιμοποιεί το σύνολο δεδομένων TT100K για την εκπαίδευση και τον εντοπισμό κινεζικών σημάτων κυκλοφορίας και τη βελτίωση και προσαρμογή του δικτύου YOLOv3, κυρίως με τις ακόλουθες βελτιώσεις:

(1) Προσθέστε μια τέταρτη κλίμακα πρόβλεψης χαρακτηριστικών μεγέθους 152 × 152 στη δομή δικτύου YOLOv3 για να εκμεταλλευτείτε πλήρως τα ρηχά χαρακτηριστικά του δικτύου για την πρόβλεψη μικρών στόχων. Για να επιτευχθεί η συγχώνευση τοπικών και παγκόσμιων χαρακτηριστικών, η χωρική δομή συγκέντρωσης πυραμίδων συγχωνεύεται.

(2) Η απόσταση μεταξύ στόχου και αγκύρωσης, ο ρυθμός επικάλυψης και η κλίμακα λαμβάνονται όλα υπόψη όταν χρησιμοποιείται η απώλεια DIoU για ταχύτερη σύγκλιση και πιο συνεπή παλινδρόμηση πλαισίου στόχου. Αυτό καθιστά την παλινδρόμηση πλαισίου στόχου πιο σταθερή.

(3) Η πλειονότητα των σημάτων κυκλοφορίας στο σύνολο δεδομένων TT100K είναι μικρού και μεσαίου μεγέθους στόχοι, με λίγους μόνο μεγάλους στόχους.

Ως αποτέλεσμα, η χρήση της αρχικής άγκυρας δεν είναι εφικτή επιλογή. Ο αλγόριθμος ομαδοποίησης K-means χρησιμοποιείται για τον επανυπολογισμό 12 αγκυρώσεων για το σύνολο δεδομένων TT100K και η στρατηγική αύξησης δεδομένων χρησιμοποιείται για την εξισορρόπηση και την αύξηση του μη ισορροπημένου αριθμού κατηγοριών στόχων του συνόλου δεδομένων.

For more information:1950477648nn@gmail.com