Διπλή μνήμη LSTM με νευρωνικό δίκτυο διπλής προσοχής για χωροχρονική πρόβλεψη
Mar 21, 2022
Επικοινωνία:joanna.jia@wecistanche.com/ WhatsApp: 008618081934791
Αφηρημένη
Η χωροχρονική πρόβλεψη είναι πρόκληση λόγω της αναποτελεσματικότητας της εξαγωγής αναπαραστάσεων και της έλλειψης πλούσιων εξαρτήσεων από τα συμφραζόμενα. Προτείνεται μια νέα προσέγγιση για χωροχρονική πρόβλεψη χρησιμοποιώντας ένα διπλόμνήμηLSTM με νευρωνικό δίκτυο διπλής προσοχής (DMANet). Μια νέα μονάδα διπλής μνήμης LSTM (DMLSTM) προτείνεται για την εξαγωγή των αναπαραστάσεων αξιοποιώντας διαφορετικές λειτουργίες μεταξύ των διαδοχικών εικόνων και υιοθετώντας μια διπλήμνήμημηχανισμός μετάβασης. Για την πλήρη χρήση των ιστορικών αναπαραστάσεων, ένας μηχανισμός διπλής προσοχής έχει σχεδιαστεί για να συλλαμβάνει μακροπρόθεσμες χωροχρονικές εξαρτήσεις υπολογίζοντας τις συσχετίσεις μεταξύ των κρυφών αναπαραστάσεων και των ιστορικών κρυφών αναπαραστάσεων από χρονικές και χωρικές διαστάσεις, αντίστοιχα. Στη συνέχεια, η διπλή προσοχή ενσωματώνεται στη μονάδα DMLSTM για την κατασκευή ενός DMANet, το οποίο επιτρέπει στο μοντέλο με μεγαλύτερη ισχύ μοντελοποίησης για βραχυπρόθεσμες δυναμικές και μακροπρόθεσμες αναπαραστάσεις με βάση τα συμφραζόμενα. Ένα σύνολο δεδομένων χάρτη φαινομενικής αντίστασης (AR Map) προτείνεται σε αυτό το έγγραφο. Η μέθοδος παρεμβολής B-spline χρησιμοποιείται για να βελτιώσει το σύνολο δεδομένων του χάρτη AR και καθιστά την καμπύλη τάσης της φαινομενικής ειδικής αντίστασης συνεχή παράγωγο στη διάσταση του χρόνου. Τα πειραματικά αποτελέσματα καταδεικνύουν ότι η αναπτυγμένη μέθοδος έχει εξαιρετική απόδοση πρόβλεψης σε σύγκριση με ορισμένες μεθόδους τελευταίας τεχνολογίας.
Λέξεις-κλειδιά: χωροχρονική πρόβλεψη; διπλόςμνήμηLSTM; διπλή προσοχή? ιστορικές αναπαραστάσεις
1. Εισαγωγή
Η χωροχρονική πρόβλεψη είναι η εκμάθηση αναπαραστάσεων με τρόπο χωρίς επίβλεψη από δεδομένα βίντεο χωρίς ετικέτα και η χρήση τους για την εκτέλεση μιας εργασίας πρόβλεψης, η οποία είναι μια τυπική εργασία όρασης υπολογιστή. Επί του παρόντος, η χωροχρονική πρόβλεψη έχει εφαρμοστεί με επιτυχία σε ορισμένες εργασίες, όπως η μελλοντική πρόβλεψη θέσεων αντικειμένων [1,2], η ανίχνευση ανωμαλιών [3] και η αυτόνομη οδήγηση [4]. Τα μοντέλα που βασίζονται σε βαθιά μάθηση κάνουν ένα άλμα έναντι των παραδοσιακών προσεγγίσεων επειδή έχουν μάθει επαρκείς αναπαραστάσεις από δεδομένα υψηλών διαστάσεων. Οι μέθοδοι βαθιάς μάθησης ταιριάζουν απόλυτα στην εργασία χωροχρονικής πρόβλεψης, η οποία θα μπορούσε να εξάγει χωροχρονικούς συσχετισμούς από δεδομένα βίντεο με αυτοεποπτευόμενο τρόπο. Ωστόσο, η χωροχρονική πρόβλεψη εξακολουθεί να είναι μια πρόκληση λόγω του προβλήματος της αναποτελεσματικής εξαγωγής αναπαραστάσεων και της έλλειψης μακροπρόθεσμων εξαρτήσεων. Για παράδειγμα, το Convolutional LSTM (ConvLSTM) [5] έχει αναπτυχθεί για την περαιτέρω εξαγωγή χρονικών αναπαραστάσεων, αλλά αγνοεί τις χωρικές αναπαραστάσεις. Ορισμένες μέθοδοι [6,7] έχουν επιτύχει ακριβή αποτελέσματα πρόβλεψης, αλλά προκαλούν απώλεια αναπαράστασης. Η μέθοδος του ανταγωνισμού έχει εφαρμοστεί σε εργασίες πρόβλεψης [8,9]. Ωστόσο, [8,9] εξαρτώνται σημαντικά από την ασταθή εκπαιδευτική διαδικασία.
1 School of Communication and Information Engineering, Shanghai University, Shanghai 200444, China
2 Key Laboratory of Advanced Display and System Application, Υπουργείο Παιδείας, Σαγκάη 200072, Κίνα
Ένα μυθιστόρημα διττόμνήμηΤο LSTM με νευρωνικό δίκτυο διπλής προσοχής (DMANet) έχει προταθεί για χωροχρονική πρόβλεψη σε αυτή την εργασία για την επίλυση των αναφερόμενων προβλημάτων. Μια μονάδα διπλής μνήμης LSTM (DMLSTM) βασισμένη στο ConvLSTM [5] έχει αναπτυχθεί για το DMANet για την εκτέλεση χωροχρονικής πρόβλεψης. Μπορεί να εφαρμοστεί για να ληφθούν αναπαραστάσεις κίνησης διαφοροποιώντας κατάλληλα γειτονικές κρυφές καταστάσεις ή ακατέργαστες εικόνες. Επιπλέον, έχει διπλές δομές μνήμης για την αποθήκευση χωρικών και χρονικών πληροφοριών. Ένας μηχανισμός διπλής προσοχής προτείνεται και ενσωματώνεται στη μονάδα DMLSTM για την εξαγωγή μακροπρόθεσμων εξαρτήσεων χαρακτηριστικών από χρονικές και χωρικές διαστάσεις, αντίστοιχα, που επιτρέπει στο αναπτυγμένο μοντέλο να καταγράφει πιο σύνθετες δυναμικές βίντεο. Σε σύγκριση με τις παραπάνω χωροχρονικές μεθόδους πρόβλεψης, οι κύριες συνεισφορές αυτής της εργασίας είναι οι εξής. Πρώτον, έχει προταθεί μια νέα μονάδα DMLSTM για την εκτέλεση αναπαραστάσεων εξαγωγής, οι οποίες μπορούν να εφαρμοστούν για χωροχρονική πρόβλεψη αξιοποιώντας διαφορετικές λειτουργίες μεταξύ των διαδοχικών εικόνων και υιοθετώντας μια διπλήμνήμημηχανισμός μετάβασης. Δεύτερον, έχει αναπτυχθεί ένας μηχανισμός διπλής προσοχής για την επίτευξη των μακροπρόθεσμων αλληλεπιδράσεων πλαισίου. Οι μακροπρόθεσμες αλληλεπιδράσεις πλαισίου αποτυπώνονται με τον υπολογισμό της συσχέτισης μεταξύ των κρυφών αναπαραστάσεων και των ιστορικών κρυφών αναπαραστάσεων από τη χρονική και χωρική διάσταση, αντίστοιχα. Τέλος, μια σημαντική συμβολή είναι ότι το DMANet συνδυάζει και τα δύο πλεονεκτήματα. Αυτός ο αρχιτεκτονικός σχεδιασμός επιτρέπει στο μοντέλο με μεγαλύτερη ισχύ μοντελοποίησης για βραχυπρόθεσμη δυναμική και μακροπρόθεσμες αναπαραστάσεις με βάση τα συμφραζόμενα. Η προτεινόμενη μέθοδος αξιολογείται σε ορισμένα απαιτητικά σύνολα δεδομένων με διαφορετικές μεθόδους. Επιτυγχάνει εξαιρετική απόδοση σε σύγκριση με ορισμένες μεθόδους τελευταίας τεχνολογίας. Τα πειραματικά αποτελέσματα δείχνουν ότι η προτεινόμενη μέθοδος έχει εξαιρετική απόδοση χωροχρονικής πρόβλεψης.
Το υπόλοιπο αυτού του άρθρου οργανώνεται ως εξής. Η σχετική εργασία συζητείται στην Ενότητα 2. Η διπλήμνήμηΤο LSTM με μηχανισμό διπλής προσοχής περιγράφεται στην Ενότητα 3. Τα πειραματικά αποτελέσματα και οι αναλύσεις συζητούνται στην Ενότητα 4 και ακολουθούνται από συμπεράσματα στην Ενότητα 5.
2. Επιθεώρηση Λογοτεχνίας
Την τελευταία δεκαετία έχουν προταθεί πολλές μέθοδοι χωροχρονικής πρόβλεψης. Επαναλαμβανόμενο νευρωνικό δίκτυο (RNN) [10] με το μακροπρόθεσμο βραχυπρόθεσμομνήμη(LSTM) [11] εφαρμόζεται όλο και περισσότερο σε εργασίες πρόβλεψης λόγω των δυνατοτήτων του για εκμάθηση αναπαραστάσεων μιας ακολουθίας βίντεο. Τα τελευταία χρόνια, το πλαίσιο LSTM που βασίζεται σε ένα μοντέλο αλληλουχίας σε ακολουθία [12] έχει προσαρμοστεί στην πρόβλεψη βίντεο. Ωστόσο, η ακρίβεια της πρόβλεψης είναι περιορισμένη λόγω του γεγονότος ότι αυτές οι μέθοδοι πλαισίου [12] καταγράφουν μόνο χρονικές παραλλαγές. Προκειμένου να εξαχθούν περαιτέρω αναπαραστάσεις βίντεο, το ConvLSTM [5] αντικαθιστά τις πλήρως συνδεδεμένες λειτουργίες με λειτουργίες συνέλιξης σε επαναλαμβανόμενες μεταβάσεις καταστάσεων. Ένα πλαίσιο βασισμένο στη βαθιά μάθηση [13] προτείνεται για την ανασύσταση των δεδομένων που λείπουν για να διευκολυνθεί η ανάλυση με χωροχρονικές σειρές. Ωστόσο, θα αυξήσει το επιπλέον υπολογιστικό κόστος και θα μειώσει την αποτελεσματικότητα της πρόβλεψης. Η bijective gated recurrent μονάδα εισάγεται στο [14], η οποία εκμεταλλεύεται επαναλαμβανόμενους αυτόματους κωδικοποιητές για να προβλέψει το επόμενο πλαίσιο σε ορισμένες περιπτώσεις. Μια μέθοδος πολλαπλών εκροών και πολλαπλών δεικτών εποπτευόμενης μάθησης [15] με LSTM [11] προτείνονται για χωροχρονική πρόβλεψη, η οποία μπορεί να μοντελοποιήσει τη μακροπρόθεσμη δυναμική. Επιδιώκοντας την ανακούφιση της εξαφάνισης της κλίσης, το συνελικτικό LSTM που επεκτείνεται κατά [6,7] εισάγει μια μονάδα ροής μνήμης ζιγκ-ζαγκ και βαθμίδας αυτοκινητόδρομου (GHU). Μια ενημερωμένη μέθοδος βασισμένη σε βαθιά μάθηση έχει χρησιμοποιηθεί για τη βελτίωση της ικανότητας πρόβλεψης. Μια έκδοση του ASAP που ονομάζεται "ASAP deep system", προτείνεται στο [16]. Η παραμόρφωση οπτικής ροής και οι αλγόριθμοι σύνθεσης εικονοστοιχείων RGB [17] έχουν αξιοποιηθεί για την εκτέλεση χωροχρονικής πρόβλεψης. Ένα δίκτυο μνήμης στη μνήμη (MIM) προτείνεται για τις εργασίες πρόβλεψης στο [18]. Η διαφορά του από τα προαναφερθέντα επαναλαμβανόμενα μοντέλα είναι ότι το MIM [18] εφαρμόζεται στη διαφορά στις μεταβάσεις μνήμης για να μετατρέψει το χρονικά μεταβαλλόμενο πολυώνυμο σε μια σταθερά, η οποία καθιστά δυνατή την προβλέψιμη ντετερμινιστική συνιστώσα. Ωστόσο, αυτές οι μέθοδοι [14-18] εξακολουθούν να είναι δύσκολο να πραγματοποιήσουν μακροπρόθεσμη πρόβλεψη, καθώς οι υπερβολικές μεταβάσεις πύλης θα προκαλούσαν απώλεια αναπαραστάσεων.
οφέλη cistanche deserticolaσεμνήμη
Εκτός από τα επαναλαμβανόμενα μοντέλα, χρησιμοποιούνται και άλλα μοντέλα για χωροχρονική πρόβλεψη. Ένα δίκτυο αναδρομής προτείνεται στο [19], το οποίο εισάγει απώλεια αναδρομικής εξέτασης για να ωθήσει τα πλαίσια αναδρομής να είναι συνεπή με τα παρατηρούμενα πλαίσια. Προκειμένου να αντιμετωπιστεί η ανισορροπία στα δεδομένα, αναπτύσσεται ένας αλγόριθμος καθαρισμού γειτονιάς στο [20]. Ένας τυχαίος αλγόριθμος δασών εξάγει τα βέλτιστα χαρακτηριστικά για την εκτέλεση της εργασίας πρόβλεψης. Ένας μεταβλητός αυτόματος κωδικοποιητής υιοθετείται για την εξαγωγή μη γραμμικών δυναμικών χαρακτηριστικών στο [21]. Αυτό το μοντέλο αναλύει τις συσχετίσεις μεταξύ των μεταβλητών και τις σχέσεις μεταξύ ιστορικών δειγμάτων και παρόντων δειγμάτων. Μια μονάδα ευρείας προσοχής και η μονάδα βαθιάς σύνθεσης χρησιμοποιούνται στο [22] για την εξαγωγή γενικών βασικών χαρακτηριστικών και τοπικών βασικών χαρακτηριστικών. Ωστόσο, αυτές οι μέθοδοι [19-22] εξαρτώνται σε κάποιο βαθμό από τοπικές αναπαραστάσεις, οι οποίες δεν μπορούν να έχουν εξαιρετική απόδοση σε εργασίες πρόβλεψης. Ένα τεχνητό νευρωνικό δίκτυο [23] έχει προταθεί για τη μοντελοποίηση των μοναδικών ιδιοτήτων των χωροχρονικών δεδομένων και αντλεί μια πιο ισχυρή ικανότητα μοντελοποίησης στα χωροχρονικά δεδομένα. Ένα χωροχρονικό σύστημα πρόβλεψης [24] έχει αναπτυχθεί για να επικεντρωθεί στη χωρική μοντελοποίηση και στην ανακατασκευή του πλήρους χωροχρονικού σήματος. Αυτή η μέθοδος δείχνει την αποτελεσματικότητα της μοντελοποίησης συνεκτικών χωροχρονικών πεδίων. Το μικτό νευρωνικό δίκτυο έχει προταθεί για να μοντελοποιήσει το δυναμικό μοτίβο και να μάθει αναπαραστάσεις εμφάνισης με βάση δεδομένα καρέ βίντεο στο [25]. Ένα τρισδιάστατο CNN χρησιμοποιείται στο RNN στο [26], το οποίο επεκτείνει τις αναπαραστάσεις σε χρονική διάσταση και κάνει τομνήμημονάδα αποθήκευσης καλύτερων μακροπρόθεσμων αναπαραστάσεων. Ωστόσο, οι συνελικτικές λειτουργίες [24-26] ευθύνονται για εξαρτήσεις εντός πλαισίου μικρής εμβέλειας λόγω των περιορισμένων πεδίων λήψης τους και της έλλειψης σαφών δυνατοτήτων μοντελοποίησης μεταξύ πλαισίων. Τα παραγωγικά αντίπαλα δίκτυα [8] είναι μια άλλη προσέγγιση για χωροχρονική πρόβλεψη. Μια μέθοδος αυτόματου κωδικοποιητή υπό όρους μεταβλητής έχει προταθεί στο [9] με την παραγωγή μελλοντικών ανθρώπινων τροχιών που εξαρτώνται από προηγούμενες παρατηρήσεις και μελλοντικές ενέργειες ρομπότ. Οι μέθοδοι πρόβλεψης [8,9] στοχεύουν να δημιουργήσουν λιγότερο θολά καρέ, αλλά η απόδοσή τους εξαρτάται σημαντικά από την ασταθή εκπαιδευτική διαδικασία.
Ένας μηχανισμός αυτοπροσοχής προτείνεται στο [27], ο οποίος μπορεί να εφαρμοστεί για την καταγραφή εξαρτήσεων μεγάλης εμβέλειας και έχει αποδειχθεί αποτελεσματικός στη συγκέντρωση σημαντικών χαρακτηριστικών μεταξύ όλων των χωρικών θέσεων σε εργασίες όρασης υπολογιστή [28-30]. Ένα μπλοκ διπλής προσοχής προτείνεται στο [28], το οποίο συνδυάζει τα χαρακτηριστικά ολόκληρου του χώρου σε ένα συμπαγές σύνολο, και στη συνέχεια επιλέγει προσαρμοστικά και κατανέμει χαρακτηριστικά σε κάθε τοποθεσία. Προκειμένου να εκμεταλλευτεί πιο αποτελεσματικά τις πληροφορίες με βάση τα συμφραζόμενα, ένα διασταυρούμενο δίκτυο [29] εισήγαγε μια μονάδα διασταυρούμενης προσοχής για τη λήψη των πληροφοριών συμφραζομένων όλων των εικονοστοιχείων, η οποία είναι χρήσιμη για προβλήματα οπτικής κατανόησης. Επιπλέον, σε αντίθεση με τις μεθόδους σύντηξης χαρακτηριστικών πολλαπλής κλίμακας, προτείνεται ένα δίκτυο διπλής προσοχής [30] για να συνδυάζει προσαρμοστικά τοπικά χαρακτηριστικά με καθολικές εξαρτήσεις. Ωστόσο, δεν μπορούν να χρησιμοποιηθούν για την αντιμετώπιση εργασιών πρόβλεψης λόγω της έλλειψης χωροχρονικών εξαρτήσεων.
Συνοπτικά, τα προηγούμενα μοντέλα πρόβλεψης έχουν διαφορετικά μειονεκτήματα. Διαφορετικά από την προηγούμενη εργασία, σχεδιάζουμε μια νέα παραλλαγή του ConvLSTM [5] για την αποθήκευση αναπαραστάσεων καταστάσεων και την επέκταση του μηχανισμού προσοχής στο έργο της χωροχρονικής πρόβλεψης. Αυτή η αρχιτεκτονική αποτυπώνει πλούσιες σχέσεις με βάση τα συμφραζόμενα για καλύτερες αναπαραστάσεις χαρακτηριστικών με συμπαγή εντός της κατηγορίας.
Ο Πίνακας 1 δείχνει τα ακρωνύμια που χρησιμοποιούνται στην εργασία με ορισμό της έννοιας.
3. Νευρωνικό Δίκτυο DMA
Ένα διάγραμμα ροής του DMANet φαίνεται στο Σχήμα 1. Οι αναπαραστάσεις εξάγονται από το DMANet δεδομένων των πλαισίων εισόδου. Οι αναπαραστάσεις υποδεικνύουν αποτελέσματα πρόβλεψης και μπορούν να χρησιμοποιηθούν για την πρόβλεψη των επόμενων αναπαραστάσεων.
Σε αυτή την ενότητα, θα δοθούν οι λεπτομέρειες του DMANet. Πρώτον, μια νέα μονάδα DMLSTM εισάγεται στην Ενότητα 3.1. Στη συνέχεια, προτείνεται ένας μηχανισμός διπλής προσοχής στην Ενότητα 3.2, ο οποίος επιτρέπει στο μοντέλο να επωφεληθεί από τις προηγούμενες σχετικές αναπαραστάσεις. Τέλος, συγκεντρώνονται μαζί για τη δημιουργία DMANet για χωροχρονική πρόβλεψη, η οποία περιγράφεται λεπτομερώς στην Ενότητα 3.3.
3.1.Διπλή μνήμη LSTM
Διαφωτίζεται από το PredRNN plus plus [7], το οποίο προσθέτει περισσότερα μη γραμμικά επίπεδα για να αυξήσει το βάθος του δικτύου και να ενισχύσει την ικανότητα μοντελοποίησης για χωρικούς συσχετισμούς και χρονική δυναμική. Ωστόσο, το πρόβλημα της διάδοσης της κλίσης γίνεται όλο και πιο δύσκολο με την αύξηση του βάθους του δικτύου, ακόμα κι αν το GHU [7] το μετριάσει σε περιορισμένο βαθμό. Ορισμένες εργασίες[6,7,14] δεν έχουν καλή απόδοση στην εξαγωγή των αναπαραστάσεων χωροχρονικών ακολουθιών σε υπερβολικές μεταβάσεις πύλης, καθώς μπορεί αναπόφευκτα να προκαλέσει την απώλεια των αναπαραστάσεων. Επομένως, χωρικές εξαρτήσεις μεγάλης εμβέλειας μπορούν να αποτυπωθούν από στοιβαγμένα επίπεδα συνέλιξης. Ωστόσο, η αποτελεσματικότητα της ικανότητας μοντελοποίησης για τη χωροχρονική δυναμική είναι περιορισμένη λόγω της πολύπλοκης μετάβασης από λεκάνη σε στρώμα.
Μια νέα επαναλαμβανόμενη μονάδα με το όνομα DMLSTM αναπτύχθηκε για να εκτελεί χωροχρονική πρόβλεψη για να ξεπεραστούν οι περιορισμοί που αναφέρονται παραπάνω, όπως φαίνεται στην Εικόνα 2. Πρώτον, προστίθεται μια πρόσθετη μονάδα μνήμης με βάση το ConvLSTM[5]. Αυτή η μονάδα χρησιμοποιείται για την αποθήκευση χωρικών καταστάσεων, γεγονός που επιτρέπει στη μονάδα να μάθει περισσότερες χωροχρονικές αναπαραστάσεις. Ο νέος μηχανισμός μετάβασης σχεδιάζεται με την απόρριψη περιττών δομών πύλης, όπως πύλες εισόδου. Οι διάφορες μη γραμμικές δομές θα έχανε τις ισχυρές εσωτερικές αναπαραστάσεις στην πρόβλεψη σε επίπεδο pixel. Από την άλλη πλευρά, οι λειτουργίες που διαφοροποιούν τις αναπαραστάσεις έχουν εφαρμοστεί αποτελεσματικά για να συλλάβουν τις αναπαραστάσεις κινούμενων αντικειμένων. Επομένως, η διαφοροποίηση μπορεί να χρησιμοποιηθεί για εργασίες πρόβλεψης για τη συμπλήρωση των λεπτομερειών αναπαράστασης κινούμενων αντικειμένων. Στη μονάδα DMLSTM, η λειτουργία διαφοροποίησης έχει αναπτυχθεί για να λαμβάνει αναπαραστάσεις της κίνησης διαφοροποιώντας γειτονικές κρυφές καταστάσεις ή ακατέργαστες εικόνες, γεγονός που καθιστά τη μονάδα πιο ισχυρή ικανότητα μοντελοποίησης για χωροχρονική δυναμική.
3.2. Μηχανισμός Διπλής Προσοχής
Η χωροχρονική πρόβλεψη μπορεί να προβλέψει μελλοντικά πλαίσια παρατηρώντας προηγούμενες αναπαραστάσεις. Ωστόσο, το μοντέλο πρόβλεψης θα πρέπει να εστιάζει περισσότερο σε ιστορικές αναπαραστάσεις που σχετίζονται με το προβλεπόμενο περιεχόμενο. Ο μηχανισμός προσοχής [27] μπορεί να καταγράψει εξαρτήσεις μεγάλης εμβέλειας μεταξύ τοπικών και παγκόσμιων αναπαραστάσεων σε ορισμένες πρακτικές εργασίες [32,33]. Επιπλέον, η χωροχρονική πρόβλεψη είναι πρόκληση λόγω της πολύπλοκης δυναμικής και των αλλαγών εμφάνισης, οι οποίες απαιτούν εξαρτήσεις τόσο σε χρονικούς όσο και σε χωρικούς τομείς. Προτείνεται μια νέα παραλλαγή του μηχανισμού προσοχής που ονομάζεται μηχανισμός διπλής προσοχής. Αυτή η αρχιτεκτονική καταγράφει τη μακροπρόθεσμη χωροχρονική αλληλεπίδραση από χρονικές και χωρικές διαστάσεις, αντίστοιχα, και στη συνέχεια οι παραστάσεις που λαμβάνονται συγκεντρώνονται για μελλοντική πρόβλεψη.
σιστάνι προς πώλησηεις μνήμην
Η μονάδα διπλής προσοχής φαίνεται στο Σχήμα 3, συμπεριλαμβανομένων των κρυφών καταστάσεων της τρέχουσας χρονικής σήμανσης Ht ∈ RH × W × C και των ιστορικών {H1 . . . Ht−1} ∈ Rn × H × W × C, όπου H και W είναι χωρικά μεγέθη, C είναι ο αριθμός των καναλιών και n δηλώνει τον αριθμό των κρυφών αναπαραστάσεων που συνδέονται κατά μήκος της χρονικής διάστασης, αντίστοιχα
4. Συμπεράσματα
Ένα DMANet έχει προταθεί για χωροχρονική πρόβλεψη σε αυτό το άρθρο. Μια μονάδα DML-STM χρησιμοποιείται για την αποτελεσματική εξαγωγή των αναπαραστάσεων αξιοποιώντας διαφορετικές λειτουργίες μεταξύ των διαδοχικών εικόνων και υιοθετώντας έναν μηχανισμό μετάβασης διπλής μνήμης. Ένας μηχανισμός διπλής προσοχής έχει σχεδιαστεί για να καταγράφει μακροπρόθεσμες χωροχρονικές εξαρτήσεις υπολογίζοντας τις συσχετίσεις μεταξύ των κρυφών αναπαραστάσεων και των ιστορικών κρυφών αναπαραστάσεων από χρονικές και χωρικές διαστάσεις, αντίστοιχα. Το DMANet συνδυάζει και τα δύο πλεονεκτήματα και αυτός ο αρχιτεκτονικός σχεδιασμός επιτρέπει στο μοντέλο με μεγαλύτερη ισχύ μοντελοποίησης για βραχυπρόθεσμες δυναμικές και μακροπρόθεσμες αναπαραστάσεις με βάση τα συμφραζόμενα. Τα πειραματικά αποτελέσματα δείχνουν ότι η μέθοδός μας έχει εξαιρετική απόδοση στη χωροχρονική πρόβλεψη.
πού να αγοράσω cistanche στη μνήμη
Η χωροχρονική πρόβλεψη είναι μια πολλά υποσχόμενη οδός για την αυτοεποπτευόμενη εκμάθηση πλούσιων χωροχρονικών συσχετισμών. Για μελλοντική εργασία, θα διερευνήσουμε πώς να διαχωρίσουμε τα κινούμενα αντικείμενα από το φόντο και να δώσουμε περισσότερη προσοχή στα κινούμενα αντικείμενα., Θα προσπαθήσουμε επίσης να δημιουργήσουμε ένα σύστημα τώρα εκπομπής με φαινομενική αντίσταση για την προστασία των κινεζικών σπηλιών από το νερό.
βιβλιογραφικές αναφορές
1. Yao, Υ.; Atkins, Ε.; Johnson-Roberson, Μ.; Vasudevan, R.; Du, X. Bitrap: Αμφίδρομη πρόβλεψη τροχιάς πεζών με εκτίμηση πολλαπλών τρόπων στόχων. Ρομπότ IEEE. Αυτόματ. Κάτοικος της Λατβίας. 2021, 2, 1463–1470. [CrossRef]
2. Τραγούδι, Ζ.; Sui, Η.; Li, H. Μια ιεραρχική μέθοδος ανίχνευσης αντικειμένων σε δορυφορικές εικόνες οπτικής τηλεπισκόπησης μεγάλης κλίμακας χρησιμοποιώντας ανίχνευση προεξοχής και CNN. Int. J. Remote Sens. 2021, 42, 2827–2847. [CrossRef]
3. Li, Υ.; Cai, Υ.; Li, J.; Lang, S.; Zhang, X. Δικτύωση χωροχρονικής ενότητας για ανίχνευση ανωμαλιών βίντεο. IEEE Access 2019, 1, 172425–172432. [CrossRef]
4. Yurtsever, Ε.; Lambert, J.; Carballo, Α.; Takeda, K. Μια έρευνα για την αυτόνομη οδήγηση: Κοινές πρακτικές και αναδυόμενες τεχνολογίες. IEEE Access 2020, 8, 58443–58469. [CrossRef]
5. Shi, Χ.; Chen, Ζ.; Wang, Η.; Δίκτυο Yeung, DY Convolutional LSTM: Μια προσέγγιση μηχανικής μάθησης για τη μετάδοση βροχοπτώσεων τώρα. In Proceedings of the 29th Conference on Neural Information Processing Systems, Μόντρεαλ, QC, Καναδάς, 7–12 Ιουνίου 2015; σελ. 802–810.
6. Wang, Υ.; Li, Μ.; Wang, J.; Gao, Ζ.; Yu, P. PredRNN: Επαναλαμβανόμενα νευρωνικά δίκτυα για προγνωστική μάθηση χρησιμοποιώντας χωροχρονικά LSTM. In Proceedings of the 31st Conference on Neural Information Processing Systems, Long Beach, BC, Καναδάς, 4–9 Δεκεμβρίου 2017; σελ. 879–888.
7. Wang, Υ.; Gao, Ζ.; Long, Μ.; Wang, J.; Yu, P. PredRNN plus plus : Προς μια επίλυση του διλήμματος βαθιάς στον χρόνο στη χωροχρονική προγνωστική μάθηση. Στα Πρακτικά του 35ου Διεθνούς Συνεδρίου για τη Μηχανική Μάθηση, Στοκχόλμη, Σουηδία, 10–15 Απριλίου 2019. σελ. 5123–5132.
8. Goodfellow, IJ; Pouget-Abadie, J.; Mirza, Μ.; Xu, Β.; Warde-Farley, D. Generative adversarial networks. In Proceedings of the 28th Conference on Neural Information Processing Systems, Μόντρεαλ, QC, Καναδάς, 8–13 Δεκεμβρίου 2014; σελ. 2672–2680.
9. Ivanovic, B.; Karen, L.; Edward, S.; Pavone, M. Πολυτροπικά βαθιά γενετικά μοντέλα για πρόβλεψη τροχιάς: Προσέγγιση αυτόματου κωδικοποιητή υπό όρους μεταβλητής. Ρομπότ IEEE. Αυτόματ. Κάτοικος της Λατβίας. 2021, 2, 295–302. [CrossRef]
10. Rumelhart, D.; Hinton, G.; Williams, R. Εκμάθηση αναπαραστάσεων μέσω σφαλμάτων ανάδρομης διάδοσης. Nature 1986, 1, 533–536. [CrossRef]
11. Hochreiter, S.; Schmidhuber, J. Μακροπρόθεσμη μνήμη. Νευρωνικός Υπολογιστής. 1997, 8, 1735–1780. [CrossRef]
12. Sutskever, I.; Vinyals, Ο.; Le, Q. Εκμάθηση ακολουθίας σε ακολουθία με νευρωνικά δίκτυα. In Proceedings of the Advances in Neural Information Processing Systems, Μόντρεαλ, QC, Καναδάς, 8–13 Δεκεμβρίου 2014. σελ. 3104–3112.
13. Das, Μ.; Ghosh, S. Ένα σύνολο προβλέψεων που βασίζεται σε βαθιά μάθηση για την πρόβλεψη δεδομένων που λείπουν για ανάλυση τηλεπισκόπησης. IEEE J. Sel. Μπλουζα. Appl. Earth Observ. Remote Sens. 2017, 12, 5228–5236. [CrossRef]
14. Oliu, Μ.; Selva, J.; Escalera, S. Διπλωμένα επαναλαμβανόμενα νευρωνικά δίκτυα για μελλοντική πρόβλεψη βίντεο. Στα Πρακτικά του 15ου Ευρωπαϊκού Συνεδρίου για το Computer Vision, Μόναχο, Γερμανία, 8–14 Δεκεμβρίου 2018. σελ. 716–731.
15. Seng, D.; Zhang, Q.; Zhang, Χ.; Chen, G.; Chen, X. Χωροχρονική πρόβλεψη της ποιότητας του αέρα με βάση το νευρωνικό δίκτυο LSTM. Άλεξ. Eng. J. 2021, 60, 2021–2032. [CrossRef]
16. Abed, Α.; Ramin, Q.; Abed, A. Η αυτοματοποιημένη πρόβλεψη ηλιακών εκλάμψεων από εικόνες SDO χρησιμοποιώντας βαθιά μάθηση. Adv. Space Res. 2021, 67, 2544–2557. [CrossRef]
17. Li, S.; Fang, J.; Xu, Η.; Xue, J. Πρόβλεψη καρέ βίντεο από το δίκτυο μάσκας πολλαπλών διακλαδώσεων. IEEE Trans. Circuits Syst. Video Technol. 2020, 4, 1–12. [CrossRef]
18. Wang, Υ.; Zhang, J.; Zhu, Η.; Long, Μ.; Wang, J.; Yu, P. Μνήμη στη μνήμη: Ένα προγνωστικό νευρωνικό δίκτυο για την εκμάθηση της μη σταθερότητας υψηλότερης τάξης από τη χωροχρονική δυναμική. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, BC, Καναδάς, 16–20 Ιουνίου 2020. σελ. 9146–9154.
19. Chen, Χ.; Xu, C.; Yang, Χ.; Yang, Χ.; Tao, D. Μακροπρόθεσμη πρόβλεψη βίντεο μέσω κριτικής και αναδρομής. IEEE Trans. Διαδικασία εικόνας. 2020, 29, 7090–7103. [CrossRef]
20. Neda, Ε.; Reza, F. AptaNet ως προσέγγιση βαθιάς μάθησης για την πρόβλεψη αλληλεπίδρασης απταμερούς-πρωτεΐνης. Sci. Σχετικά με. 2021, 11, 6074–6093.
21. Shen, Β.; Ge, Z. Ζυγισμένο μη γραμμικό δυναμικό σύστημα για βαθιά εξαγωγή μη γραμμικών δυναμικών λανθάνοντων μεταβλητών και βιομηχανική εφαρμογή. IEEE Trans. Ind. Inform. 2021, 5, 3090–3098. [CrossRef]
22. Zhou, J.; Dai, Η.; Wang, Η.; Wang, T. Μοντέλο ευρείας προσοχής και βαθιάς σύνθεσης για την πρόβλεψη ροής κυκλοφορίας σε κυβερνοφυσικά συστήματα μεταφορών. IEEE Trans. Ind. Inform. 2021, 17, 3431–3440. [CrossRef]
23. Patil, Κ.; Deo, M. Πρόβλεψη σε κλίμακα λεκάνης της θερμοκρασίας της επιφάνειας της θάλασσας με τεχνητά νευρωνικά δίκτυα. J. Atmos. Ωκεανός. Τεχνολ. 2018, 7, 1441–1455. [CrossRef]
24. Amato, F.; Guinard, F.; Robert, S.; Kanevski, M. Ένα νέο πλαίσιο για χωροχρονική πρόβλεψη περιβαλλοντικών δεδομένων χρησιμοποιώντας βαθιά μάθηση. Sci. Απ. 2020, 10, 22243–22254. [CrossRef]
25. Yan, J.; Qin, G.; Zhao, R.; Liang, Υ.; Xu, Q. Mixpred: Πρόβλεψη βίντεο πέρα από την οπτική ροή. IEEE Access 2019, 1, 185654–185665. [CrossRef]
26. Wang, Υ.; Jiang, L.; Yang, Μ.; Li, L.; Long, Μ.; Li, F. Eidetic 3D LSTM: Ένα μοντέλο για πρόβλεψη βίντεο και όχι μόνο. In Proceedings of the International Conference on Learning Representations, Νέα Ορλεάνη, LA, ΗΠΑ, 6–9 Μαΐου 2019. σελ. 1–14.
27. Vaswani, Α.; Shazier, Ν.; Parmar, Ν.; Uszkoreit, J.; Jones, L. Η προσοχή είναι το μόνο που χρειάζεστε. In Proceedings of the 31st Conference on Neural Information Processing Systems, Long Beach, BC, Καναδάς, 4–9 Δεκεμβρίου 2017; σελ. 5998–6008.
28. Chen, Υ.; Καλαντίδης, Υ.; Li, J.; Feng, J. Α2 δίχτυα: Δίκτυα διπλής προσοχής. In Proceedings of the 32nd Conference on Neural Information Processing Systems, Μόντρεαλ, QC, Καναδάς, 2–8 Δεκεμβρίου 2018. σελ. 352–361.
29. Huang, Ζ.; Wang, X.; Wei, Υ.; Huang, L.; Shi, H. Ccnet: Διασταυρούμενη προσοχή για σημασιολογική κατάτμηση. IEEE Trans. Μοτίβο Anal. Mach. Intell. 2020, 1, 1–11. [CrossRef]
30. Fu, J.; Liu, J.; Tian, Η.; Li, Y. Δίκτυο διπλής προσοχής για τμηματοποίηση σκηνής. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, BC, Καναδάς, 16–20 Ιουνίου 2019. σελ. 3146–3154.
31. Wang, Ζ.; Bovik, Α.; Sheikh, H. Αξιολόγηση ποιότητας εικόνας: Από την ορατότητα σφαλμάτων στη δομική ομοιότητα. IEEE Trans. Διαδικασία εικόνας. 2004, 4, 600–612. [CrossRef]
32. Liu, Q.; Lu, S.; Ανιχνευτής προσώπου Lan, L. Yolov3 με υψηλή ακρίβεια και απόδοση. Comp. Συστ. Sci. Eng. 2021, 37, 283–295.
33. Li, Χ.; Xu, F.; Xin, L. Δίκτυα σημασιολογικής τμηματοποίησης βαθιάς σύντηξης διπλής προσοχής δορυφορικών εικόνων τηλεπισκόπησης μεγάλης κλίμακας. Int. J. Remote Sens. 2021, 42, 3583–3610. [CrossRef]
34. Srivastava, Ν.; Mansimov, Ε.; Salakhutdinov, R. Εκμάθηση χωρίς επίβλεψη αναπαραστάσεων βίντεο με χρήση LSTM. Στα Πρακτικά του 32ου Διεθνούς Συνεδρίου για τη Μηχανική Μάθηση, Λιλ, Γαλλία, 6–11 Ιουνίου 2015. σελ. 843–852.
35. Geiger, Α.; Lenz, Ρ.; Stiller, C.; Urtasun, R. Το Vision συναντά τη ρομποτική: Το σύνολο δεδομένων KITTI. Int. J. Robot. Res. 2013, 32, 1231–1237. [CrossRef]
36. Dollar, P.; Wojek, C.; Schiele, Β.; Perona, P. Pedestrian detection: A benchmark. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL, USA, 20–25 Ιουνίου 2009; σελ. 304–311.
37. Liu, J.; Jin, Β.; Yang, J.; Xu, L. Πρόβλεψη θερμοκρασίας επιφάνειας θάλασσας με χρήση κυβικής παρεμβολής B-spline και μηχανισμού χωροχρονικής προσοχής. Τηλεπισκόπηση Lett. 2021, 12, 12478–12487. [CrossRef]
