Αναγνώριση ομιλίας φωνήεντος από ηλεκτροεγκεφαλογραφία αρουραίου με χρήση νευρωνικού δικτύου μακράς βραχυπρόθεσμης μνήμης Μέρος 2

Υλικά και μέθοδοι

Των ζώων

Το ελάχιστο απαιτούμενο μέγεθος δείγματος υπολογίστηκε ότι είναι 11 έως 19, αναφερόμενος σε προηγούμενες μελέτες σε ζώα που χαρακτήριζαν νευρικές αποκρίσεις σε διαφορετικές ανθρώπινες συλλαβές [12, 13, 49].

Η νευρική απόκριση και η μνήμη είναι δύο αναπόσπαστες πτυχές των ανθρώπινων πνευματικών δραστηριοτήτων. Η νευρική απόκριση αναφέρεται στην ταχύτητα και την ακρίβεια αντίδρασης του ανθρώπινου εγκεφάλου όταν λαμβάνει και επεξεργάζεται διάφορες αισθητηριακές πληροφορίες. Η μνήμη αναφέρεται στην ικανότητα του ανθρώπινου εγκεφάλου να διατηρεί και να ανακαλεί προηγούμενες εμπειρίες.

Πολλοί άνθρωποι πιστεύουν ότι η σχέση μεταξύ των νευρικών αποκρίσεων και της μνήμης είναι πολύ αδύναμη, αλλά στην πραγματικότητα, υπάρχει στενή σχέση μεταξύ τους. Για ένα άτομο, σε ορισμένες καταστάσεις, δεν είναι μόνο σημαντικό να μπορεί να αντιδρά γρήγορα, αλλά το πιο σημαντικό, στη μνήμη. Για παράδειγμα, όταν αντιμετωπίζουμε κάτι παρόμοιο με μια κατάσταση έκτακτης ανάγκης, οι νευρικές αποκρίσεις μας επιτρέπουν να αντιδράσουμε γρήγορα και να αναλάβουμε δράση. Αυτή τη στιγμή, η μνήμη μας θα έχει μοιραία επίδραση στην ασφάλεια της ζωής μας. Ως εκ τούτου, μπορεί να ειπωθεί ότι η νευρική απόκριση και η μνήμη σχετίζονται μεταξύ τους και και τα δύο είναι απαραίτητα.

Πώς λοιπόν να βελτιώσετε τη νευρική απόκριση και τη μνήμη; Πρώτα απ 'όλα, για να βελτιώσουμε τις νευρικές αποκρίσεις, μπορούμε να διεξάγουμε πολλές προπονήσεις, όπως διάφορα αθλήματα, προπόνηση ανταπόκρισης ολόκληρου του σώματος, οπτική και ακουστική προπόνηση κ.λπ. Επιπλέον, οι νευρολογικές αποκρίσεις μπορούν επίσης να βελτιωθούν μέσω της καλής διατροφής και συνήθειες ύπνου. Για να βελτιώσετε τη μνήμη, πρέπει να μελετήσετε πολύ το διάβασμα και να ενισχύσετε τη λογική σκέψη και την εκπαίδευση της μνήμης, όπως να παίξετε κάποια παιχνίδια με πνευματική πρόκληση ή να επικοινωνήσετε με άλλους για να προωθήσετε την ανάπτυξη της σκέψης σας.

Τέλος, είναι σημαντικό να σημειωθεί ότι τόσο οι νευρικές αποκρίσεις όσο και η μνήμη μπορούν να βελτιωθούν. Όσο καταβάλλουμε προσπάθεια και στοχαστική εκπαίδευση και εξέλιξη, μπορούμε να βελτιωθούμε σε αυτόν τον τομέα. Επομένως, ας υιοθετήσουμε μια θετική προσέγγιση στην ανάπτυξη των νευρολογικών αποκρίσεων και της μνήμης και ας επιτύχουμε περισσότερη πρόοδο και επιτυχία στη ζωή μας. Μπορεί να φανεί ότι πρέπει να βελτιώσουμε τη μνήμη μας. Το Cistanche deserticola μπορεί να βελτιώσει σημαντικά τη μνήμη επειδή το Cistanche deserticola είναι ένα παραδοσιακό κινέζικο φαρμακευτικό υλικό με πολλά μοναδικά αποτελέσματα, ένα από τα οποία είναι η βελτίωση της μνήμης. Η αποτελεσματικότητα του κιμά προέρχεται από τα διάφορα ενεργά συστατικά που περιέχει, όπως οξύ, πολυσακχαρίτες, φλαβονοειδή κ.λπ. Αυτά τα συστατικά μπορούν να προάγουν την υγεία του εγκεφάλου με διάφορους τρόπους.

Κάντε κλικ στα συμπληρώματα γνώσης για να βελτιώσετε τη μνήμη

Λαμβάνοντας υπόψη τόσο την επιστημονική εγκυρότητα όσο και τη δεοντολογία των ζώων, συνολικά 19 αρσενικοί αρουραίοι Sprague-Dawley (325–400g, ηλικίας 11–13 εβδομάδων τη στιγμή του πειράματος, Orient Bio Inc., Seongnam, Κορέα) εγγράφηκαν στη μελέτη.

Μόνο αρσενικοί αρουραίοι συμπεριλήφθηκαν σε αυτή τη μελέτη για να αποφευχθούν οι πιθανές επιδράσεις των οιστρογόνων στο ΗΕΓ [50]. Τα ζώα στεγάστηκαν μεμονωμένα σε τυπικά πλαστικά κλουβιά με ελεύθερη πρόσβαση σε τροφή και νερό και διατηρήθηκαν σε σταθερή θερμοκρασία (21 ± 1˚C) με κύκλο φωτός/σκότους 12 ωρών.

Όλα τα πειραματικά πρωτόκολλα και οι διαδικασίες εγκρίθηκαν από την Επιτροπή Ιδρυματικής Φροντίδας και Χρήσης Ζώων (IACUC) του Ινστιτούτου Επιστήμης και Τεχνολογίας Gwangju (GIST).

Σύμφωνα με την επιτροπή, η μελέτη ανήκε στην κατηγορία D του Υπουργείου Γεωργίας των Ηνωμένων Πολιτειών. Ο πόνος ή η αγωνία ανακουφίστηκε κατάλληλα με αναισθητικά, αναλγητικά ή/και ηρεμιστικά φάρμακα ή άλλες μεθόδους ανακούφισης του πόνου και της αγωνίας.

Επομένως, όλες οι χειρουργικές επεμβάσεις και η φροντίδα των ζώων πραγματοποιήθηκαν σύμφωνα με τις οδηγίες τους για να εξασφαλιστεί η ελάχιστη ενόχληση στα ζώα (αριθμός έγκρισης: GIST-2019-047).

Χειρουργικές επεμβάσεις

Όλοι οι αρουραίοι υποβλήθηκαν σε χειρουργική επέμβαση εμφύτευσης μικροηλεκτροδίων για να αποκτήσουν σήματα ΗΕΓ ως απόκριση στα ηχητικά ερεθίσματα ομιλίας. Πριν από το χειρουργείο, οι αρουραίοι αναισθητοποιήθηκαν με ισοφλουράνιο (5%) αναμεμειγμένο με αέριο οξυγόνο (0.6 L/min ρυθμός ροής) σε θάλαμο επαγωγής.

Μόλις οι αρουραίοι έχασαν το αντανακλαστικό διόρθωσης, μεταφέρθηκαν σε ένα στερεοτακτικό πλαίσιο και εφάρμοσαν αναισθητικό ρινικό κώνο. Το αέριο ισοφλουράνιο (δόση συντήρησης 1,5%) αναμεμειγμένο με οξυγόνο ανακατευθύνθηκε στον ρινικό κώνο.

Στη συνέχεια, ράβδοι αυτιού εισήχθησαν στους ακουστικούς πόρους για να στερεωθεί το κεφάλι. Στη συνέχεια ξυρίσαμε τη γούνα από τα αυτιά μέχρι ακριβώς ανάμεσα στα μάτια. Πραγματοποιήθηκε μπλοκ γραμμής με λιδοκαΐνη 2% στο τριχωτό της κεφαλής και έγινε μια τομή για να αποκαλυφθεί το κρανίο.

Στη συνέχεια, αφαιρέθηκαν εν μέρει οι αμφοτερόπλευροι κροταφικοί μύες και πραγματοποιήθηκε δωροτομή σε κάθε AAF με οδοντικό τρυπάνι για την εισαγωγή των ηλεκτροδίων EEG επισκληρίδιου. Το ηλεκτρόδιο ήταν ένα μόνο μικροηλεκτρόδιο που κατασκευάστηκε κατά παραγγελία χρησιμοποιώντας μια μικροβίδα, ασημένιο σύρμα και έναν σύνδεσμο. Οι συντεταγμένες του AAF ήταν οι εξής: 4 mm οπίσθια, 7,6 mm πλάγια και 4 mm κοιλιακά προς το βρεγμα [51].

Τέλος, τα εμφυτευμένα ηλεκτρόδια συνδέθηκαν σε έναν συνδετήρα πολλαπλών ακίδων και στερεώθηκαν στο κρανίο χρησιμοποιώντας οστικό τσιμέντο. Μετά την ολοκλήρωση όλων των χειρουργικών επεμβάσεων, στους αρουραίους έγινε ένεση με αντιβιοτικό (ceftazol20 mg/kg, Guju Pharma Co, Κορέα) και αναλγητικός παράγοντας (κετοπροφαίνη 2,5 mg/kg, Uni Biotech, Κορέα) ενδομυϊκά για τρεις συνεχόμενες ημέρες.

Όλα τα ζώα αφέθηκαν να αναρρώσουν για μια εβδομάδα και παρακολουθήθηκαν στενά για τυχόν σημάδια πόνου, όπως μειωμένη όρεξη, καμπουριασμένη στάση ή στύση.

Διέγερση του λόγου

Οι πληροφορίες συχνότητας των ήχων ομιλίας είναι γνωστό ότι είναι απαραίτητες για την κατηγορική αντίληψη και αναγνώριση διαφορετικών φωνηέντων [52]. Επιπλέον, τα συστατικά του AEP ποικίλλουν ανάλογα με τους ήχους με ποικίλες συχνότητες και αυτές οι διαφορετικές εγκεφαλικές αποκρίσεις μπορούν να χρησιμοποιηθούν για τη μελέτη μηχανισμών αναγνώρισης ήχου [9]. Ως εκ τούτου, επιλέχθηκαν πέντε διαφορετικοί ήχοι φωνήεντος, /a/, /e/, /i/,/o/ και /u/, που έχουν πολύ διακριτές συχνότητες σχηματισμού για κάθε ερέθισμα ομιλίας [53].

Όλα τα ερεθίσματα ομιλίας δημιουργήθηκαν χρησιμοποιώντας ένα πρόγραμμα μετατροπής κειμένου σε ομιλία που παρέχεται από την Google και το ύψος του ήχου αυξήθηκε κατά μία οκτάβα χρησιμοποιώντας τη λειτουργία shift pitch στο MATLAB 2017b (Mathworks, Inc., MA, ΗΠΑ) για να προσαρμόσει το εύρος ακοής του αρουραίου και εφαρμόστηκε ρίζα σημαίνει κανονικοποίηση τετραγώνου.

Τα ερεθίσματα χορηγήθηκαν από ένα ηχείο (SRS-X88, SONY Co., Ιαπωνία), το οποίο βρισκόταν πάνω από τη μία πλευρά του κλουβιού, περίπου 15 cm από το κεφάλι του αρουραίου, και η μέγιστη ένταση του ήχου βαθμονομήθηκε στα 60 dB SPL. Ο ήχος της ομιλίας των φωνηέντων αναλύθηκε σύμφωνα με τη χρονική πορεία, τα φάσματα γραμμικού συντελεστή πρόβλεψης (LPC) και τα φασματογράμματα για να επαληθευτεί ότι κάθε ερέθισμα έχει την ηχητική του ιδιότητα (βλ. Εικ. 1).

Αν και το σύστημα ραδιοακουστικής δεν είναι βελτιστοποιημένο για την αντίληψη του ανθρώπινου ήχου φωνηέντων, υποθέσαμε ότι μπορεί να ανιχνεύσει τα περισσότερα από τα ηχητικά ερεθίσματα, καθώς η συχνότητα του ήχου ανήκει στο εύρος ακοής του αρουραίου, δηλαδή από 0.5 kHz έως 64 kHz στα 60 dB SPL [54].

Απόκτηση δεδομένων

Οι αποκρίσεις σήματος EEG σε κάθε ηχητικό ερέθισμα φωνηέντων αποκτήθηκαν από την αμφοτερόπλευρη AAF μετά την περίοδο ανάρρωσης μιας εβδομάδας. Πρώτον, οι αρουραίοι αναισθητοποιήθηκαν με ισοφλουράνιο (5%) αναμεμειγμένο με αέριο οξυγόνο (0.6 L/min ρυθμός ροής) για την επαγωγή.

Αφού οι αρουραίοι έχασαν το αντανακλαστικό ανόρθωσης, η αναισθησία διατηρήθηκε με ισοφλουράνιο (1,5%) μέσω ρινικού κώνου κατά τη διάρκεια της καταγραφής για να αποφευχθεί η μόλυνση των σημάτων EEG από τα τεχνουργήματα κίνησης. Στη συνέχεια, ένας σύνδεσμος πολλαπλών ακίδων συνδέθηκε σε μια συσκευή εγγραφής (g.USBamp και g.HEADstage, g.tec medical engineeringGmbH, Graz, Αυστρία), η οποία απέκτησε σήματα σε συχνότητα δειγματοληψίας 1200 Hz.

Η επισκληρίδιος καταγραφή EEG πραγματοποιήθηκε για 1500 δευτερόλεπτα ανά συνεδρία, κατά την οποία οι πέντε ήχοι φωνήεντος παρουσιάστηκαν τυχαία σε κάθε αρουραίο μέσω του πειραματικού ομιλητή. Κάθε ερέθισμα ομιλίας εμφανίστηκε 130–150 φορές ανά ερέθισμα σε μία συνεδρία.

Για να ληφθούν επαρκή δεδομένα ΗΕΓ, η συνεδρία καταγραφής επαναλήφθηκε για πέντε συνεχόμενες ημέρες. Όλες οι ηχογραφήσεις πραγματοποιήθηκαν σε ηχομονωμένο θάλαμο για μεγιστοποίηση του SNR. Ένα σχηματικό διάγραμμα του πειράματος φαίνεται στο σχήμα 2.

Προεπεξεργασία και ανάλυση σήματος ΗΕΓ

Τα ληφθέντα σήματα EEG αναλύθηκαν ως απόκριση σε κάθε φωνήεν χρησιμοποιώντας το FieldTriptoolbox [55] στο MATLAB 2017b (Mathworks, Inc., MA, ΗΠΑ). Στο πρώτο βήμα, τα ακατέργαστα δεδομένα EEG υποβλήθηκαν σε δειγματοληψία από 1200 σε 250 Hz και φιλτραρίστηκαν με διέλευση ζώνης στην περιοχή συχνοτήτων από 1 έως 60 Hz.

Στη συνέχεια, τα συνεχή δεδομένα EEG τμηματοποιήθηκαν σε δοκιμές ειδικές για ερέθισμα με περίοδο 500 ms πριν από τη διέγερση και 1500 ms μετά τη διέγερση. Διεξήχθη διόρθωση βασικής γραμμής με βάση την περίοδο πριν από το ερέθισμα. Για την απόρριψη υπολειπόμενων τεχνουργημάτων, οι μολυσμένες δοκιμές απορρίφθηκαν χειροκίνητα χρησιμοποιώντας μεθόδους οπτικής επιθεώρησης.

Μετά την προεπεξεργασία, υπολογίστηκε ο μέσος όρος των δεδομένων EEG χωρίς τεχνουργήματα για κάθε ερέθισμα ομιλίας για να δημιουργηθούν οι κυματομορφές AEP και υπολογίστηκε το TFR των κυματομορφών με μεγάλο μέσο όρο.

Η ανάλυση TFR διεξήχθη με βάση τα κυματίδια Morlet για την αξιολόγηση των δυναμικών αλλαγών στη φασματική ισχύ με την πάροδο του χρόνου για κάθε ερέθισμα ομιλίας. Χρησιμοποιώντας κυματομορφές AEP με μεγάλο μέσο όρο και το TFR τους, προσδιορίστηκε το εύρος χρόνου ή συχνότητας που αντανακλούσε κυρίως την απόκριση του εγκεφάλου στα ερεθίσματα ομιλίας. Στην περίπτωση της ανάλυσης TFR, η δοκιμή ανάλυσης διακύμανσης (ANOVA) και η διόρθωση Bonferroni πραγματοποιήθηκαν για τον προσδιορισμό της στατιστικής σημασίας μεταξύ των TFR των σημάτων EEG για κάθε ερέθισμα ομιλίας [48].

Μέσω αυτών των αποτελεσμάτων, τα προεπεξεργασμένα δεδομένα EEG αναδιοργανώθηκαν για μελλοντική χρήση για ταξινόμηση. Για να διασφαλιστεί ότι τα ανακατασκευασμένα δεδομένα έχουν νόημα, το εύρος χρόνου και συχνότητας όλων των δοκιμών ΗΕΓ περιορίστηκε. Το χρονικό εύρος ορίστηκε σε 0.2–0.8 δευτερόλεπτα και το εύρος συχνοτήτων ορίστηκε σε 1–60 Hz. Μετά τον επαναπροσδιορισμό του εύρους χρόνου και συχνότητας, όλες οι δοκιμές ΗΕΓ κανονικοποιήθηκαν χρησιμοποιώντας κανονικοποίηση της βαθμολογίας z, μια ευρέως χρησιμοποιούμενη μέθοδο για τη μείωση της μεταβλητότητας μεταξύ των δοκιμών διατηρώντας μια παρόμοια τάση εντός των δοκιμών [56, 57].

Είναι ευρέως γνωστό ότι η συνολική απόδοση της ταξινόμησης βελτιώνεται μετά την κανονικοποίηση της βαθμολογίας z [56]. Μετά από αυτό, το κανονικοποιημένο σύνολο δεδομένων με βαθμολογία z ανακατεύτηκε τυχαία και διαχωρίστηκε σε ένα σύνολο εκπαίδευσης (90%) και σε ένα σύνολο δοκιμών (10%) για να χρησιμοποιηθούν ως είσοδοι για βαθιές μάθηση και ταξινομητές μηχανικής μάθησης για ταξινόμηση αναγνώρισης ομιλίας.

Αμφίδρομα δίκτυα βραχυπρόθεσμης μνήμης

Το LSTM είναι μια αρχιτεκτονική ειδικού επαναλαμβανόμενου νευρωνικού δικτύου (RNN) που ξεπερνά το πρόβλημα της κλίσης εξαφάνισης/έκρηξης ενσωματώνοντας δομές πύλης που ελέγχουν την κατάσταση των κυψελών μνήμης [46, 58].

Για αυτόν τον λόγο, το LSTM έχει δείξει σταθερή και ισχυρή απόδοση για τη μοντελοποίηση μακροπρόθεσμων εξαρτήσεων σε μια ποικιλία χρονικών ή διαδοχικών εργασιών [46, 58-61]. Η δομή του LSTM φαίνεται στο Σχήμα 3Α. Η κύρια διαφορά μεταξύ του συμβατικού RNN και του LSTM είναι το κελί μνήμης, ct, το οποίο μπορεί να διατηρήσει τις πληροφορίες κατάστασης που διαμορφώνονται από τρία είδη αυτοπαραμετροποιημένων πυλών: την πύλη εισόδου, την πύλη λήψεως ft και την πύλη εξόδου.

Η πύλη εισόδου αποφασίζει εάν μια νέα είσοδος θα συσσωρευτεί στο κελί μνήμης. η πύλη ξεχνάς ft μπορεί να απορρίψει την προηγούμενη κατάσταση του κελιού μνήμης, ct−1. και η πύλη εξόδου ρυθμίζει τη διάδοση της εξόδου από την τρέχουσα κυψέλη μνήμης ct στην απόκριση εξόδου ht. Η βασική επεξεργασία του LSTM περιγράφεται από τις ακόλουθες εξισώσεις:

ð6Þ όπου σ και tanh είναι μη γραμμικές συναρτήσεις ενεργοποίησης. Η λογιστική σιγμοειδής συνάρτηση, που ορίζεται ως σ(x)=1/(1+e−x) χρησιμοποιείται ως συνάρτηση ενεργοποίησης πύλης και η υπερβολική συνάρτηση εφαπτομένης,tanh(x)=( ex−e−x)/(ex+e−x), χρησιμοποιείται ως συνάρτηση ενεργοποίησης εισόδου και εξόδου μπλοκ. Ο κατά στοιχείο πολλαπλασιασμός δύο διανυσμάτων συμβολίζεται με �; Το W, R αντιπροσωπεύει τους πίνακες βάρους και το b υποδηλώνει το διάνυσμα πόλωσης, οι οποίες είναι μαθησιακές παράμετροι που ελέγχουν κάθε

Το te.LSTM πιστοποιείται ως μια ισχυρή δομή για το χειρισμό διαδοχικών δεδομένων [59]. Ωστόσο, το τυπικό LSTM συλλαμβάνει μόνο τις προηγούμενες πληροφορίες από την ακολουθία προς την κατεύθυνση προς τα εμπρός. Το BiLSTM εφαρμόστηκε για τη βελτίωση της δομής.

Το BiLSTM είναι ένας τύπος έκδοσης LSTM του αμφίδρομου RNN [47, 62]. Έχει δύο στρώματα LSTM, όπως φαίνεται στο Σχήμα 3Β. Ο ένας επεξεργάζεται τις πληροφορίες προς την εμπρός κατεύθυνση ενώ ένας άλλος τις επεξεργάζεται προς την πίσω κατεύθυνση.

Με την πρόσβαση τόσο στο παρελθόν όσο και στις μελλοντικές πληροφορίες, αυτές οι δομές μπορούν να συλλάβουν πλούσιες πληροφορίες από μια ακολουθία. Ως εκ τούτου, η υπάρχουσα βιβλιογραφία δείχνει ότι το BiLSTM αποδίδει καλύτερα από το τυπικό LSTM στην ταξινόμηση των σημάτων EEG σύμφωνα με κάθε εργασία.

7].Σε αυτή τη μελέτη, το δίκτυο BiLSTM χρησιμοποιήθηκε για την ταξινόμηση πέντε διαφορετικών φωνηέντων φωνηέντων χρησιμοποιώντας σήματα EEG βάσης μίας δοκιμής. Ορίστηκε ένα στρώμα BiLSTM που περιέχει 600 μονάδες LSTM και για να αποφευχθεί η υπερβολική προσαρμογή, ο λόγος εγκατάλειψης στα επίπεδα LSTM ορίστηκε στο 0,3 [68].

Μετά τα επίπεδα LSTM, οι κρυφές καταστάσεις συνενώθηκαν στο πλήρως συνδεδεμένο επίπεδο με μια συνάρτηση ενεργοποίησης softmax, που χρησιμοποιείται για ταξινόμηση πολλαπλών κλάσεων. Η κατηγορική διασταυρούμενη εντροπία υιοθετήθηκε ως η συνάρτηση απώλειας με τον βελτιστοποιητή ADAM [69] και ο αρχικός ρυθμός μάθησης και η μείωση του ρυθμού μάθησης ορίστηκαν σε 1e-3 και 1e-6, αντίστοιχα. Επιπλέον, το μοντέλο εκπαιδεύτηκε με 500 εποχές και μέγεθος παρτίδας 64. Η καμπύλη μάθησης έφτασε σε ένα σταθερό οροπέδιο μέσα σε 500 εποχές.

hs. Αυτές οι υπερπαράμετροι προσαρμόστηκαν για να ταιριάζουν καλύτερα το μοντέλο στα δεδομένα. Μια στρωματοποιημένη 10-διασταυρούμενη επικύρωση (10-CV) χρησιμοποιήθηκε για την αξιολόγηση της απόδοσης του μοντέλου. Η διασταυρούμενη επικύρωση k-fold είναι μια αποτελεσματική μέθοδος για τον έλεγχο του ποσοστού επιτυχίας των μοντέλων που χρησιμοποιούνται για ταξινόμηση και το k=10 θεωρείται γενικά ως η πιο λογική παράμετρος στην εφαρμοσμένη μηχανική μάθηση.

Το μοντέλο υλοποιήθηκε χρησιμοποιώντας τη βιβλιοθήκη Keras [71] με το backend TensorFlow [72] και τη βιβλιοθήκη Scikit-Learn [73] στην Python.

For more information:1950477648nn@gmail.com