Βελτιωμένη εξαγωγή παραμέτρων χαρακτηριστικών από σήματα ομιλίας με χρήση αλγόριθμου μηχανικής εκμάθησης (1)

Αφηρημένη: Η αναγνώριση ομιλίας αναφέρεται στην ικανότητα του λογισμικού ή του υλικού να λαμβάνει ένα σήμα ομιλίας, να αναγνωρίζει τα χαρακτηριστικά του ομιλητή στο σήμα ομιλίας και να αναγνωρίζει τον ομιλητή στη συνέχεια. Γενικά, η διαδικασία αναγνώρισης ομιλίας περιλαμβάνει τρία κύρια στάδια: ακουστική επεξεργασία, εξαγωγή χαρακτηριστικών και ταξινόμηση/αναγνώριση. Ο σκοπός της εξαγωγής χαρακτηριστικών είναι να απεικονίσει ένα σήμα ομιλίας χρησιμοποιώντας έναν προκαθορισμένο αριθμό στοιχείων σήματος. Αυτό οφείλεται στο γεγονός ότι όλες οι πληροφορίες στο ακουστικό σήμα είναι υπερβολικά δυσκίνητος στον χειρισμό και ορισμένες πληροφορίες είναι άσχετες με την εργασία αναγνώρισης. Αυτή η μελέτη προτείνει μια προσέγγιση βασισμένη στη μηχανική μάθηση που εκτελεί εξαγωγή παραμέτρων χαρακτηριστικών από σήματα ομιλίας για τη βελτίωση της απόδοσης των εφαρμογών αναγνώρισης ομιλίας σε περιβάλλοντα έξυπνων πόλεων σε πραγματικό χρόνο. Επιπλέον, η αρχή της αντιστοίχισης ενός μπλοκ κύριας μνήμης στην κρυφή μνήμη χρησιμοποιείται αποτελεσματικά για τη μείωση του χρόνου υπολογισμού. Το μέγεθος του μπλοκ της κρυφής μνήμης είναι μια παράμετρος που επηρεάζει έντονα την απόδοση της κρυφής μνήμης. Ειδικότερα, η υλοποίηση τέτοιων διαδικασιών σε συστήματα πραγματικού χρόνου απαιτεί υψηλή υπολογιστική ταχύτητα. Η ταχύτητα επεξεργασίας παίζει σημαντικό ρόλο στην αναγνώριση ομιλίας σε συστήματα σε πραγματικό χρόνο. Απαιτεί τη χρήση σύγχρονων τεχνολογιών και γρήγορων αλγορίθμων που αυξάνουν την επιτάχυνση στην εξαγωγή των παραμέτρων χαρακτηριστικών από τα σήματα ομιλίας. Τα προβλήματα με το overclocking κατά την ψηφιακή επεξεργασία των σημάτων ομιλίας δεν έχουν ακόμη επιλυθεί πλήρως. Τα πειραματικά αποτελέσματα δείχνουν ότι η προτεινόμενη μέθοδος εξάγει με επιτυχία τα χαρακτηριστικά του σήματος και επιτυγχάνει απρόσκοπτη απόδοση ταξινόμησης σε σύγκριση με άλλους συμβατικούς αλγόριθμους αναγνώρισης ομιλίας.

Cistanche deserticola

Λέξεις-κλειδιά: αναγνώρισης ομιλίας; παράλληλος υπολογισμός? κατανεμημένη υπολογιστική? πολυπύρηνος επεξεργαστής? εξαγωγή χαρακτηριστικών? φασματική ανάλυση

1. Εισαγωγή

Η καθιέρωση προσεγγίσεων επικοινωνίας μεταξύ των ανθρώπων και της τεχνολογίας των υπολογιστών είναι ένα κρίσιμο έργο στη σύγχρονη τεχνητή νοημοσύνη. Μία από τις ευκολότερες μεθόδους για τους χρήστες να εισάγουν πληροφορίες είναι μέσω σημάτων ομιλίας. Ως εκ τούτου, η τεχνολογία επεξεργασίας σήματος ομιλίας και τα εργαλεία της έχουν γίνει απαραίτητο μέρος της κοινωνίας της πληροφορίας. Η αναγνώριση ομιλίας είναι μια ουσιαστική ερευνητική πτυχή της επεξεργασίας του σήματος ομιλίας και μια ζωτικής σημασίας τεχνική αλληλεπίδρασης ανθρώπου-υπολογιστή. Τα σήματα ομιλίας περιέχουν σημασιολογικές, προσωπικές και περιβαλλοντικές πληροφορίες [1]. Η γενική προσέγγιση για την επεξεργασία του σήματος ομιλίας είναι η χρήση βραχυπρόθεσμης ανάλυσης, στην οποία το σήμα χωρίζεται σε χρονικά παράθυρα σταθερού μεγέθους, με την προϋπόθεση ότι οι παράμετροι του σήματος δεν αλλάζουν. Τοποθετείται μια επικάλυψη μεταξύ των παραθύρων για να ληφθεί πιο ακριβής αναπαράσταση σήματος. Σε κάθε παράθυρο εφαρμόζονται αλγόριθμοι εξαγωγής χαρακτηριστικών, όπως φασματική ανάλυση και γραμμική πρόβλεψη. Ωστόσο, αυτές οι διαδικασίες θα πρέπει επίσης να λαμβάνουν υπόψη την ταχύτητα και τον χρόνο.

Τζίνσενγκ της ερήμου

Ο χρονισμός αποτελεί σημαντική ανησυχία σε πολλούς τομείς της επεξεργασίας σήματος σε πραγματικό χρόνο. Η αναλογία ταχύτητας επεξεργασίας μπορεί να αυξηθεί με την αποτελεσματική χρήση των πόρων του επεξεργαστή και την ανάπτυξη νέων και γρήγορων αλγορίθμων για τη μείωση του χρόνου ψηφιακής επεξεργασίας. Ωστόσο, τα προβλήματα υπολογιστών υψηλής απόδοσης δεν έχουν ακόμη επιλυθεί πλήρως [2]. Επιπλέον, έχει σημειωθεί σημαντική πρόοδος στην αυτόματη αναγνώριση ομιλίας με την ανάπτυξη υλικού και λογισμικού επεξεργασίας ψηφιακών σημάτων. Ωστόσο, παρά τις προόδους αυτές, οι μηχανές δεν μπορούν να ανταποκρίνονται στις επιδόσεις των αντίστοιχων ανθρώπινων τύπων όσον αφορά την ακρίβεια και την αναγνώριση ταχύτητας, ιδιαίτερα στην αναγνώριση ομιλίας ανεξάρτητη από ομιλητές. Έτσι, ένας μεγάλος όγκος έρευνας που έχει διεξαχθεί για την αναγνώριση ομιλίας έχει επικεντρωθεί σε προβλήματα αναγνώρισης ομιλίας που είναι ανεξάρτητα από τον ομιλητή, λόγω του ευρέος φάσματος εφαρμογών και των περιορισμών των διαθέσιμων τεχνικών αναγνώρισης ομιλίας [3].

Συνοπτικά, οι κύριες συνεισφορές της μελέτης είναι οι εξής:

Τσάι Cistanche

Κάντε κλικ εδώ για να δείτε τα προϊόντα τσαγιού Cistanche deserticola

【Ζητήστε περισσότερα】 Email:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Η διαδικασία αναγνώρισης ενός ατόμου από σήματα ομιλίας αποτελείται από διάφορα στάδια. Μεταξύ αυτών, ορισμένα βήματα απαιτούν περισσότερο χρόνο υπολογισμού. Αυτή είναι μια φασματική ανάλυση. Μία από τις παραμέτρους που είναι ιδιαίτερα σημαντική στους αλγόριθμους μηχανικής μάθησης είναι ο χρόνος εκπαίδευσης. Σε αυτή την εργασία, διαπιστώσαμε ότι η διαδικασία εξαγωγής χαρακτηριστικών είναι σημαντική για την αναγνώριση των σημάτων ομιλίας. Επιπλέον, χρειάζεται πολύς χρόνος στη μηχανική εκμάθηση. Έχει διαπιστωθεί ότι η διαδικασία της φασματικής ανάλυσης αποτελείται από ανεξάρτητες πράξεις και είναι δυνατή η παραλληλοποίηση.

Πειράματα έδειξαν ότι οι φασματικοί μετασχηματισμοί FFT και DCT δίνουν καλά αποτελέσματα στη φασματική ανάλυση. Η διαδικασία φασματικής ανάλυσης ισχύει για κάθε τμήμα του σήματος ομιλίας. Αυτό μας επιτρέπει να διακρίνουμε ξεκάθαρα αυτά τα χαρακτηριστικά από το σήμα ομιλίας. Με τη βοήθεια των εργαλείων OpenMP και TBB, αναπτύχθηκε ένας παράλληλος αλγόριθμος υπολογισμού που κατέστησε δυνατή την επιτάχυνση των υπολογισμών.

Το μέγεθος του τμήματος είναι σημαντικό κατά τη διαίρεση ενός σήματος ομιλίας σε τμήματα. Κατά τη διάρκεια των πειραμάτων, διαπιστώθηκε ότι το μέγεθος του τμήματος του σήματος ομιλίας εξαρτάται από την κρυφή μνήμη του κεντρικού επεξεργαστή. Συγκεκριμένα, η αντιστοίχιση τμήματος με το μέγεθος της κρυφής μνήμης σε πολυπύρηνους επεξεργαστές έχει βρεθεί ότι έχει θετική επίδραση στην υπολογιστική ταχύτητα στη μηχανική εκμάθηση.

Μια νέα μέθοδος παράλληλης υλοποίησης προτείνεται για φασματικούς μετασχηματισμούς σημάτων για εξαγωγή παραμέτρων χαρακτηριστικών από σήματα ομιλίας χρησιμοποιώντας έναν αλγόριθμο μηχανικής εκμάθησης σε επεξεργαστές πολλαπλών πυρήνων που χρησιμοποιούν TBB και OpenMP.

Διαπιστώθηκε επίσης ότι η αποτελεσματική χρήση της αρχής της αντιστοίχισης του κύριου μπλοκ μνήμης στην κρυφή μνήμη και το μέγεθος του μπλοκ μνήμης κρυφής μνήμης μπορεί να αυξήσει την ταχύτητα επεξεργασίας.

Συμπλήρωμα Cistanche κοντά μου-Βελτίωση της μνήμης

Το υπόλοιπο αυτού του εγγράφου οργανώνεται ως εξής. Η ενότητα 2 εξετάζει τις υπάρχουσες μελέτες για την εξαγωγή συγκεκριμένων ιδιοτήτων σήματος ομιλίας. Η ενότητα 3 περιγράφει τα βήματα εξαγωγής χαρακτηριστικών με πειράματα. Η ενότητα 4 παρουσιάζει τον προτεινόμενο υπολογιστικό αλγόριθμο υψηλής απόδοσης για την εξαγωγή των παραμέτρων χαρακτηριστικών από σήματα ομιλίας λεπτομερώς. Τα πειραματικά αποτελέσματα που βασίζονται στην εφαρμογή μας συζητούνται στην Ενότητα 5. Η Ενότητα 6 επισημαίνει τους περιορισμούς της προτεινόμενης μεθόδου. Τέλος, η Ενότητα 7 ολοκληρώνει τη μελέτη συνοψίζοντας τα ευρήματα και σημειώνοντας τις μελλοντικές ερευνητικές κατευθύνσεις.

2. Σχετικές εργασίες

Νέες μέθοδοι, αλγόριθμοι και πιο σύγχρονες εφαρμογές αναπτύσσονται επί του παρόντος και βελτιώνονται για την τμηματοποίηση των σημάτων ομιλίας και τον υπολογισμό των παραμετρικών δεικτών επιλεγμένων θραυσμάτων, δημιουργώντας έτσι ένα φασματόγραμμα σημάτων ομιλίας χρησιμοποιώντας φασματική ανάλυση [4-7]. Η αναγνώριση ομιλητών με διαφοροποιημένα φωνητικά κλιπ σε όλο τον κόσμο είναι μια κρίσιμη και προκλητική εργασία, ειδικά για την εξαγωγή δυνατών και διακριτικών χαρακτηριστικών [8]. Ένα νέο σύστημα Mel Frequency Cepstral Coefficients (MFCC) διαθέτει σύστημα εξαγωγής που είναι ταχύτερο και πιο ενεργειακά αποδοτικό από την παραδοσιακή υλοποίηση MFCC προτάθηκε από τους Korkmaz et al. [9]. Αντί να χρησιμοποιήσουν ένα φίλτρο προέντασης υψηλής διέλευσης, χρησιμοποίησαν ένα φίλτρο χαμηλής διέλευσης. Εφάρμοσαν ένα bandpass φίλτρο με ένα high-pass φίλτρο, επειδή απαιτείται προ-έμφαση για την ενίσχυση της ενέργειας του σήματος στις υψηλές συχνότητες. Στην προηγούμενη εργασία μας [10], παρουσιάσαμε μια νέα μέθοδο που βασίζεται στο MFCC για την αναγνώριση των ηχείων. Αντί να χρησιμοποιούμε συμβατικά MFCC, χρησιμοποιούμε pixel από το φασματόγραμμα Mel ως σύνολο χαρακτηριστικών μας. Το φασματόγραμμα μετασχηματίστηκε σε πίνακα 2-D για τη δημιουργία ενός νέου συνόλου δεδομένων. Για τον προσδιορισμό του ομιλητή, εφαρμόστηκαν στην πράξη αρκετοί αλγόριθμοι εκμάθησης με μια τεχνική 10-διασταυρούμενης επικύρωσης. Με τη βοήθεια ενός πολυστρωματικού perceptron (MLP) με λειτουργία ενεργοποίησης tanh, επιτεύχθηκε η καλύτερη ακρίβεια 90,2%.

Η εξαγωγή χαρακτηριστικών επιτυγχάνεται αλλάζοντας την κυματομορφή ομιλίας σε μια μορφή παραμετρικής αναπαράστασης με σχετικά μικρότερο ρυθμό δεδομένων για επακόλουθη επεξεργασία και ανάλυση [11-14]. Οι προσεγγίσεις εξαγωγής χαρακτηριστικών συνήθως αποδίδουν ένα πολυδιάστατο διάνυσμα χαρακτηριστικών για κάθε σήμα ομιλίας. Η εξαγωγή χαρακτηριστικών είναι το πιο σχετικό τμήμα της αναγνώρισης ηχείων. Τα χαρακτηριστικά του λόγου παίζουν ζωτικό ρόλο στον διαχωρισμό ενός ομιλητή από τους άλλους. Η εξαγωγή χαρακτηριστικών μειώνει το μέγεθος του σήματος ομιλίας, χωρίς να προκαλεί βλάβη στην ισχύ του σήματος ομιλίας [15–17]. Στο [18], οι συγγραφείς εισήγαγαν μια νέα προσέγγιση που εκμεταλλεύεται τη λεπτομέρεια των παραμέτρων μεγέθους και μετατόπισης του παραθύρου φασματικής ανάλυσης που χρησιμοποιείται για τον υπολογισμό του αρχικού μετασχηματισμού Fourier βραχείας διάρκειας για τη βελτίωση της απόδοσης μιας αυτόματης αναγνώρισης ομιλίας που εξαρτάται από ομιλητή σύστημα (ASR). Ελλείψει γιατρών, οι απλοί άνθρωποι μπορούν να χρησιμοποιήσουν συστήματα βοήθειας λήψης αποφάσεων που δημιουργήθηκαν χρησιμοποιώντας προσεγγίσεις τεχνητής νοημοσύνης. Η πρώιμη και μη επεμβατική ανίχνευση της κατάστασης της καρδιάς μπορεί να επιτευχθεί χρησιμοποιώντας σήματα φωνοκαρδιογραφήματος (PCG) [19-21].

Τα συνελικτικά νευρωνικά δίκτυα (CNN) έχουν αποδειχθεί ότι προσομοιώνουν επιτυχώς τη δομική τοποθεσία στον χώρο χαρακτηριστικών καθώς και ότι χρησιμοποιούν συγκέντρωση σε μια περιοχή μεροληπτικής συχνότητας για να μειώσουν τη μεταφραστική διακύμανση και να προσαρμόσουν τις διαταραχές και τις μικρές αλλαγές στο χώρο χαρακτηριστικών [22]. Mukhamadiev et al. πρότεινε ένα από άκρο σε άκρο βαθύ νευρωνικό δίκτυο, κρυφό μοντέλο αναγνώρισης ομιλίας Markov και ένα υβριδικό συνδετικό δίκτυο χρονικής ταξινόμησης (CTC) - προσοχής για την ουζμπεκική γλώσσα και τις διαλέκτους της. Η προτεινόμενη προσέγγιση μειώνει τον χρόνο προπόνησης και βελτιώνει την ακρίβεια της αναγνώρισης ομιλίας χρησιμοποιώντας αποτελεσματικά τη συνάρτηση αντικειμενικού CTC στην εκπαίδευση του μοντέλου προσοχής [23]. Η εξαγωγή και η ταξινόμηση χαρακτηριστικών χρησιμοποιώντας ένα μοντέλο μονοδιάστατου συνελικτικού νευρικού δικτύου (CNN), το οποίο διαιρεί τα σήματα του καρδιακού ήχου σε φυσιολογικά και μη φυσιολογικά, άμεσα ανεξάρτητα από ένα ηλεκτροκαρδιογράφημα (ΗΚΓ), προτάθηκε στο [24]. Ισχυρίζονται ότι η ακρίβεια ταξινόμησης είναι υψηλότερη στο 1D CNN παρά στο 2D CNN για τα σήματα καρδιακού ήχου που χρησιμοποιούνται σε αυτή τη μελέτη όταν ο πυρήνας συνέλιξης είναι μικρότερος από 52, επειδή ένας μεγάλος πυρήνας συνέλιξης μπορεί να οδηγήσει σε υπολογιστική πολυπλοκότητα και είναι ολοένα και πιο χρονοβόρος . Στο [25], ένα βαθύ νευρωνικό δίκτυο εκπαιδεύτηκε για να μεγιστοποιήσει την οπίσθια ακρίβεια των ακολουθιών καταστάσεων ακουστικών μοντέλων σχετικά με τις ακολουθίες χαρακτηριστικών ομιλίας χρησιμοποιώντας τη βάση δεδομένων TIMIT (TIMIT Acoustic-Phonetic Continuous Speech Corpus).

3. Προεπεξεργασία: Επισκόπηση υλικού

Συμπλήρωμα Cistanche κοντά μου-Βελτίωση της μνήμης

Για το σκοπό αυτό, είναι απαραίτητη η ανάπτυξη ταχέων αλγορίθμων για την εξαγωγή παραμέτρων χαρακτηριστικών από σήματα ομιλίας και παραμετρικές αναπαραστάσεις, η εξαγωγή χρήσιμων και ενημερωτικών δειγμάτων για επεξεργασία και η ανάπτυξη προγραμμάτων για την υλοποίηση φασματογραμμάτων επιλεγμένων ακουστικών τμημάτων.

Τα συστήματα αναγνώρισης ομιλίας αποτελούνται από δύο κύρια υποσυστήματα:

Η πρωτογενής επεξεργασία των σημάτων ομιλίας (φωνογράφημα).

Ταξινόμηση ακουστικών συμβόλων με χρήση ευφυούς αλγόριθμου (φασματόγραμμα).

Το πρώτο υποσύστημα δημιουργεί ακουστικά σύμβολα ως ένα σύνολο πληροφοριακών ακουστικών ιδιοτήτων των σημάτων και των χαρακτηριστικών του σήματος. Το δεύτερο υποσύστημα μετατρέπει το σήμα ομιλίας σε παραμετρική μορφή με βάση τα λαμβανόμενα ακουστικά χαρακτηριστικά. Η επεξεργασία του σήματος ομιλίας αποτελείται από τα ακόλουθα στάδια:

Διαχωρισμός των ορίων του σήματος ομιλίας.

Ψηφιακό φιλτράρισμα;

Κατάτμηση;

Εφαρμογή ενός παραθύρου εξομάλυνσης.

Φασματικός μετασχηματισμός και κανονικοποίηση φασματικών συχνοτήτων.

Αυτά τα βήματα χρησιμοποιούνται εκτενώς για την εξαγωγή παραμέτρων χαρακτηριστικών από σήματα ομιλίας και τα κύρια χαρακτηριστικά τους εξετάζονται παρακάτω.

3.1. Διαχωρισμός Ορίων

Η εξαγωγή μόνο τμημάτων της ομιλίας από το εισερχόμενο σήμα ή ο προσδιορισμός των στιγμών έναρξης και λήξης μιας πρότασης σε ένα θορυβώδες περιβάλλον είναι μια ουσιαστική εργασία στην επεξεργασία ομιλίας. Οι ακόλουθες ιδιότητες του σήματος ομιλίας χρησιμοποιούνται για την επίλυση αυτού του προβλήματος: η βραχυπρόθεσμη ενέργεια του σήματος ομιλίας, ο αριθμός των σημείων που τέμνονται στο μηδέν, η πυκνότητα της κατανομής των τιμών του πεδίου σιωπής εντός του σήματος και η φασματική εντροπία. Τα παραδοσιακά συστήματα αναγνώρισης ομιλίας χρησιμοποιούν τεχνικές που βασίζονται στις παροδικές και φασματικές ενέργειες ενός σήματος (π.χ. ανίχνευση φωνητικής δραστηριότητας) για τον προσδιορισμό των ορίων ομιλίας από τα εισερχόμενα σήματα ομιλίας [26-28].

Οι κύριες παράμετροι του σήματος ομιλίας είναι η βραχυπρόθεσμη ενέργεια του σήματος ομιλίας και ο αριθμός των σημείων που διέρχονται από το μηδέν. Κατά κανόνα, οι παράμετροι ενός σήματος ομιλίας αλλάζουν γρήγορα με την πάροδο του χρόνου. Ως εκ τούτου, είναι σύνηθες να επεξεργάζεται ένα σήμα ομιλίας σε θραύσματα μήκους 10 έως 30 ms που δεν επικαλύπτονται. Το σήμα ομιλίας είναι ακίνητο εντός αυτού του εύρους και οι περιοχές σιωπής στο σήμα ομιλίας αφαιρούνται με τον υπολογισμό της μεταβατικής ενέργειας. Ο αλγόριθμος για την επίλυση αυτού του προβλήματος χωρίζεται σε Ν ακολουθίες των 256 βραχυπρόθεσμων ενεργειακών τιμών του επόμενου σήματος ομιλίας.

Ο υπολογισμός της ενέργειας κάθε θραύσματος με διαίρεση του σήματος ομιλίας είναι κατάλληλος για παράλληλους και κατανεμημένους υπολογισμούς. Κάθε θραύσμα επεξεργάζεται ανεξάρτητα. Εάν η επεξεργασία εφαρμόζεται σε έναν πολυεπεξεργαστή n-core, θα είναι δυνατός ο υπολογισμός της ενέργειας n θραυσμάτων ταυτόχρονα. Ως εκ τούτου, είναι δυνατό να αυξηθεί η απόδοση της παράλληλης επεξεργασίας σε αυτό το στάδιο [29-32].

3.2. Αριθμός Μηδενικών Διασταυρώσεων

Η διασταύρωση του μηδενός είναι ένα σημείο στο οποίο το πρόσημο μιας μαθηματικής συνάρτησης αλλάζει (π.χ. από θετικό σε αρνητικό), το οποίο αντιπροσωπεύεται από μια τομή του άξονα (μηδενική τιμή) στο γράφημα της συνάρτησης [33]. Η συχνότητα μηδενικής διέλευσης σε ένα σήμα μπορεί να είναι ο πιο απλός δείκτης των φασματικών ιδιοτήτων του. Για παράδειγμα, ο αριθμός των σημείων που διέρχονται από το μηδέν σε ένα σήμα ομιλίας μπορεί να προσδιοριστεί χρησιμοποιώντας την ακόλουθη εξίσωση:

Εικόνα 1. Μέθοδος διαχωρισμού ομιλίας με βάση την ανάλυση φασματικής εντροπίας.

3.3. Ψηφιακό φιλτράρισμα

Εκτός από ένα τυπικό, χρήσιμο σήμα, υπάρχουν διάφοροι τύποι θορύβου. Καθώς ο θόρυβος επηρεάζει αρνητικά την ποιότητα των συστημάτων αναγνώρισης ομιλίας, η αντιμετώπιση του θορύβου είναι ένα πιεστικό ζήτημα. Δύο τύποι ψηφιακών φίλτρων χρησιμοποιούνται για τη μείωση των επιπέδων θορύβου στο σύστημα: ένα φίλτρο γραμμής και ένα αρχικό φίλτρο. Ένα γραμμικό φίλτρο μπορεί να θεωρηθεί ένας συνδυασμός φίλτρων χαμηλής και υψηλής συχνότητας καθώς συλλαμβάνει όλες τις χαμηλές και υψηλές συχνότητες. Το αρχικό φιλτράρισμα εφαρμόζεται για να ελαχιστοποιηθεί ο αντίκτυπος των τοπικών διαταραχών στις χαρακτηριστικές σημάνσεις που χρησιμοποιούνται για την επακόλουθη αναγνώριση. Ένα σήμα ομιλίας πρέπει να περάσει μέσα από ένα χαμηλοπερατό φίλτρο για φασματική ευθυγράμμιση [35].

3.4. Κατάτμηση

Η τμηματοποίηση είναι η διαδικασία διαίρεσης ενός σήματος ομιλίας σε διακριτά, μη επικαλυπτόμενα τμήματα. Το σήμα συνήθως χωρίζεται σε μονάδες ομιλίας όπως προτάσεις, λέξεις, συλλαβές, φωνήματα ή ακόμα και μικρότερες φωνητικές μονάδες. Η κατάτμηση των ηχογραφήσεων που περιέχουν τις εκφωνήσεις πολλών ομιλητών μπορεί να συνίσταται στην απόδοση τμημάτων εκφωνήσεων σε συγκεκριμένους ομιλητές. Ο όρος «σταθμοί τμήματος» χρησιμοποιείται μερικές φορές για να αναφέρεται σε μια διαίρεση του σήματος ομιλίας σε πλαίσια πριν από την παραμετροποίησή του [36,37].

3.5. Φασματικός Μετασχηματισμός

Είναι απαραίτητο να διακρίνουμε τα κύρια χαρακτηριστικά των σημάτων ομιλίας που χρησιμοποιούνται στα μεταγενέστερα στάδια της διαδικασίας αναγνώρισης ομιλίας. Τα αρχικά χαρακτηριστικά καθορίζονται με την ανάλυση των φασματικών ιδιοτήτων των σημάτων ομιλίας. Ο αλγόριθμος γρήγορου μετασχηματισμού Fourier χρησιμοποιείται συνήθως για τη λήψη της φασματικής συχνότητας ενός σήματος ομιλίας [38,39].

3.6. Κανονικοποίηση Φασματικών Συχνοτήτων

Ολόκληρη η υπολογιστική διαδικασία σε ευφυείς αλγόριθμους βασίζεται σε κινούμενους δεκαδικούς αριθμούς. Επομένως, οι παράμετροι των αντικειμένων που ταξινομούνται χρησιμοποιώντας νευρωνικά δίκτυα περιορίζονται στο εύρος [{{0}}.0, 1.0]. Το προκύπτον φάσμα κανονικοποιείται μεταξύ 0 και 1 για να εφαρμοστεί φασματική επεξεργασία χρησιμοποιώντας το νευρωνικό δίκτυο. Για να επιτευχθεί αυτό, κάθε διανυσματικό στοιχείο χωρίζεται στις μέγιστες συνιστώσες του.

Οι μέθοδοι φασματικής επεξεργασίας επιτρέπουν τη χρήση όλων των δειγμάτων δεδομένων που λαμβάνονται από το σήμα ομιλίας. Πολλά σήματα ομιλίας έχουν συγκεκριμένη δομή συχνότητας και φασματικές ιδιότητες. Οι φασματικές μέθοδοι παρέχουν επεξεργασία υψηλής ακρίβειας των σημάτων ομιλίας. Τα μειονεκτήματα της φασματικής επεξεργασίας περιλαμβάνουν χαμηλή ευελιξία στα τοπικά χαρακτηριστικά των σημάτων, έλλειψη φασματικών διαστάσεων και σχετικά υψηλό υπολογιστικό κόστος.

Ο μετασχηματισμός Fourier, η ανάλυση wavelet και πολλοί άλλοι αλγόριθμοι χρησιμοποιούνται εκτενώς στη φασματική επεξεργασία των σημάτων ομιλίας. Ο μετασχηματισμός Fourier χρησιμοποιείται σε πολλούς τομείς της επιστήμης, συμπεριλαμβανομένης της επεξεργασίας ομιλίας. Στην επεξεργασία του σήματος ομιλίας, ο μετασχηματισμός Fourier μετατρέπει το σήμα από το πεδίο χρόνου στο φασματικό πεδίο ως συνιστώσα συχνότητας [40].

Σε προηγούμενες μελέτες, ο διακριτός μετασχηματισμός Fourier (DFT), ο διακριτός μετασχηματισμός συνημιτόνου (DCT), ο βραχυπρόθεσμος μετασχηματισμός Fourier και ο μετασχηματισμός κυματιδίων εφαρμόστηκαν για φασματική ανάλυση. Αυτές οι μέθοδοι χρησιμοποιήθηκαν για τη μετατροπή θραυσμάτων ενός σήματος ομιλίας στον τομέα συχνότητας και τον υπολογισμό του φάσματος. Τα πακέτα TBB και OpenMP χρησιμοποιήθηκαν για τη δημιουργία παράλληλων αλγορίθμων για φασματικούς μετασχηματισμούς. Σε αυτές τις μεθόδους, η εντολή χωρίζει το σήμα σε πλαίσια. για παράδειγμα, N=16, 32, … ή 4096 για κάθε πλαίσιο [4]. Το μέγεθος κάθε πλαισίου που δημιουργείται είναι ίσο με το μέγεθος του μπλοκ της κρυφής μνήμης επειδή η κρυφή μνήμη είναι ένας παράγοντας που επηρεάζει την αποτελεσματικότητα της παράλληλης επεξεργασίας. Τα αποτελέσματα της επιτάχυνσης απεικονίζονται στο Σχήμα 2.

Εικόνα 2. Αποτελέσματα επιτάχυνσης για (α) επεξεργαστές τεσσάρων και (β) οκτώ πυρήνων.

Για την εφαρμογή λογισμικού των αλγορίθμων παράλληλης επεξεργασίας, πραγματοποιήθηκε σειριακή και παράλληλη επεξεργασία σε επεξεργαστές τεσσάρων και οκτώ πυρήνων, οι οποίοι εφαρμόστηκαν με χρήση προσωπικών υπολογιστών και διακομιστών, όπως αναφέρονται στον Πίνακα 1.

Πίνακας 1. Χαρακτηριστικά επεξεργαστών Intel.

Το κύριο χαρακτηριστικό του αλγορίθμου DCT είναι η περιοδικότητα. Ένα πλεονέκτημα του DCT είναι ότι τείνει να συγκεντρώνει το μεγαλύτερο μέρος της ενέργειας του σήματος σε έναν μικρό αριθμό παραγόντων. Οι ακόλουθες εξισώσεις παρέχουν τα στοιχεία του πίνακα συντελεστών:

όπου L(k) είναι η τιμή του DCT, k είναι ένας δείκτης συντελεστών, x(n) αντιπροσωπεύει στοιχεία δεδομένων και N είναι το μέγεθος του πλαισίου.

Οι παράμετροι ανάλυσης Fourier αποτελούν τη βάση των μεθόδων που χρησιμοποιούνται για τη δημιουργία διανυσμάτων χαρακτηριστικών στα περισσότερα συστήματα αναγνώρισης ομιλίας στην ψηφιακή επεξεργασία των σημάτων ομιλίας εντός του φασματικού τομέα. Οι εγκεφαλικοί συντελεστές συχνότητας Mel (MFCCs) [41] και οι τεχνικές γραμμικής προγνωστικής κωδικοποίησης (LPC) [42,43] χρησιμοποιούνται στην ανάλυση Fourier για τη δημιουργία εικόνων φασματογράμματος από σήματα ομιλίας. Τα φάσματα που λαμβάνονται χρησιμοποιώντας την ανάλυση Fourier παρέχουν συνοπτικές και ακριβείς πληροφορίες σχετικά με ένα σήμα ομιλίας, όπως απεικονίζεται στο Σχήμα 3.

Εικόνα 3. DFT: (α) αλλαγή στο εύρος συχνοτήτων εντός του πεδίου χρόνου και (β) φασματογράφημα.

Στα πειράματα χρησιμοποιήθηκαν δισδιάστατα (2D) σήματα για φασματική ανάλυση. Τα χαρακτηριστικά δισδιάστατης φασματικής ανάλυσης που χρησιμοποιούνται σε αλγόριθμους παράλληλης επεξεργασίας εικόνας είναι κατάλληλα για παράλληλη επεξεργασία σε επεξεργαστές πολλαπλών πυρήνων [38]. Συγκεκριμένα, τα διανύσματα και οι πίνακες μετασχηματισμού προς τα εμπρός και αντίστροφα έχουν δυαδικές διαστάσεις και η συμβατότητα αυτής της αρχιτεκτονικής πολυπύρηνων επεξεργαστών μπορεί να αυξήσει αποτελεσματικά την υπολογιστική ταχύτητα. Επομένως, εφαρμόσαμε διαδοχική και παράλληλη επεξεργασία σε υπολογιστή με διαφορετικά χαρακτηριστικά επεξεργαστή για την υλοποίηση υλικού των αλγορίθμων που χρησιμοποιήθηκαν για την επεξεργασία σημάτων 2D (Πίνακας 2).

Πίνακας 2. Χαρακτηριστικά εφαρμογής επεξεργαστών Intel.

Ολόκληρο το σήμα 2D χωρίστηκε σε πανομοιότυπα θραύσματα διαφορετικών μεγεθών σε κάθε στάδιο [44]. Οι τιμές των επιλεγμένων θραυσμάτων ήταν μεταξύ αναλύσεων pixel 16 × 16 και 1024 × 1024. Η ταχύτητα του παράλληλου αλγορίθμου DCT χρησιμοποιώντας το πακέτο OpenMP σε σύγκριση με αυτή του διαδοχικού αλγορίθμου παρουσιάζεται στο Σχήμα 4. Η χρήση μιας παράλληλης φασματικής ανάλυσης 2D Ο αλγόριθμος σε επεξεργαστές πολλαπλών πυρήνων αποδίδει ένα αποτέλεσμα overclocking που είναι κοντά στον αριθμό των πυρήνων.

Εικόνα 4. Αποτελέσματα επιτάχυνσης για δισδιάστατη παράλληλη φασματική ανάλυση.