Microsoft Word - Βαθιά Μάθηση Vs Παραδοσιακό Μοντέλα_Abdel Hai_Final.Part 2

Για την προετοιμασία των δεδομένων για μοντέλα μηχανικής εκμάθησης πραγματοποιήθηκαν οι ακόλουθες τεχνικές προεπεξεργασίας δεδομένων.

Τα δεδομένα και η μνήμη συνδέονται στενά. Στη σύγχρονη κοινωνία, λαμβάνουμε μεγάλο όγκο πληροφοριών και δεδομένων καθημερινά, συμπεριλαμβανομένων κειμένου, εικόνων, βίντεο κ.λπ. Ο τρόπος αποτελεσματικής επεξεργασίας και οργάνωσης αυτών των δεδομένων απαιτεί να έχουμε ισχυρή μνήμη.

Από τη μια πλευρά, τα δεδομένα μπορούν να μας παρέχουν υποστήριξη μνήμης. Για παράδειγμα, όταν μαθαίνουμε νέα γνώση, μπορούμε να κατανοήσουμε και να κυριαρχήσουμε τα σημεία γνώσης γρηγορότερα και καλύτερα απομνημονεύοντας σχετικά δεδομένα και γεγονότα. Αυτό το είδος μεθόδου μάθησης μπορεί να μας βοηθήσει να χτίσουμε μια ισχυρή μνήμη και να διατηρήσουμε την ικανότητα ελέγχου της γνώσης για μεγάλο χρονικό διάστημα.

Από την άλλη πλευρά, τα δεδομένα μπορούν επίσης να μας βοηθήσουν να εκπαιδεύσουμε και να βελτιώσουμε τη μνήμη. Μέσω διαφόρων μεθόδων εκπαίδευσης μνήμης, μπορούμε να χρησιμοποιήσουμε ευέλικτα δεδομένα για να πραγματοποιήσουμε εκπαίδευση μνήμης, να ενισχύσουμε την ικανότητα μνήμης μας σε κάποιο βαθμό και έτσι να προσαρμοστούμε καλύτερα στην ανάπτυξη της κοινωνίας και στις ανάγκες της εργασίας και της ζωής.

Μπορεί να φανεί ότι η σχέση μεταξύ δεδομένων και μνήμης είναι πολύ στενή και σημαντική. Μόνο με την ενεργή και αποτελεσματική επεξεργασία και χρήση δεδομένων μπορούμε να αξιοποιήσουμε καλύτερα τις δυνατότητες μνήμης μας και να επιτύχουμε καλύτερα αποτελέσματα. Επομένως, θα πρέπει να αντιμετωπίζουμε ενεργά τη σχέση μεταξύ δεδομένων και μνήμης, να κάνουμε σχετική εκπαίδευση και εφαρμογές και να βελτιώνουμε συνεχώς τις ικανότητές μας. Μπορεί να φανεί ότι πρέπει να βελτιώσουμε τη μνήμη και το Cistanche deserticola μπορεί να βελτιώσει σημαντικά τη μνήμη, επειδή το Cistanche deserticola μπορεί επίσης να ρυθμίσει την ισορροπία των νευροδιαβιβαστών, όπως η αύξηση των επιπέδων ακετυλοχολίνης και αυξητικών παραγόντων. Αυτές οι ουσίες είναι πολύ σημαντικές για τη μνήμη και τη μάθηση. Επιπλέον, το κρέας μπορεί επίσης να βελτιώσει τη ροή του αίματος και να προωθήσει την παροχή οξυγόνου, η οποία μπορεί να εξασφαλίσει ότι ο εγκέφαλος λαμβάνει επαρκή θρεπτικά συστατικά και ενέργεια, βελτιώνοντας έτσι τη ζωτικότητα και την αντοχή του εγκεφάλου.

Κάντε κλικ στο Μάθετε τρόπους για να βελτιώσετε τη λειτουργία του εγκεφάλου

Τα κατηγορηματικά χαρακτηριστικά ήταν ένα καυτό κωδικοποιημένο. Τα συνεχή και διακριτά χαρακτηριστικά κανονικοποιήθηκαν χρησιμοποιώντας τεχνικές ελάχιστης μέγιστης κανονικοποίησης,32 που ορίζονται ως:

Υπήρχαν διαφορετικοί αριθμοί ηχογραφήσεων σε κάθε συνάντηση για καθεμία από τις ακόλουθες λειτουργίες. Έτσι, αντ' αυτού υπολογίστηκαν οι ακόλουθες στατιστικές τιμές. Για τη διαστολική και συστολική αρτηριακή πίεση, υπολογίσαμε τις ελάχιστες, μέγιστες και μέσες τιμές.

Για τον ΔΜΣ χρησιμοποιήθηκαν ελάχιστος, μέγιστος, μέσος όρος και συντελεστής διακύμανσης. Αυτές οι στατιστικές τιμές κανονικοποιήθηκαν και χρησιμοποιήθηκαν ως χαρακτηριστικά. Επιπλέον, ο αριθμός των χαρακτηριστικών διέφερε κατά τις συναντήσεις λόγω του διαφορετικού αριθμού εργαστηριακών εξετάσεων, διαγνώσεων και διαδικασιών. Μια συνάντηση θα μπορούσε να έχει πολλαπλές διαγνώσεις και/ή κωδικούς διαδικασίας ή καμία.

Για να διορθωθεί αυτό και να ενοποιηθεί η διάσταση των διανυσμάτων χαρακτηριστικών, χρησιμοποιήθηκαν οι ακόλουθες τεχνικές αναπαράστασης δεδομένων για τη βελτίωση της εκμάθησης των μοντέλων. Για τους κωδικούς διάγνωσης και διαδικασίας, χρησιμοποιήσαμε την αναπαράσταση κωδικοποιήσεων μίας δέσμης, όπου κάθε τιμή ορίστηκε σε 0 ή 1, υποδεικνύοντας εάν υπήρχε ή όχι κωδικός διάγνωσης/διαδικασίας για κάθε συνάντηση. Τροποποιήσαμε ελαφρώς αυτήν την τεχνική αναπαράστασης δεδομένων για εργαστηριακές δοκιμές, επειδή κάθε δοκιμή είχε ένα σχετικό αποτέλεσμα.

Ως εκ τούτου, αντικαταστήσαμε το 1, το οποίο έδειξε ότι υπάρχει κωδικός, με το εργαστηριακό αποτέλεσμα. Τα εργαστηριακά αποτελέσματα κανονικοποιήθηκαν χρησιμοποιώντας την Εξίσωση 1. Επειδή τα αποτελέσματα ήταν διαφορετικών μονάδων και μετρήσεων, κατά την κανονικοποίηση των εργαστηριακών αποτελεσμάτων, εξετάσαμε το ελάχιστο και το μέγιστο για κάθε κωδικό εργαστηρίου ξεχωριστά. Αυτή η τεχνική δημιούργησε έναν αραιό πίνακα υψηλών διαστάσεων λόγω των πολλών μοναδικών κωδικών.
Στη συνέχεια, χρησιμοποιήσαμε τον αλγόριθμο Singular Value Decomposition (SVD) για να μάθουμε μια ενσωμάτωση και μειωμένη διάσταση. Το SVD χρησιμοποιήθηκε επειδή δεν υποθέτει τετράγωνο πίνακα ως είσοδο και είναι καλύτερο για αραιά δεδομένα.33 Οι εργαστηριακές δοκιμές μειώθηκαν σε 50 στοιχεία, διαδικασία Οι κωδικοί μειώθηκαν σε 45 στοιχεία και οι κωδικοί διάγνωσης μειώθηκαν σε 25 στοιχεία.

Διερευνήθηκαν διαφορετικά στοιχεία και παρατηρήθηκε ο λόγος αθροίσματος διακύμανσης για να προσδιοριστεί ο βέλτιστος αριθμός συστατικών για τη μείωση της διαστάσεων. Όλα τα χαρακτηριστικά συνενώθηκαν σε ένα διάνυσμα χαρακτηριστικών για κάθε συνάντηση. Το SVD εφαρμόστηκε σε κάθε συνάντηση ξεχωριστά για μείωση και ενοποίηση διαστάσεων. η διάσταση των συναντήσεων μειώθηκε σε 50 χαρακτηριστικά ανά συνάντηση.

Στη συνέχεια, συνδέσαμε όλες τις συναντήσεις για έναν δεδομένο ασθενή σε ένα διάνυσμα χαρακτηριστικών που ταξινομήθηκαν διαδοχικά κατά την ημερομηνία εισαγωγής. Η κατανομή στην κατηγορία ήταν 27.511 ασθενείς χωρίς επανεισδοχή (αρνητική κατηγορία) και 9.130 ασθενείς που εισήχθησαν ξανά (θετική τάξη).

Πειραματικές Προσεγγίσεις

Πραγματοποιήσαμε εκτεταμένα πειράματα χρησιμοποιώντας τα δεδομένα EHR για να αντιμετωπίσουμε τους ακόλουθους στόχους:

- Προβλέψτε εάν οι ασθενείς με διαβήτη θα εισαχθούν ξανά εντός 30 ημερών

- Συγκρίνετε την απόδοση των χρησιμοποιούμενων μεθόδων DL με πολλά παραδοσιακά μοντέλα

- Αναλύστε πόσες προηγούμενες συναντήσεις (δηλ. ιστορικά δεδομένα) μέσα σε 2 χρόνια είναι βέλτιστες για την πρόβλεψη της επανεισδοχής

- Αξιολογήστε τα αποτελέσματα της ενσωμάτωσης όλων των εργαστηριακών δοκιμών στα δεδομένα έναντι της μάθησης από ένα υποσύνολο δοκιμών που έχει επιλεγεί από έναν ειδικό τομέα

Σε αυτή τη μελέτη, τα μοντέλα DL λαμβάνουν ως είσοδο έναν 3-3-τανυστή διαστάσεων � x � x � για να αναπαραστήσουν f χαρακτηριστικά για κάθε μία από τις συναντήσεις για p ασθενείς. Αντίθετα, στα παραδοσιακά μοντέλα, τα δεδομένα αντιπροσωπεύονται τυπικά ως 2-διάστατος πίνακας διαστάσεων, με όλα τα χαρακτηριστικά όλων των συναντήσεων να αντιστοιχούν σε μεμονωμένο ασθενή συνενωμένα σε ένα διάνυσμα μακρών χαρακτηριστικών.

Η διάσταση κάθε συνάντησης μειώθηκε και ενοποιήθηκε σε 50 χαρακτηριστικά, επομένως, σε ένα βαθύ μοντέλο το � είναι μεγέθους 50. Στο παραδοσιακό μοντέλο το διάνυσμα χαρακτηριστικών αποτελείται από όλες τις συναντήσεις και επομένως είναι μεγέθους � x 50.

Οι ασθενείς έχουν διαφορετικούς αριθμούς συναντήσεων με αποτέλεσμα μη ομοιόμορφες διαστάσεις. Ως εκ τούτου, τα διανύσματα χαρακτηριστικών γεμίστηκαν με 0 για να επιτευχθεί μια ενοποιημένη μορφή. Η αναπαράσταση δεδομένων που χρησιμοποιείται ως είσοδος για DL και παραδοσιακά μοντέλα απεικονίζεται στο αριστερό και δεξιό πλαίσιο του Σχήματος 1, αντίστοιχα.
Για να μοντελοποιήσουμε ετερογενή διαδοχικά δεδομένα, αναπτύξαμε 2 παραλλαγές μοντέλων DL και συγκρίναμε και τα δύο έναντι πολλών παραδοσιακών μοντέλων που χρησιμοποιούνται ως βασικές γραμμές. Τα μοντέλα DL που χρησιμοποιήθηκαν στη μελέτη μας ήταν: 1) 1-δίκτυα μακράς βραχυπρόθεσμης μνήμης (LSTM), τα οποία είναι μια παραλλαγή του Επαναλαμβανόμενου Νευρωνικού Δικτύου (RNN) που είναι ικανό να μαθαίνει μη διαδοχικά δεδομένα εξάρτησης σειράς32. και 2) Αμφίδρομη πυλωτή επαναλαμβανόμενη μονάδα (GRU), η οποία είναι μια άλλη παραλλαγή του RNN.

Τα παραδοσιακά μοντέλα που χρησιμοποιήθηκαν ως βασικές γραμμές ήταν: 1) Random Forest (RF), μια μέθοδος συνόλου για ταξινόμηση και παλινδρόμηση. κατά τη διάρκεια της προπόνησης, κατασκευάζει πολλαπλά δέντρα απόφασης·30 Η RF συχνά επιτυγχάνει την κορυφαία απόδοση στην υπάρχουσα βιβλιογραφία σχετικά με προβλέψεις που χρησιμοποιούν ιατρικά δεδομένα. 2) Multi-layer Perceptron (MLP), ένα απλό μοντέλο νευρωνικού δικτύου που δεν λαμβάνει υπόψη τις χρονικές πληροφορίες.

Το MLP αποτελείται από πολλαπλά στρώματα perceptron, εκτελεί εκμάθηση οπισθοδιάδοσης και χρησιμοποιεί μια συνάρτηση μη γραμμικής ενεργοποίησης.31 3) Logistic Regression (LR), ένα ερμηνεύσιμο μοντέλο που χρησιμοποιείται συχνά στην υπάρχουσα βιβλιογραφία προβλέψεων επανεισδοχής και εφαρμόζεται σε ιατρικά δεδομένα. και 4) AdaBoost, το οποίο είναι λιγότερο επιρρεπές σε υπερπροσαρμογή καθώς οι παράμετροι εισόδου του δεν βελτιστοποιούνται από κοινού.

Τα μοντέλα DL υλοποιήθηκαν χρησιμοποιώντας βιβλιοθήκες Python "Keras", ένα API υψηλού επιπέδου του "TensorFlow". Η βιβλιοθήκη "Scikit-learn" χρησιμοποιήθηκε για την εφαρμογή παραδοσιακών μοντέλων στην Python.

Η αρχιτεκτονική του προτεινόμενου μοντέλου, LSTM, περιλαμβάνει 128 νευρώνες, ένα διαδοχικό επίπεδο, ένα στρώμα ανασχηματισμού που χρησιμοποιήθηκε για την αναμόρφωση της εισόδου σε έναν 3-διαστατικό τανυστή και ένα στρώμα κάλυψης με τιμή μάσκας 0 χρησιμοποιείται για την παράβλεψη των χρονικών βημάτων για τα οποία έλειπαν τα δεδομένα.

Εφόσον η συμπλήρωση με 0s πραγματοποιήθηκε για να ενοποιηθούν οι διαστάσεις, το στρώμα κάλυψης χρησιμοποιήθηκε για να αποφευχθεί οποιοσδήποτε υπολογισμός με τις τιμές που λείπουν σε όλα τα επίπεδα που ακολουθούν το επίπεδο κάλυψης, επομένως, οι τιμές που λείπουν δεν λήφθηκαν υπόψη κατά τη διάρκεια της εκμάθησης.

Επιπλέον, προστέθηκε ένα dropout μεταξύ του κρυφού και του outputlayer. Η χρήση αυτής της τεχνικής για την τυχαία επιλογή ενός δεδομένου ποσοστού προς πτώση, είναι μια κοινή τεχνική τακτοποίησης που βοηθά το μοντέλο να μάθει γενικά μοτίβα στα δεδομένα.

Το RNN είναι μια παραλλαγή νευρωνικών δικτύων, τα οποία αποτελούνται από κρυμμένους νευρώνες που είναι ικανοί να αναλύουν χρονικά δεδομένα EHR.32 Το RNN περιλαμβάνει την ίδια δομή με το βασικό νευρωνικό δίκτυο, αλλά οι νευρώνες στο ίδιο επίπεδο συνδέονται, επιτρέποντας σε έναν νευρώνα να μάθει από το ίδιο γειτονικά επίπεδα, εκτός από την εκμάθηση από τις εξόδους των προηγούμενων επιπέδων και τα δεδομένα εισόδου. Έτσι, οι νευρώνες RNN περιλαμβάνουν δύο πηγές εισόδων, το παρόν και το πρόσφατο παρελθόν. Η διαδικασία μάθησης ορίζεται ως εξής:

Για τον υπολογισμό της τιμής �" ενός κρυφού νευρώνα, �, μια συνάρτηση μη γραμμικού μετασχηματισμού, ReLU, εφαρμόζεται στη σταθμισμένη �τιμή του αριστερού κρυφού νευρώνα �"#$ και στη σταθμισμένη τιμή � της εισόδου του �".

Οι προβλέψεις υπολογίζονται με χρήση ασιγμοειδούς συνάρτησης του σταθμισμένου αθροίσματος όλων των κρυμμένων νευρώνων με πρόσθετη προκατάληψη. Το μειονέκτημα του RNN είναι ότι πάσχει από το πρόβλημα της εξαφάνισης της κλίσης, που σημαίνει ότι τα βάρη παραμένουν αμετάβλητα καθιστώντας δύσκολη τη σύγκλιση του μοντέλου, επομένως το μοντέλο δυσκολεύεται να μάθει.

Για να λυθεί αυτό, εισήχθη ένα στρώμα LSTM στο οποίο οι σιγμοειδείς νευρώνες του RNN αντικαθίστανται με μια πιο περίπλοκη δομή βραχυπρόθεσμης μνήμης. Το LSTM μοιράζεται τα ίδια βάρη μεταξύ των επιπέδων, γεγονός που μειώνει τον αριθμό των παραμέτρων που υπολογίζει το δίκτυο.

Το GRU είναι μια εναλλακτική λύση για την εξάλειψη του προβλήματος της κλίσης. Αντικαθιστά τον απλό νευρώνα με μια περιφραγμένη μονάδα, η οποία έχει λιγότερες παραμέτρους από τους νευρώνες του LSTM επειδή δεν διαθέτει πύλη εξόδου.33

For more information:1950477648nn@gmail.com