Στατιστικές Μέθοδοι Μηχανικής Μάθησης¶

Επίσημο περίγραμμα μαθήματος του ΤΜΗΥΠ (Πανεπιστήμιο Πατρών), όπως δημοσιεύεται στη σελίδα του μαθήματος και στο συνημμένο αρχείο «Περίγραμμα Μαθήματος». Το κείμενο παρατίθεται αυτούσιο, χωρίς τα πρότυπα οδηγιών του εντύπου.

Στόχοι¶

Με την ολοκλήρωση της διδασκαλίας του μαθήματος οι φοιτητές θα είναι ικανοί να:
Γνωρίζουν τις βασικές αρχές της Θεωρίας Αποφάσεων.
Γνωρίζουν τις βασικές αρχές της Στατιστικής Θεωρίας Αποφάσεων.
Γνωρίζουν τα βασικά στοιχεία τη Θεωρίας Παιχνίων.
Γνωρίζουν τις κλασσικές αλλά και τις ποιο σύγχρονες μεθόδους ταξινόμησης και κατηγοριοποίησης.
Θα έχουν αποκτήσει δεξιότητες στη σχεδίαση συστημάτων Λήψης Απόφασης σε προβλήματα του πραγματικού κόσμου.

Μετά την ολοκλήρωση της διδασκαλίας του μαθήματος οι φοιτητές θα έχουν αναπτύξει τις παρακάτω δεξιότητες:

Θα μπορούν να μοντελοποιήσουν ένα πρόβλημα Θεωρίας Αποφάσεων.
Θα μπορούν να επιλέξουν τις κατάλληλες τεχνικές/μεθοδολογίες για την επίλυσή του.
Θα μπορούν να επιλέξουν τα κατάλληλα εργαλεία λογισμικού για την υλοποίηση της λύσης.
Θα μπορούν να αξιολογήσουν την απόδοση ενός τέτοιου συστήματος.
Θα μπορούν να σχεδιάσουν και να υλοποιήσουν ένα δικό τους σύστημα για επίλυση ενός πραγματικού προβλήματος.

Περιεχόμενο (ύλη)¶

Βασικές έννοιες και παραδείγματα της αντίληψης μηχανής, συστήματα αναγνώρισης προτύπων (αισθητήρες, τμηματοποίηση και ομαδοποίηση, εξαγωγή χαρακτηριστικών, ταξινόμηση, μετά- επεξεργασία), κύκλος σχεδίασής τους (συλλογή δεδομένων, επιλογή χαρακτηριστικών, επιλογή μοντέλου, εκπαίδευση, αποτίμηση, υπολογιστική πολυπλοκότητα), μάθηση και προσαρμοστικότητα (επιβλεπόμενη μάθηση, μη επιβλεπόμενη μάθηση, ενίσχυση μάθησης). Θεωρία απόφασης του Bayes για συνεχή χαρακτηριστικά (ταξινόμηση δύο κατηγοριών). Ταξινόμηση ελάχιστου ρυθμού λάθους (τα κριτήρια minimax και Neyman - Pearson ). Ταξινομητές, διακρίνουσες συναρτήσεις και επιφάνειες απόφασης (οι περιπτώσεις πολλών και δύο κατηγοριών). Η κανονική συνάρτηση πυκνότητας πιθανότητας (συνάρτηση πυκνότητας πιθανότητας μίας και πολλών μεταβλητών, διακρίνοClassesυσες συναρτήσεις για την κανονική συνάρτηση πυκνότητας πιθανότητας). Πιθανότητες λάθους και διαστήματα. Όρια λάθους για κανονικές συναρτήσεις πυκνότητας πιθανότητας (όριο Chernoff , όριο Bhattacharrya , θεωρία ανίχνευσης σημάτων και χαρακτηριστικές λειτουργίας). Θεωρία απόφασης του Bayes για διακριτά χαρακτηριστικά (ανεξάρτητα διακριτά χαρακτηριστικά). Εκτίμηση μέγιστης πιθανοφάνειας (γενική αρχή, η περίπτωση Gauss ). Εκτίμηση κατά Bayes (υπό συνθήκη πυκνότητες, κατανομή παραμέτρων). Bayesian εκτίμηση παραμέτρων ( Gaussian περίπτωση, γενική θεωρία). Τα προβλήματα των διαστάσεων. Hidden Markov Μοντέλα. Μη παραμετρικές τεχνικές. Υπολογισμός συνάρτησης πυκνότητας πιθανότητας. Παράθυρα Parzen (σύγκλιση μέσης τιμής, σύγκλιση διασποράς, εφαρμογές). Μέθοδος υπολογισμού K n πλησιέστερου γείτονα. Ο κανόνας του πλησιέστερου γείτονα (σύγκλιση, ρυθμός λάθους, όρια λάθους, υπολογιστική πολυπλοκότητα). Ταξινόμηση πλησιέστερου γείτονα και μέτρα απόδοσης (ιδιότητες των μέτρων, απόσταση εφαπτομένης). Γραμμικές διακρίνουσες συναρτήσεις και επιφάνειες απόφασης (η περίπτωση δύο και πολλών κατηγοριών). Γενικευμένες γραμμικές διακρίνουσες συναρτήσεις. Η περίπτωση δύο γραμμικά διαχωριζομένων κατηγοριών (διαδικασίες κλίσης καθόδου). Ο αλγόριθμος του Perceptron (ελαχιστοποίηση της συνάρτησης κριτηρίου, απόδειξη σύγκλισης). Διαδικασίες χαλάρωσης (ο αλγόριθμος descent , απόδειξη σύγκλισης). Μη διαχωρίσιμα συμπεριφορά. Διαδικασίες ελάχιστου τετραγωνικού λάθους (αλγόριθμος LMS ). Διαδικασίες Ho-Kashyap. Θεωρία παιγνίων. Ιστορική αναδρομή. Βασικά χαρακτηριστικά. Ταξινόμηση παιγνίων. Τρόποι περιγραφής και ανάλυσης των παιγνίων. Παίγνια μηδενικού αθροίσματος. Η περίπτωση καθαρής στρατηγικής. Μεικτές στρατηγικές.

Αξιολόγηση¶

Γλώσσα Αξιολόγησης: Ελληνική

Θεωρία(60%της τελικής βαθμολογίας)
Γραπτή τελική εξέταση (θέματα διαβαθμισμένης δυσκολίας που περιλαμβάνουν: Ερωτήσεις πολλαπλής επιλογής, ερωτήσεις σύντομης απάντησης, προβλήματα/ασκήσεις).
Εργαστηριακή Άσκηση (40% της τελικής βαθμολογίας)
Αξιολόγηση τεχνικής αναφοράς.
Επιλεκτικά, προφορική εξέταση.

Βιβλιογραφία¶

Θεωρία Αποφάσεων, Πανεπιστημιακές Παραδόσεις, Σ. Λυκοθανάσης, Γρ. Μπεληγιάννης, και Λ. Σκάρλας, Πανεπιστήμιο Πατρών, 2005.
Αναγνώριση Προτύπων, Σ. Θεοδωρίδης, BROKER HILL PUBLISHERS LTD, 2011.
Εισαγωγή στην Αναγνώριση Προτύπων με Matlab, Σ. Θεοδωρίδης, Α. Πικράκης, Κ. Κουτρούμπας και Δ. Κάβουρας, BROKER HILL PUBLISHERS LTD. 2011.
Pattern Classification, 2nd Ed., R. O Duda, P. E. Hart and O. G. Stork, John Willey & Son Inc., 2001.

-Συναφή επιστημονικά περιοδικά:

IEEE Transactions on Pattern Recognition and Machine Learning.
Pattern Recognition, Elsevier.