Υπολογιστική Νοημοσύνη — Σεπτέμβριος 2024¶
Μεταγραφή από τις φωτογραφίες IMG_4120.png και IMG_4121.png· η IMG_4119.png είναι δεύτερη λήψη των Θεμάτων 1–4 και χρησιμοποιείται για την ανάγνωση θολών σημείων.
IMG_4120.png¶
[Λείπει από τη φωτογραφία: η επικεφαλίδα του Θέματος 1 και οι ερωτήσεις i–viii]
ix. Ένα σχήμα ταιριάζει με 10 άτομα στον τρέχοντα πληθυσμό ενός γενετικού αλ[δυσανάγνωστο] απόδοση κατά 5% μικρότερη από τη μέση απόδοση του πληθυσμού. Μετά από πόσες γ[δυσανάγνωστο] εξαφανισθεί, υπό την έννοια ότι ο αναμενόμενος αριθμός ατόμων που θα ταιριάζουν [δυσανάγνωστο] μικρότερος από 0,5;
[Λείπει από τη φωτογραφία: το τέλος των γραμμών της ερώτησης ix, κομμένο από το δεξί άκρο]
- [ ] α. Μετά από 10 περίπου γενιές.
- [ ] β. Μετά από 59 περίπου γενιές.
- [ ] γ. Μετά από 95 περίπου γενιές.
- [ ] δ. Δεν αναμένεται το σχήμα να εξαφανισθεί μετά από κάποιες γενιές.
x. Το σχήμα *1*******0 [δυσανάγνωστο: πλήθος αστερίσκων] έχει σημαντική πιθανότητα καταστροφής μετά από …
- [ ] α. … διασταύρωση
- [ ] β. … μετάλλαξη
- [ ] γ. … εφαρμογή εξαναγκασμένης ρουλέτας
- [ ] δ. … κανένα από τα εναλλακτικά που δίνονται
Θέμα 2 (10)
Έστω ένας βηματικός νευρώνας με \(d\) εισόδους \(x_1,\dots,x_d\), βάρη \(w_1,\dots,w_d\) και πόλωση \(w_0\). Η ενεργοποίηση \(u\) του νευρώνα υπολογίζεται ως: \(u = w_1x_1+\dots+w_dx_d+w_0\). Η έξοδος \(o\) του νευρώνα παίρνει τιμές \(0\) ή \(1\) και η βηματική συνάρτηση ενεργοποίησης του νευρώνα ακολουθεί την παρακάτω σχέση:
Να ορίσετε τα βάρη και την πόλωση ενός βηματικού νευρώνα με \(d\) εισόδους (που παίρνουν τιμές \(0\) ή \(1\)), ο οποίος να δίνει έξοδο \(o=0\) αν ο αριθμός των εισόδων που έχουν τιμή \(1\) είναι μεγαλύτερος από δοθέντα αριθμό \(k\) \((0\leq k\leq d)\), αλλιώς να δίνει έξοδο \(o=1\).
Θέμα 3 (20)
Δίνονται οι παρακάτω καμπύλες σύγκλισης που αφορούν την εκπαίδευση ενός ΤΝΔ με χρήση μορφής κατάβασης κλίσης. Για συγκεκριμένες τιμές υπερπαραμέτρων (αριθμός κρυφών νευρώνων, ρυθμός μάθησης, μέγεθος mini-batch, αριθμός εποχών) λαμβάνουμε αρχικά την καμπύλη Α. Στη συνέχεια αλλάζουμε μία μόνο υπερπαράμετρο και επανεκπαιδεύουμε το δίκτυο, οπότε λαμβάνουμε την καμπύλη Β. Πραγματοποιούμε την ίδια αλλαγή άλλη μία φορά και παίρνουμε την καμπύλη Γ. [συμπληρώθηκε από IMG_4119.png]
[Σχήμα: τρεις καμπύλες σύγκλισης με ετικέτες (Α), (Β) και (Γ)· οι τίτλοι και οι ετικέτες αξόνων δεν είναι αναγνώσιμοι· η (Α) έχει θόρυβο και φθίνει, η (Β) και η (Γ) είναι ομαλά φθίνουσες]
α) Ποια υπερπαράμετρος είναι πιθανότερο να έχει αλλάξει και γιατί; [5]
β) Ποια καμπύλη αντιστοιχεί στη μεγαλύτερη τιμή της υπερπαραμέτρου; [5]
γ) Η καμπύλη Γ φαίνεται να είναι η πιο επιθυμητή. Ωστόσο, να προσδιορίσετε 2 λόγους για τους οποίους μπορεί να επιλέγατε την τιμή της υπερπαραμέτρου που αντιστοιχεί στην καμπύλη Β. [10] [συμπληρώθηκε από IMG_4119.png· η φράση «για τους οποίους» είναι θολή]
Θέμα 4 (10)
Δίνεται το παρακάτω διάγραμμα αυτοργανούμενου χάρτη (δίκτυο Kohonen). [συμπληρώθηκε από IMG_4119.png]
[Σχήμα: δίκτυο Kohonen με πέντε κόμβους εξόδου σε γραμμή (A, B, C, D, E) και τρεις κόμβους εισόδου με ετικέτες 1, 2, 3, με συνδέσεις από τους κόμβους εισόδου προς τους κόμβους εξόδου]
α) Πόσες είναι οι διαστάσεις των δεδομένων εισόδου με βάση το διάγραμμα; Με ποιον τρόπο [δυσανάγνωστο] το δίκτυο τη μείωση της διαστατικότητας; [5] [συμπληρώθηκε από IMG_4119.png]
β) Σε πόσες κλάσεις μπορούν να αντιστοιχιστούν τα δεδομένα εισόδου; Σε πόσες [δυσανάγνωστο] αντιστοιχούν; [5] [συμπληρώθηκε από IMG_4119.png]
[Λείπει από τη φωτογραφία: η ερώτηση γ) του Θέματος 4]
IMG_4121.png¶
Θέμα 5 (20)
Θεωρούμε το MLP του παρακάτω σχήματος με 2 εισόδους, πρώτο κρυμμένο επίπεδο με 2 νευρώνες με [δυσανάγνωστο] συνάρτηση ενεργοποίησης, [δυσανάγνωστο] κρυμμένο επίπεδο με ένα νευρώνα με ReLU συνάρτηση ενεργοποίησης και [δυσανάγνωστο] νευρώνες με ReLU συνάρτηση ενεργοποίησης. Το δίκτυο εκπαιδεύεται με τον αλγόριθμο οπισθοδιάδοσης του σφάλματος (backpropagation) με ρυθμό εκπαίδευσης \(\eta=0.2\), ενώ οι πολώσεις όλων των νευρώνων είναι μηδέν.
[Σχήμα: δίκτυο MLP με εισόδους x₁ και x₂ (κόμβοι 1 και 2), κρυφούς κόμβους 3, 4, 5, 6 και 7 και κόμβους εξόδου 8 και 9. Ετικέτες βαρών που διακρίνονται: 1, 1, −2, −2, 2, −1, −1, 1· η αντιστοίχισή τους με τις ακμές [δυσανάγνωστο]. Το δεξιό τμήμα του σχήματος είναι αποκομμένο.]
α) Υπολογίστε την έξοδο και το σφάλμα για είσοδο \(x=(0.5,0.25)\) και επιθυ[δυσανάγνωστο] έξοδο 8 και 9. [Λείπει από τη φωτογραφία: το τέλος της πρότασης]
β) Υπολογίστε τις τοπικές κλίσεις \(\delta_8\) και \(\delta_9\) στους νευρώνες εξόδου 8 και 9.
γ) Υπολογίστε τις τοπικές κλίσεις \(\delta_6\) και \(\delta_7\) στους κρυφούς νευρώνες 6 και 7. [Λείπει από τη φωτογραφία: το τέλος της πρότασης]
δ) Υπολογίστε την τοπική κλίση \(\delta_5\) του κρυφού νευρώνα 5 και [δυσανάγνωστο] \(w_{31}\). [5]
Θέμα 6 (20)
Έστω η αριθμητική συνάρτηση μιας μεταβλητής \(f(x)=x\sin(10\pi x)+1\) της οπ[δυσανάγνωστο] στο διάστημα \(x \in [-1,2]\) φαίνεται στο παρακάτω σχήμα.
[Σχήμα: γράφημα της f(x) στο διάστημα x ∈ [-1,2], ταλαντωτική καμπύλη με πολλές διαδοχικές κορυφές και κοιλάδες]
Θα χρησιμοποιήσουμε γενετικούς αλγόριθμους με δυαδική κωδικοποίηση για να μελ[δυσανάγνωστο]
α) Έστω πως αναζητούμε το μέγιστο της \(f(x)\) στο διάστημα \(x \in [-1,2]\) και θέλουμε η ακρίβεια να έχει 6 δεκαδικά ψηφία. Να ορίσετε την αναπαράσταση και τη συνάρτηση κατ[δυσανάγνωστο] γενετικό αλγόριθμο.
β) Να περιγράψετε τους τελεστές διασταύρωσης και μετάλλαξης και να δώσετε [δυσανάγνωστο] λειτουργίας τους.
γ) Έστω πως αναζητούμε μία ρίζα της \(f(x)\) στο διάστημα \(x \in [-1,2]\) και θέλουμε η ακρίβεια [δυσανάγνωστο] 6 δεκαδικά ψηφία. Τι θα αλλάξετε (και πώς) στην απάντησή σας [δυσανάγνωστο]. [Λείπει από τη φωτογραφία: το τέλος της πρότασης]
δ) Να σχολιάσετε πιθανά προβλήματα που μπορεί να δημιουργήσει ο κλασικός τελεστής μονού σημείου για δυαδική κωδικοποίηση σε τέτοια προβλήματα και να δώσετε [δυσανάγνωστο] πρόταση αντιμετώπισης τέτοιων προβλημάτων.
ΚΑΛΗ ΕΠΙΤΥΧΙΑ!
Σημείωση: η φωτογραφία περιέχει χειρόγραφες απαντήσεις φοιτητή.
Λύσεις (⚪ AI, μη επαληθευμένο)
Κατάσταση: ⚪ AI, μη επαληθευμένο Πηγή: λύσεις AI (antigravity-gemini, deepseek-flash, gemini-3.7-flash), ανεξάρτητη επανάληψη και αντιπαραβολή· καμία δεν έχει ελεγχθεί από άνθρωπο
Προσοχή
Λύση από AI — ελέγξτε την· δεν έχει επαληθευτεί από άνθρωπο. Η ένδειξη «δύο λύσεις συμφωνούν» δεν σημαίνει ότι η απάντηση είναι σωστή.
AI λύσεις — 2024-09¶
Οι λύσεις γράφτηκαν από μοντέλα AI και δεν έχουν ελεγχθεί από άνθρωπο. Η αρίθμηση ακολουθεί το αρχείο θεμάτων.
Θέμα 1¶
Αξιοπιστία: δύο ανεξάρτητες λύσεις συμφωνούν · εμπιστοσύνη λύτη: υψηλή
i–viii: Δεν λύθηκαν: λείπουν από τη μεταγραφή.
ix. Σωστή επιλογή: β. Μετά από 59 περίπου γενιές.
Από το θεώρημα σχημάτων, με αναλογική επιλογή (ρουλέτα) και χωρίς διασταύρωση/μετάλλαξη, ο αναμενόμενος αριθμός αντιγράφων του σχήματος πολλαπλασιάζεται με \(f(S)/\bar f=0.95\). Έτσι \(m_t=10(0.95)^t<0.5\), άρα \(t>\ln(0.05)/\ln(0.95)\approx 58.4\), δηλαδή μετά από 59 γενιές.
x. Σωστή επιλογή: α. … διασταύρωση.
Το σχήμα έχει μεγάλο καθορισμένο μήκος, οπότε μία τομή μονού σημείου ανάμεσα στα δύο καθορισμένα άκρα το καταστρέφει με σημαντική πιθανότητα. Η μετάλλαξη το καταστρέφει με μικρή πιθανότητα, ενώ η επιλογή με ρουλέτα δεν είναι τελεστής καταστροφής.
Θέμα 2¶
Αξιοπιστία: δύο ανεξάρτητες λύσεις συμφωνούν · εμπιστοσύνη λύτη: υψηλή
Θέτουμε για κάθε είσοδο \(x_i\in\{0,1\}\): [ w_i=-1,\quad i=1,\dots,d,\qquad w_0=k. ] Τότε [ u=w_0+\sum_{i=1}^d w_i x_i=k-\sum_{i=1}^d x_i. ] Αν το πλήθος των εισόδων που είναι \(1\) είναι \(s=\sum_i x_i\), τότε: - αν \(s\le k\), έχουμε \(u=k-s\ge 0\), άρα \(o=1\), - αν \(s>k\), έχουμε \(u=k-s<0\), άρα \(o=0\).
Άρα ο βηματικός νευρώνας με βάρη \(w_i=-1\) και πόλωση \(w_0=k\) δίνει τη ζητούμενη συμπεριφορά.
Θέμα 3¶
Αξιοπιστία: 2 από 3 ανεξάρτητες λύσεις συμφωνούν (η άλλη διαφωνούσε) · εμπιστοσύνη λύτη: μέτρια
Με την παραδοχή ότι η υπερπαράμετρος που άλλαξε είναι το μέγεθος του mini-batch (η καμπύλη Α είναι θορυβώδης, ενώ οι Β και Γ είναι ομαλότερες):
α) Πιθανότερη υπερπαράμετρος είναι το μέγεθος του mini-batch. Μικρό mini-batch δίνει πιο θορυβώδη εκτίμηση κλίσης και πιο ανώμαλη καμπύλη σύγκλισης· αυξάνοντας το μέγεθος η εκτίμηση γίνεται σταθερότερη και η καμπύλη ομαλότερη.
β) Η καμπύλη Γ αντιστοιχεί στη μεγαλύτερη τιμή της υπερπαραμέτρου, δηλαδή στο μεγαλύτερο mini-batch, αφού εμφανίζει την ομαλότερη/σταθερότερη συμπεριφορά.
γ) Παρότι η Γ φαίνεται πιο ομαλή, μπορεί να προτιμηθεί η τιμή της Β επειδή: (i) μικρότερο mini-batch από τη Γ συχνά οδηγεί σε καλύτερη γενίκευση και αποφυγή «αιχμηρών» ελαχίστων που συνδέονται με πολύ μεγάλα batches, και (ii) απαιτεί λιγότερη μνήμη/υπολογιστικούς πόρους ανά batch και κάνει περισσότερες ενημερώσεις βαρών ανά εποχή, άρα μπορεί να συγκλίνει πρακτικά γρηγορότερα.
Θέμα 4¶
Αξιοπιστία: δεν λύθηκε
α) Από το διάγραμμα υπάρχουν 3 κόμβοι εισόδου, άρα τα δεδομένα εισόδου είναι τρισδιάστατα \((x_1,x_2,x_3)\in\mathbb{R}^3\). Το δίκτυο Kohonen μειώνει τη διαστατικότητα μέσω ανταγωνιστικής μάθησης: κάθε διάνυσμα εισόδου συγκρίνεται με τα διανύσματα βαρών των κόμβων εξόδου, επιλέγεται ο νευρώνας με τη μεγαλύτερη ομοιότητα (BMU), και αυτός μαζί με τους γείτονές του ενημερώνονται προς την είσοδο. Έτσι κάθε τρισδιάστατο πρότυπο απεικονίζεται σε μία θέση του μονοδιάστατου χάρτη εξόδου.
β) Υπάρχουν 5 κόμβοι εξόδου, άρα τα δεδομένα μπορούν να αντιστοιχιστούν σε έως 5 κλάσεις/συστάδες, μία ανά νευρώνα εξόδου. Ο πραγματικός αριθμός κλάσεων εξαρτάται από τα δεδομένα και τη χρήση όλων ή μέρους των κόμβων· ο χάρτης εξόδου είναι μονοδιάστατος με 5 θέσεις.
γ) Δεν λύθηκε: λείπει η ερώτηση γ) του Θέματος 4 από τη μεταγραφή.
Θέμα 5¶
Αξιοπιστία: δεν λύθηκε
Δεν λύθηκε: η αντιστοίχιση των βαρών στις ακμές και τμήματα της αρχιτεκτονικής/του σχήματος είναι δυσανάγνωστα ή αποκομμένα. Χωρίς τη σαφή τοπολογία και τα βάρη δεν είναι δυνατός ο υπολογισμός των εξόδων, του σφάλματος και των τοπικών κλίσεων \(\delta_5,\delta_6,\delta_7,\delta_8,\delta_9\).
Θέμα 6¶
Αξιοπιστία: δύο ανεξάρτητες λύσεις συμφωνούν · εμπιστοσύνη λύτη: υψηλή
α) Για \(x\in[-1,2]\) το μήκος του διαστήματος είναι \(L=3\). Με ακρίβεια \(10^{-6}\) απαιτούνται τουλάχιστον [ 2^m\ge \frac{3}{10^{-6}}=3\cdot 10^6 ] διαστήματα. Επειδή \(2^{21}<3\cdot10^6<2^{22}\), χρειάζονται \(m=22\) bits. Έστω [ g=(b_{21}b_{20}\dots b_1b_0)_2,\qquad 0\le g\le 2^{22}-1. ] Η αποκωδικοποίηση γίνεται ως [ x(g)=-1+g\frac{3}{2^{22}-1}. ] Η ακρίβεια είναι περίπου \(3/(2^{22}-1)\approx 7.15\cdot10^{-7}<10^{-6}\). Για μεγιστοποίηση της \(f(x)=x\sin(10\pi x)+1\), ως συνάρτηση καταλληλότητας μπορεί να χρησιμοποιηθεί [ F(g)=f(x(g))=x(g)\sin(10\pi x(g))+1, ] ή, για συμβατότητα με ρουλέτα όπου απαιτούνται μη αρνητικές τιμές, [ F(g)=f(x(g))+2, ] αφού στο διάστημα αυτό ισχύει \(f(x)>-1\). Η πρόσθεση σταθεράς δεν αλλάζει το σημείο μεγίστου.
β) Στη διασταύρωση ενός σημείου επιλέγεται τυχαία θέση τομής \(c\in\{1,\dots,21\}\) και ανταλλάσσονται τα δεξιά τμήματα δύο γονέων. Π.χ. [ P_1=1010\,|\,0110,\quad P_2=0101\,|\,1001 ] δίνουν [ O_1=1010\,|\,1001,\quad O_2=0101\,|\,0110. ] Στη μετάλλαξη επιλέγεται τυχαίο bit και αντιστρέφεται με μικρή πιθανότητα \(p_m\) (π.χ. \(0\to1\)). Η διασταύρωση συνδυάζει χρήσιμα δομικά τμήματα (exploitation), ενώ η μετάλλαξη εισάγει ποικιλομορφία και βοηθά στη διαφυγή από τοπικά ακρότατα (exploration).
γ) Για εύρεση ρίζας της \(f(x)=0\) διατηρείται η ίδια δυαδική αναπαράσταση με \(22\) bits και η ίδια ακρίβεια. Αλλάζει η συνάρτηση καταλληλότητας: αντί να μεγιστοποιούμε την \(f(x)\), μεγιστοποιούμε την εγγύτητα στο μηδέν, π.χ. [ F(g)=\frac{1}{1+|f(x(g))|}, ] ή ισοδύναμα ελαχιστοποιούμε το \(|f(x(g))|\). Η επιλογή γίνεται με βάση αυτή τη νέα καταλληλότητα, με κριτήριο τερματισμού π.χ. \(|f(x(g))|\le \epsilon\) ή σταθερό αριθμό γενεών.
δ) Ο κλασικός τελεστής μονού σημείου σε δυαδική κωδικοποίηση έχει θέση-εξάρτηση και μπορεί να διασπά χρήσιμα δομικά τμήματα (schemata), ειδικά όταν αυτά έχουν μεγάλο καθορισμένο μήκος. Επίσης, γειτονικές πραγματικές τιμές μπορεί να διαφέρουν σε πολλά bits (Hamming cliffs), γεγονός προβληματικό για ομαλή αναζήτηση σε συνεχή ή πολυτροπικά προβλήματα όπως η ταλαντωτική \(f(x)\). Αντιμετώπιση: χρήση κώδικα Gray, διασταύρωσης δύο σημείων ή ομοιόμορφης διασταύρωσης, προσαρμοζόμενης πιθανότητας μετάλλαξης, τοπικής αναζήτησης/memetic αλγορίθμου και τεχνικών διατήρησης ποικιλομορφίας (π.χ. niching, restarts).