Ανάκτηση Πληροφορίας — Φεβρουάριος 2009¶
Μεταγραφή της φωτογραφίας 137502427_169981611583689_3622146061673527105_n.jpg (ΘΕΜΑ 3).
137502427_169981611583689_3622146061673527105_n.jpg¶
ΘΕΜΑ 3 (Μονάδες 2,5)
Θεωρείστε τον ακόλουθο πίνακα κειμένων-όρων με 9 κείμενα και 7 όρους (t1 έως t7) που περιέχουν συχνότητες εμφανίσεων όρων, καθώς και το ερώτημα q, με τα επιδεικνυόμενα βάρη όρων.
| t1 | t2 | t3 | t4 | t5 | t6 | t7 | |
|---|---|---|---|---|---|---|---|
| d1 | 0 | 3 | 4 | 0 | 0 | 2 | 4 |
| d2 | 1 | 5 | 0 | 0 | 12 | 0 | 1 |
| d3 | 1 | 0 | 4 | 3 | 9 | 0 | 0 |
| d4 | 0 | 7 | 0 | 3 | 0 | 0 | 3 |
| d5 | 0 | 4 | 0 | 0 | 0 | 5 | 1 |
| d6 | 1 | 2 | 2 | 0 | 3 | 1 | 0 |
| d7 | 0 | 5 | 3 | 4 | 0 | 0 | 4 |
| d8 | 0 | 3 | 0 | 0 | 0 | 4 | 2 |
| d9 | 4 | 8 | 9 | 0 | 10 | 8 | 0 |
| q | 2 | 3 | 1 | 0 | 2 | 0 | 1 |
[Σχήμα: πίνακας συχνοτήτων όρων t1–t7 για τα κείμενα d1–d9 και για το ερώτημα q (τελευταία γραμμή). Χειρόγραφος κύκλος γύρω από τις τιμές της γραμμής q και βέλος με την ένδειξη «w_{i,9}».]
[Χειρόγραφα μικρά σημάδια κοντά σε μερικές γραμμές του πίνακα δεν μεταφέρονται. Χειρόγραφη σημείωση δίπλα στο α): [δυσανάγνωστο].]
α) Μετατρέψτε κάθε διάνυσμα στο αντίστοιχο της tf-idf μετρικής και υπολογίστε τη διάταξη των κειμένων χρησιμοποιώντας τη μετρική συνημιτόνου του μοντέλου διανυσματικού χώρου.
β) Εξηγείστε πως το Extended Boolean Model θα μπορούσε να απαντήσει σε καθένα από τα επόμενα ερωτήματα:
- \(t_1\) OR \(t_3\)
- \(t_3\) AND \(t_7\)
[Κάτω δεξιά στη φωτογραφία: ημερομηνία «18/02/2009».]
Λύσεις (⚪ AI, μη επαληθευμένο)
Κατάσταση: ⚪ AI, μη επαληθευμένο Πηγή: λύσεις AI (deepseek-flash, gemini-3.7-flash), ανεξάρτητη επανάληψη και αντιπαραβολή· καμία δεν έχει ελεγχθεί από άνθρωπο
Προσοχή
Λύση από AI — ελέγξτε την· δεν έχει επαληθευτεί από άνθρωπο. Η ένδειξη «δύο λύσεις συμφωνούν» δεν σημαίνει ότι η απάντηση είναι σωστή.
AI λύσεις — 2009-02¶
Οι λύσεις γράφτηκαν από μοντέλα AI και δεν έχουν ελεγχθεί από άνθρωπο. Η αρίθμηση ακολουθεί το αρχείο θεμάτων.
Θέμα 3¶
Αξιοπιστία: δύο ανεξάρτητες λύσεις συμφωνούν · εμπιστοσύνη λύτη: μέτρια
Παραδοχή: χρησιμοποιώ τον συνήθη ορισμό \(w_{t,d}=tf_{t,d}\log(N/df_t)\) με ακατέργαστη συχνότητα \(tf\) (η βάση του λογαρίθμου δεν επηρεάζει το συνημίτονο) και θεωρώ ότι η γραμμή \(q\) δίνει ήδη τα βάρη του ερωτήματος. Στο τέλος σημειώνεται η περίπτωση όπου η \(q\) θεωρηθεί επίσης συχνότητα και μετασχηματιστεί σε tf-idf.
α)¶
Έχουμε \(N=9\). Οι συχνότητες εγγράφων είναι: [ \begin{array}{c|ccccccc} & t_1&t_2&t_3&t_4&t_5&t_6&t_7\ \hline df_t&4&8&5&3&4&5&6 \end{array} ] άρα [ idf_t=\log\frac{9}{df_t}\approx (0.81093,\;0.117783,\;0.587787,\;1.098612,\;0.81093,\;0.587787,\;0.405465). ] Τα μη μηδενικά διανύσματα tf-idf των κειμένων είναι: [ \begin{aligned} d_1&=(0,\;0.3533,\;2.3511,\;0,\;0,\;1.1756,\;1.6219),\ d_2&=(0.8109,\;0.5889,\;0,\;0,\;9.7312,\;0,\;0.4055),\ d_3&=(0.8109,\;0,\;2.3511,\;3.2958,\;7.2984,\;0,\;0),\ d_4&=(0,\;0.8245,\;0,\;3.2958,\;0,\;0,\;1.2164),\ d_5&=(0,\;0.4711,\;0,\;0,\;0,\;2.9389,\;0.4055),\ d_6&=(0.8109,\;0.2356,\;1.1756,\;0,\;2.4328,\;0.5878,\;0),\ d_7&=(0,\;0.5889,\;1.7634,\;4.3944,\;0,\;0,\;1.6219),\ d_8&=(0,\;0.3533,\;0,\;0,\;0,\;2.3511,\;0.8109),\ d_9&=(3.2437,\;0.9423,\;5.2901,\;0,\;8.1093,\;4.7023,\;0). \end{aligned} ] Το ερώτημα είναι \(q=(2,3,1,0,2,0,1)\) με \(\|q\|=\sqrt{19}\). Από τον τύπο [ \cos(d_i,q)=\frac{d_i\cdot q}{|d_i|\,|q|} ] προκύπτουν προσεγγιστικά: [ \begin{array}{c|ccccccccc} &d_1&d_2&d_3&d_4&d_5&d_6&d_7&d_8&d_9\ \hline \cos&0.3714&0.5449&0.5081&0.2346&0.1389&0.6641&0.2345&0.1709&0.6268 \end{array} ] Άρα η κατάταξη των κειμένων είναι: [ \boxed{d_6>d_9>d_2>d_3>d_1>d_4>d_7>d_8>d_5.} ] (Τα \(d_4,d_7\) είναι πρακτικά ισοδύναμα, με ελαφρώς μεγαλύτερο το \(d_4\).)
Αν η \(q\) θεωρηθεί επίσης διάνυσμα συχνοτήτων και μετασχηματιστεί και αυτή σε tf-idf, η κατάταξη γίνεται: [ d_6>d_9>d_2>d_3>d_1>d_7>d_4>d_8>d_5. ]
β)¶
Στο Extended Boolean Model (p-norm), κάθε όρος παίρνει κανονικοποιημένο βάρος \(w_{t,d}\in[0,1]\) και η αναζήτηση γίνεται με βαθμό ομοιότητας αντί για αυστηρή Boolean απάντηση. Για δύο όρους και παράμετρο \(p\ge 1\):
-
Για το ερώτημα \(t_1\ \text{OR}\ t_3\): [ sim(d,t_1\lor t_3) = 1-\left[ \frac{(1-w_{t_1,d})^p+(1-w_{t_3,d})^p}{2} \right]^{1/p}. ] Τα κείμενα κατατάσσονται φθίνουσα ως προς αυτό το \(sim\). Όσο μεγαλύτερο είναι το \(p\), τόσο πιο κοντά συμπεριφέρεται στο κλασικό OR, δηλαδή λαμβάνει υψηλή τιμή όταν τουλάχιστον ένας από τους \(t_1,t_3\) έχει μεγάλο βάρος. Για \(p=2\) έχουμε τον συνήθη “ομαλό” τελεστή OR.
-
Για το ερώτημα \(t_3\ \text{AND}\ t_7\): [ sim(d,t_3\land t_7) = \left[ \frac{w_{t_3,d}^p+w_{t_7,d}^p}{2} \right]^{1/p}. ] Τα κείμενα κατατάσσονται φθίνουσα ως προς αυτό το \(sim\). Για μεγάλο \(p\) η συμπεριφορά προσεγγίζει το κλασικό AND, δηλαδή απαιτείται και οι δύο όροι να έχουν υψηλά βάρη. Για \(p=2\) παίρνουμε έναν “ομαλό” τελεστή AND.
Έτσι, και στα δύο ερωτήματα το σύστημα δεν επιστρέφει απλώς ναι/όχι, αλλά διατάσσει τα κείμενα κατά φθίνουσα ομοιότητα και μπορεί να επιστρέψει όσα ξεπερνούν ένα κατώφλι.