Ανάκτηση Πληροφορίας — 2024-2025¶
IMG_6002.jpg¶
ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ ΚΑΙ ΠΛΗΡΟΦΟΡΙΚΗΣ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΑΣ
ΑΝΑΚΤΗΣΗ ΠΛΗΡΟΦΟΡΙΑΣ 2024-2025
Διδάσκων: [όνομα παραλείπεται]
ΔΙΑΡΚΕΙΑ 3:00 ΩΡΕΣ Σελίδες 2 – Όλα τα υποερωτήματα ισόβαθμα ανά θέμα
ΘΕΜΑ 1 (Μονάδες 2,5)
α. Στο πρόβλημα του Document Identifier Assignment (ανάθεση αναγνωριστικών σε κείμενα) θέλουμε να απεικονίσουμε τίτλους (ή url) κειμένων ΣΕ ακέραιους αριθμούς, ώστε να υλοποιηθούν οι ανεστραμμένες λίστες του ανεστραμμένου αρχείου της συλλογής. Δηλαδή σε κάθε ανεστραμμένη λίστα μίας λέξης θα αναγράφονται ακέραιοι αριθμοί που θα αντιστοιχούν στα κείμενα στα οποία η λέξη εμφανίζεται. Εξηγήστε την σχέση που έχει η ανάθεση αυτή: (i) με την αποδοτική ΣΥΜΠΙΕΣΗ του αντιστοίχου ανεστραμμένου αρχείου και προτείνετε τεχνικές αποτελεσματικής απεικόνισης, (ii) με την αποδοτική απάντηση ερωτημάτων τομής λέξεων όπως αυτά εμφανίζονται στο Boolean μοντέλο και στο μοντέλο διανυσματικού χώρου.
β. Θεωρήστε ότι έχουμε μία συλλογή κειμένων και όρων που περιγράφεται από τον ακόλουθο πίνακα (ο αριθμός σε κάθε κελί συμβολίζει το πλήθος εμφανίσεων της κάθε λέξης στο κείμενο):
| Term1 | Term2 | Term3 | Term4 | Term5 | |
|---|---|---|---|---|---|
| Doc1 | 0 | 3 | 4 | 0 | 0 |
| Doc2 | 2 | 5 | 0 | 0 | 0 |
| Doc3 | 1 | 0 | 4 | 0 | 4 |
| Doc4 | 0 | 4 | 0 | 3 | 4 |
| Doc5 | 0 | 1 | 0 | 2 | 2 |
| Doc6 | 2 | 0 | 2 | 0 | 0 |
| Doc7 | 3 | 5 | 3 | 4 | 0 |
| Doc8 | 0 | 3 | 0 | 0 | 0 |
| Doc9 | 0 | 0 | 3 | 3 | 3 |
| Doc10 | 0 | 5 | 0 | 0 | 0 |
(i) Σχεδιάστε το ανεστραμμένο αρχείο το οποίο θα πρέπει να δημιουργηθεί για την αποθήκευση της πληροφορίας που δίνει ο συγκεκριμένος πίνακας.
(ii) Εξηγήστε πως το ανεστραμμένο αρχείο θα απαντούσε στο ερώτημα Q=term1 AND term3 στο μοντέλο Boolean.
(iii) Παρουσιάστε (γενικά και όχι για το συγκεκριμένο πίνακα) στρατηγικές απάντησης ερωτημάτων τομής ή ένωσης λιστών όρων στο μοντέλο διανυσματικού χώρου (υπόδειξη (αν και δεν είναι υποχρεωτική): θυμηθείτε τις έννοιες DAAT (Document At A Time) και TAAT (Term At A Time) processing που είχαμε πει στο μάθημα).
ΘΕΜΑ 2 (Μονάδες 2,5)
α. Λόγω του μεγάλου όγκου δεδομένων που έχουν να χειριστούν οι μηχανές ψαξίματος στον παγκόσμιο ιστό, συχνά διατηρούν δύο ανεστραμμένα αρχεία ένα που περιέχει πληροφορία για όλα τα κείμενα και αποθηκεύεται στο δίσκο και ένα μικρότερου μεγέθους που περιέχει ένα υποσύνολο της συνολικής πληροφορίας και αποθηκεύεται στην κύρια μνήμη. Τα δύο αυτά ανεστραμμένα αρχεία λειτουργούν με τη λογική ότι σε
[το κείμενο συνεχίζεται εκτός της φωτογραφίας]
IMG_6004.jpg¶
δοθέν ερώτημα, πρώτα θα ερωτηθεί η δομή στην κύρια μνήμη και αν η απάντηση δεν είναι ικανοποιητική θα ερωτηθεί και η δομή στον δίσκο. Προτείνετε πολιτικές δημιουργίας και ενημέρωσης της δομής ανεστραμμένων αρχείων της κύριας μνήμης, υποθέτοντας ότι η μηχανή ακολουθεί ένα συνδυασμό μοντέλου διανυσματικού χώρου και μιας link μετρικής (ανεξάρτητης περιεχομένου), στη βαθμολόγηση των ιστοσελίδων. Σκεφτείτε και επεκτάσεις των πολιτικών για ανεστραμμένα αρχεία πολλαπλών στρωμάτων (tiered indices).
β. Ένα σημαντικό πρόβλημα στο μοντέλο διανυσματικού χώρου είναι η μεγάλη διάσταση του χώρου που παράγεται καθώς το πλήθος των όρων, που αποτελεί και το μέγεθος του χώρου είναι γενικά μεγάλο. Το πρόβλημα αυτό μπορεί να αντιμετωπιστεί με τη χρήση τεχνικών μείωσης διαστατικότητας που αναπαριστούν και κείμενα και όρους σε χώρους αρκετά μικρότερης τάξεως. Αναφέρετε ποιες είναι οι βασικές τεχνικές μείωσης διαστατικότητας και ποιες οι διαφορές μεταξύ τους. Ειδικότερα εξετάστε τις τεχνικές LSI, LDA, Word Embeddings (word2vec), BERT Embeddings και αναφέρετε τις μεταξύ τους διαφορές.
ΘΕΜΑ 3 (Μονάδες 2,5)
α. Θεωρώντας ότι ο αριθμός των επιστρεφόμενων κειμένων είναι 100, σχεδιάστε τα γραφήματα ανάκλησης ακρίβειας, για το ακόλουθο ερώτημα, όπως διατυπώθηκε σε δύο μηχανές (δίνονται ο αριθμός των σχετικών κειμένων και η θέση τους στο αποτέλεσμα):
- M1: Αριθμός: 10, θέση: 1, 3, 6, 12, 17, 27, 38, 64, 81, 98
- M2: Αριθμός: 10, θέση: 1, 5, 11, 14, 30, 34, 61, 80, 83, 99
Με βάση τα δύο προκύπτοντα γραφήματα συγκρίνετε μεταξύ τους τις δύο μηχανές
β. Κάντε την ίδια σύγκριση χρησιμοποιώντας τη μετρική NDCG (αναφέρετε απλώς τον τύπο που προκύπτει για κάθε μηχανή όχι αναλυτικό υπολογισμό, θεωρώντας ότι τα πέντε πρώτα σχετικά κείμενα έχουν κέρδος συνάφειας 2 τα επόμενα πέντε κέρδος συνάφειας 1 και τα μη σχετικά 0.)
ΘΕΜΑ 4 (2.5)
α. Στην πολυγλωσσική ανάκτηση πληροφορίας επιδιώκεται η ανάκτηση κειμένων σε μία πολυγλωσσική συλλογή, με τη δυνατότητα οι ερωτήσεις να γίνονται σε περισσότερες της μίας διαφορετικές γλώσσες. Προτείνετε τρόπους επέκτασης των κλασσικών συστημάτων για την υλοποίηση ενός πολυγλωσσικού συστήματος.
β. Εξηγήστε τις έννοιες της συνωνυμίας και της πολυσημίας και πως αυτές επηρεάζουν την ανάκληση και την ακρίβεια σε συστήματα Ανάκτησης Πληροφορίας. Αναφέρτε τεχνικές αντιμετώπισης της συνωνυμίας και εξηγήστε πως η χρήση του Pagerank θα μπορούσε να αντιμετωπίσει την πολυσημία στο ψάξιμο στον Παγκόσμιο Ιστό.
γ. Σύμφωνα με την cluster hypothesis (υπόθεση ομαδοποίησης), κείμενα που ανήκουν στην ίδια συστάδα ομαδοποίησης είναι και σχετικά για παρόμοιες αιτήσεις. Μία ερμηνεία αυτής της υπόθεσης είναι ότι κείμενα που είναι σχετικά ψηλά στην αξιολόγηση σε ένα ερώτημα πρέπει να παρασύρουν και κείμενα της ίδιας ομάδας, ώστε να είναι αντιστοιχα ψηλά. Εξηγήστε πως το μοντέλο διανυσματικού χώρου θα μπορούσε να τροποποιηθεί ώστε να ενσωματώσει την πληροφορία αυτή.
ΚΑΛΗ ΕΠΙΤΥΧΙΑ!
Λύσεις (⚪ AI, μη επαληθευμένο)
Κατάσταση: ⚪ AI, μη επαληθευμένο Πηγή: λύσεις AI (deepseek-flash), ανεξάρτητη επανάληψη και αντιπαραβολή· καμία δεν έχει ελεγχθεί από άνθρωπο
Προσοχή
Λύση από AI — ελέγξτε την· δεν έχει επαληθευτεί από άνθρωπο. Η ένδειξη «δύο λύσεις συμφωνούν» δεν σημαίνει ότι η απάντηση είναι σωστή.
AI λύσεις — 2025¶
Οι λύσεις γράφτηκαν από μοντέλα AI και δεν έχουν ελεγχθεί από άνθρωπο. Η αρίθμηση ακολουθεί το αρχείο θεμάτων.
ΘΕΜΑ 1¶
Αξιοπιστία: δύο ανεξάρτητες λύσεις συμφωνούν · εμπιστοσύνη λύτη: υψηλή
α.
(i) Η ανάθεση αναγνωριστικών \(docID\) επηρεάζει τη συμπίεση του ανεστραμμένου αρχείου επειδή οι λίστες καταχωρήσεων αποθηκεύονται συνήθως ως διαφορές θέσεων (d-gaps) και συμπιέζονται με κωδικοποίηση μεταβλητού μήκους (π.χ. variable byte, γ κώδικας). Αν δύο έγγραφα που συν-εμφανίζονται σε πολλούς όρους πάρουν κοντινούς ακεραίους, τα d-gaps μικραίνουν και συμπιέζονται καλύτερα. Τεχνικές: ανάθεση μικρών και πυκνών IDs, ταξινόμηση/ομαδοποίηση εγγράφων με παρόμοιο περιεχόμενο ή παρόμοια πρότυπα εμφάνισης όρων, χρήση αλγορίθμων graph partitioning/clustering, τοποθέτηση συχνά προσπελάσιμων εγγράφων σε κοντινές θέσεις, και συμπίεση με δ-κώδικες, front coding για URL/τίτλους, skip pointers και block-based κωδικοποίηση.
(ii) Στην Boolean ανάκτηση, οι λίστες είναι ταξινομημένες κατά \(docID\), άρα η τομή λιστών γίνεται με συγχώνευση (merge) ή με skip/galloping search· μικρότερα και πυκνά IDs βοηθούν σε cache locality και γρήγορη διάσχιση. Στο μοντέλο διανυσματικού χώρου, η ανάθεση που ομαδοποιεί παρόμοια έγγραφα βοηθά ώστε οι καταχωρήσεις διαφορετικών όρων να «πέφτουν» κοντά, διευκολύνοντας DAAT/TAAT επεξεργασία, συσσώρευση βαθμολογιών και πρώιμο τερματισμό με όρια βαθμολογίας.
β.
(i) Με συμβολισμό \((docID:tf)\), το ανεστραμμένο αρχείο είναι:
| Όρος | df | Ανεστραμμένη λίστα |
|---|---|---|
| Term1 | 4 | (2:2), (3:1), (6:2), (7:3) |
| Term2 | 7 | (1:3), (2:5), (4:4), (5:1), (7:5), (8:3), (10:5) |
| Term3 | 5 | (1:4), (3:4), (6:2), (7:3), (9:3) |
| Term4 | 4 | (4:3), (5:2), (7:4), (9:3) |
| Term5 | 4 | (3:4), (4:4), (5:2), (9:3) |
(ii) Για \(Q=\text{term1 AND term3}\) λαμβάνουμε την τομή των λιστών: [ \text{term1}={2,3,6,7},\qquad \text{term3}={1,3,6,7,9}. ] Με συγχώνευση κατά \(docID\) προκύπτει: [ {3,6,7}. ] Δηλαδή επιστρέφονται τα Doc3, Doc6, Doc7.
(iii) Γενικές στρατηγικές: - TAAT (Term At A Time): επεξεργάζομαι μία-μία τις λίστες των όρων του ερωτήματος και συσσωρεύω βαθμολογίες σε πίνακα accumulators ανά έγγραφο. Για τομή μπορώ να απαιτήσω να έχει εμφανιστεί το έγγραφο σε όλες τις λίστες ή να φιλτράρω μετά. Για ένωση απλώς προσθέτω τις συνεισφορές όλων των όρων. Είναι απλό και κατάλληλο όταν το ερώτημα έχει λίγους όρους. - DAAT (Document At A Time): κρατώ δείκτες στις λίστες και προχωρώ στο επόμενο έγγραφο με το μικρότερο \(docID\). Όταν ένα έγγραφο εμφανίζεται σε όρους του ερωτήματος, υπολογίζω τη βαθμολογία του από τους αντίστοιχους όρους. Για τομή προχωρώ τους δείκτες ώστε να συναντηθούν όλες οι λίστες· για ένωση επεξεργάζομαι κάθε έγγραφο που εμφανίζεται σε οποιονδήποτε όρο. - Χρήση ταξινομημένων λιστών, skip pointers, galloping search, block-max/WAND, πρώιμου τερματισμού top-\(k\), και διάταξης όρων κατά αύξον \(df\) ή κατά μέγιστη συνεισφορά. Σε Boolean φίλτρο + VSM, πρώτα εφαρμόζεται το φίλτρο (π.χ. AND) και μετά υπολογίζεται το cosine similarity στα υποψήφια έγγραφα.
ΘΕΜΑ 2¶
Αξιοπιστία: δύο ανεξάρτητες λύσεις συμφωνούν · εμπιστοσύνη λύτη: μέτρια
α. Η δομή στην κύρια μνήμη πρέπει να κρατά τις καταχωρήσεις με τη μεγαλύτερη αναμενόμενη χρησιμότητα για το συνδυασμένο σκορ [ score(q,d)=\alpha\, sim(q,d)+(1-\alpha)\,PR(d), ] όπου \(PR(d)\) είναι η link μετρική ανεξάρτητη περιεχομένου. Ενδεικτικές πολιτικές δημιουργίας/ενημέρωσης: - Να περιλαμβάνονται κυρίως έγγραφα υψηλού PageRank/authority και καταχωρήσεις όρων που εμφανίζονται σε αυτά. - Να χρησιμοποιούνται logs ερωτημάτων/κλικ: προνομιακή αποθήκευση όρων και εγγράφων που εμφανίζονται συχνά στα top-\(k\) αποτελέσματα δημοφιλών ερωτημάτων. - Επιλογή καταχωρήσεων με κόστος-όφελος: για κάθε \((t,d)\) υπολογίζεται αναμενόμενη συνεισφορά \(P(q\ni t)\,w_{tq}w_{td}\) και προτιμώνται οι μεγαλύτερες, υπό περιορισμό χωρητικότητας. - Διατήρηση μικρού in-memory delta index για νέα/ενημερωμένα έγγραφα και περιοδική συγχώνευση με τον δίσκο (LSM-like compaction). - Αντικατάσταση με LRU/LFU ή με βάση χρησιμότητα/κόστος· TTL για φθαρμένη πληροφορία· tombstones/versioning για διαγραφές. - Στο ερώτημα, πρώτα ερωτάται η RAM δομή. Αν το top-\(k\) της RAM έχει βαθμολογίες μεγαλύτερες από ένα άνω φράγμα των πιθανών βαθμολογιών του δίσκου (με βάση μέγιστο \(sim\) και μέγιστο PageRank), δεν χρειάζεται ο δίσκος· αλλιώς γίνεται fallback και συγχώνευση αποτελεσμάτων. - Σε tiered indices, χρήση πολλαπλών επιπέδων (π.χ. RAM, SSD, HDD), με προαγωγή/υποβιβασμό εγγράφων ή καταχωρήσεων ανάλογα με συχνότητα πρόσβασης, στατικό σκορ και νεότητα, bloom filters ανά επίπεδο, και αναζήτηση σε επίπεδα με φθίνουσα σειρά προτεραιότητας.
β. Βασικές τεχνικές μείωσης διαστατικότητας: επιλογή χαρακτηριστικών, PCA/SVD, τυχαία προβολή, feature hashing, θέματα (LSI/LDA) και νευρωνικές αναπαραστάσεις/embeddings.
- LSI: πίνακας όρων-εγγράφων \(A\approx U_k\Sigma_k V_k^T\) με truncated SVD· τα έγγραφα αναπαριστώνται σε \(k\) λανθάνουσες διαστάσεις. Είναι γραμμική μέθοδος, μειώνει θόρυβο και συνωνυμία, αλλά δεν είναι πιθανοτική και συχνά δεν χειρίζεται καλά την πολυσημία.
- LDA: πιθανοτικό generative topic model· κάθε έγγραφο είναι μείγμα \(K\) θεμάτων και κάθε θέμα κατανομή πάνω σε όρους. Τα έγγραφα αναπαριστώνται με τις αναλογίες θεμάτων. Είναι ερμηνεύσιμο, μη αρνητικό, αλλά βασίζεται σε bag-of-words και απαιτεί επιλογή \(K\) και inference.
- Word2vec: νευρωνικά static word embeddings από τοπικά συμφραζόμενα (CBOW/skip-gram). Κάθε λέξη παίρνει ένα διάνυσμα, ανεξάρτητο από το περιβάλλον εμφάνισης· έγγραφο συνήθως αναπαριστάται με μέσο όρο/άθροισμα διανυσμάτων. Δεν διαχωρίζει πολυσημικές χρήσεις.
- BERT embeddings: contextual αναπαραστάσεις από Transformer· το διάνυσμα λέξης εξαρτάται από την πρόταση, άρα χειρίζεται καλύτερα πολυσημία και σύνταξη. Είναι υπολογιστικά ακριβό, συχνά απαιτεί fine-tuning και έχει μεγάλη διάσταση.
Κύριες διαφορές: LSI/LDA είναι αποσυνθέσεις του πίνακα όρων-εγγράφων (γραμμική vs πιθανοτική), ενώ word2vec/BERT είναι νευρωνικές αναπαραστάσεις (static vs contextual). LSI/LDA δίνουν ερμηνεύσιμες λανθάνουσες διαστάσεις/θέματα· τα embeddings όχι πάντα. Το BERT είναι το πιο εκφραστικό αλλά και το πιο ακριβό.
ΘΕΜΑ 3¶
Αξιοπιστία: δύο ανεξάρτητες λύσεις συμφωνούν · εμπιστοσύνη λύτη: υψηλή
α. Για κάθε σχετικό έγγραφο στη θέση \(r_i\), η ανάκληση είναι \(i/10\) και η ακρίβεια \(i/r_i\).
| \(i\) | M1 θέση | M1 recall | M1 precision | M2 θέση | M2 recall | M2 precision |
|---|---|---|---|---|---|---|
| 1 | 1 | 0.1 | 1.0000 | 1 | 0.1 | 1.0000 |
| 2 | 3 | 0.2 | 0.6667 | 5 | 0.2 | 0.4000 |
| 3 | 6 | 0.3 | 0.5000 | 11 | 0.3 | 0.2727 |
| 4 | 12 | 0.4 | 0.3333 | 14 | 0.4 | 0.2857 |
| 5 | 17 | 0.5 | 0.2941 | 30 | 0.5 | 0.1667 |
| 6 | 27 | 0.6 | 0.2222 | 34 | 0.6 | 0.1765 |
| 7 | 38 | 0.7 | 0.1842 | 61 | 0.7 | 0.1148 |
| 8 | 64 | 0.8 | 0.1250 | 80 | 0.8 | 0.1000 |
| 9 | 81 | 0.9 | 0.1111 | 83 | 0.9 | 0.1084 |
| 10 | 98 | 1.0 | 0.1020 | 99 | 1.0 | 0.1010 |
Για το ομαλό/interpolated γράφημα, στα σημεία ανάκλησης \(0,0.1,\dots,1\) προκύπτει κατά προσέγγιση:
M1: \(1,1,0.667,0.5,0.333,0.294,0.222,0.184,0.125,0.111,0.102\).
M2: \(1,1,0.400,0.286,0.286,0.176,0.176,0.115,0.108,0.108,0.101\).
Η M1 υπερέχει σαφώς: επιστρέφει τα σχετικά έγγραφα νωρίτερα και έχει μεγαλύτερη ακρίβεια σχεδόν σε κάθε επίπεδο ανάκλησης. Ενδεικτικά, \(MAP_{M1}\approx0.354\) ενώ \(MAP_{M2}\approx0.273\).
β. Χρησιμοποιώ τη συνήθη μορφή
[
DCG_M=\sum_{i=1}^{10}\frac{2^{rel_i}-1}{\log_2(p_i+1)},\qquad
NDCG_M=\frac{DCG_M}{IDCG},
]
όπου \(p_i\) οι θέσεις των σχετικών. Τα πρώτα πέντε σχετικά έχουν \(rel_i=2\) (άρα εκθετικό gain \(3\)) και τα επόμενα πέντε \(rel_i=1\) (gain \(1\)).
Για την M1, \(p=(1,3,6,12,17,27,38,64,81,98)\):
[
DCG_{M1}=3\left(\frac1{\log_2 2}+\frac1{\log_2 4}+\frac1{\log_2 7}+\frac1{\log_2 13}+\frac1{\log_2 18}\right)
+\left(\frac1{\log_2 28}+\frac1{\log_2 39}+\frac1{\log_2 65}+\frac1{\log_2 82}+\frac1{\log_2 99}\right).
]
Για την M2, \(p=(1,5,11,14,30,34,61,80,83,99)\):
[
DCG_{M2}=3\left(\frac1{\log_2 2}+\frac1{\log_2 6}+\frac1{\log_2 12}+\frac1{\log_2 15}+\frac1{\log_2 31}\right)
+\left(\frac1{\log_2 35}+\frac1{\log_2 62}+\frac1{\log_2 81}+\frac1{\log_2 84}+\frac1{\log_2 100}\right).
]
Το \(IDCG\) είναι κοινό:
[
IDCG=3\left(\frac1{\log_2 2}+\frac1{\log_2 3}+\frac1{\log_2 4}+\frac1{\log_2 5}+\frac1{\log_2 6}\right)
+\left(\frac1{\log_2 7}+\frac1{\log_2 8}+\frac1{\log_2 9}+\frac1{\log_2 10}+\frac1{\log_2 11}\right).
]
Άρα \(NDCG_{M1}=DCG_{M1}/IDCG\), \(NDCG_{M2}=DCG_{M2}/IDCG\), και επειδή οι θέσεις των σχετικών της M1 είναι γενικά νωρίτερα από της M2, προκύπτει \(NDCG_{M1}>NDCG_{M2}\). Αν στο μάθημα χρησιμοποιείται γραμμικό gain \(g_i\) αντί για \(2^{rel_i}-1\), αντικαθιστούμε το \(3\) με \(2\) στους παραπάνω τύπους.
ΘΕΜΑ 4¶
Αξιοπιστία: δύο ανεξάρτητες λύσεις συμφωνούν · εμπιστοσύνη λύτη: μέτρια
α. Τρόποι επέκτασης κλασικών συστημάτων για πολυγλωσσική ανάκτηση: - Αναγνώριση γλώσσας ερωτήματος/εγγράφου και χρήση κατάλληλων αναλυτών (stemming/lemmatization, stopwords). - Μετάφραση ερωτήματος προς τις γλώσσες της συλλογής ή μετάφραση εγγράφων προς μία γλώσσα· εναλλακτικά και τα δύο. - Χρήση παράλληλων/συγκρίσιμων σωμάτων, δίγλωσσων λεξικών, pivot γλώσσας, στατιστικής μηχανικής μετάφρασης ή νευρωνικών μεταφραστικών μοντέλων. - Ενιαίο σημασιολογικό χώρο: πολυγλωσσικά embeddings (π.χ. multilingual BERT, LASER) ώστε ερώτημα και έγγραφα διαφορετικών γλωσσών να συγκρίνονται άμεσα. - Διατήρηση χωριστών ευρετηρίων ανά γλώσσα με κοινό docID και συγχώνευση αποτελεσμάτων με rank fusion/κανονικοποίηση βαθμολογιών, ή ενιαίο ευρετήριο με γλωσσικές ετικέτες. - Επέκταση ερωτήματος με μεταφράσεις/συνώνυμα, transliteration, και χειρισμό μορφολογίας. Τέλος, συγχώνευση αποτελεσμάτων από πολλαπλές μεταφρασμένες εκδοχές του ερωτήματος.
β. Συνωνυμία είναι η ύπαρξη διαφορετικών λέξεων με ίδια ή παρόμοια σημασία (π.χ. car/automobile). Αν το ερώτημα και το έγγραφο χρησιμοποιούν διαφορετική λέξη, το σύστημα μπορεί να αποτύχει να τα ταιριάξει, μειώνοντας την ανάκληση. Πολυσημία είναι μία λέξη να έχει πολλές σημασίες (π.χ. bank). Τότε η αναζήτηση μπορεί να επιστρέφει άσχετα έγγραφα για άλλη σημασία, μειώνοντας την ακρίβεια (ενώ η ανάκληση μπορεί να φαίνεται υψηλή αλλά με θόρυβο).
Τεχνικές αντιμετώπισης συνωνυμίας: θησαυροί/WordNet, query expansion, stemming/lemmatization, LSI/embeddings, pseudo-relevance feedback, spelling correction, μεταφραστικά λεξικά. Για την πολυσημία: word sense disambiguation, context-sensitive embeddings, phrase/proximity search, χρήση anchor text και δομής συνδέσμων. Το PageRank μπορεί να βοηθήσει στην πολυσημία στο web: για ένα αμφίσημο ερώτημα, σελίδες υψηλής authority για την επικρατούσα σημασία ανεβαίνουν, άρα η link-based βαθμολογία δρα ως έμμεση αποσαφήνιση προς τη δημοφιλή/έγκυρη σημασία· συνδυάζεται με το σκορ περιεχομένου.
γ. Σύμφωνα με την cluster hypothesis, έγγραφα στην ίδια συστάδα είναι πιθανώς σχετικά για παρόμοιες ανάγκες. Στο διανυσματικό μοντέλο μπορούμε να ενσωματώσουμε την πληροφορία συστάδας με όρους ή συστάδες: - Κάνουμε ομαδοποίηση εγγράφων και για κάθε συστάδα \(C_j\) υπολογίζουμε κέντρο \(\mu_j\). - Τροποποιούμε το διάνυσμα εγγράφου: \(d'_i=(1-\lambda)d_i+\lambda\mu_{C(d_i)}\), ή τη συνάρτηση ομοιότητας: [ S'(q,d_i)=(1-\lambda)\cos(q,d_i)+\lambda\cos(q,\mu_{C(d_i)}). ] Έτσι, έγγραφα που ανήκουν σε συστάδα με υψηλή ομοιότητα προς το ερώτημα «παρασύρονται» προς τα πάνω. - Εναλλακτικά, κάνουμε cluster-based retrieval: πρώτα βαθμολογούνται οι συστάδες με \(\cos(q,\mu_j)\) και μετά τα έγγραφα εντός των κορυφαίων συστάδων, ή γίνεται reranking των top αποτελεσμάτων με βάση τη συγγένεια προς την κορυφαία συστάδα/τα top έγγραφα. Μπορεί επίσης να χρησιμοποιηθεί cluster-based query expansion από τους όρους της κορυφαίας συστάδας.