Ανάκτηση Πληροφορίας — Ιανουάριος 2026¶
IMG_20260122_124210.jpg¶
ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ ΚΑΙ ΠΛΗΡΟΦΟΡΙΚΗΣ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΑΣ
ΑΝΑΚΤΗΣΗ ΠΛΗΡΟΦΟΡΙΑΣ
Διδάσκων: [όνομα παραλείπεται]
ΔΙΑΡΚΕΙΑ 3 ώρες
Σελίδες 2
ΘΕΜΑ 1 (Μονάδες 2,5)
α. Δώστε τον ορισμό της έννοιας μοντέλο ανάκτησης πληροφορίας και την διαφορά του από την έννοια γλωσσικό μοντέλο. Εξηγήστε τι κάνει ένα γλωσσικό μοντέλο και την διαφορά ανάμεσα από διακριτά (discrete, όπως τα n-gram models) και συνεχή (Large Language Models) γλωσσικά μοντέλα. Πως θα μπορούσε ένα γλωσσικό μοντέλο να χρησιμοποιηθεί ως μοντέλο ανάκτησης πληροφορίας. Απαντήστε και για διακριτά και για συνεχή μοντέλα.
β. Μία μεταμηχανή αναζήτησης διαχειρίζεται ερωτήματα χρησιμοποιώντας άλλες μηχανές και συγχωνεύοντας (με κάποια πολιτική) τα αποτελέσματά τους. Έστω λοιπόν μία μεταμηχανή που για ένα ερώτημα ρωτάει k μηχανές αναζήτησης και συγχωνεύει τις λίστες αποτελεσμάτων τους. Παρουσιάστε κατάλληλες πολιτικές συγχώνευσης για την παραγωγή του τελικού αποτελέσματος, αξιοποιώντας την ύπαρξη συστάδων ανάμεσα στα κείμενα.
γ. Σύμφωνα με την cluster hypothesis (υπόθεση ομαδοποίησης), κείμενα που ανήκουν στην ίδια συστάδα ομαδοποίησης είναι και σχετικά για παρόμοιες αιτήσεις. Μία ερμηνεία αυτής της υπόθεσης είναι ότι κείμενα που είναι σχετικά ψηλά στην αξιολόγηση σε ένα ερώτημα πρέπει να παρασύρουν και κείμενα της ίδιας ομάδας, ώστε να είναι αντίστοιχα ψηλά. Εξηγήστε πως το μοντέλο διανυσματικού χώρου θα μπορούσε να τροποποιηθεί ώστε να ενσωματώσει την πληροφορία αυτή.
ΘΕΜΑ 2 (Μονάδες 2,5)
α. Ένα σημαντικό πρόβλημα στο μοντέλο διανυσματικού χώρου είναι η μεγάλη διάσταση του χώρου που παράγεται καθώς το πλήθος των όρων, που αποτελεί και το μέγεθος του χώρου είναι γενικά μεγάλο. Το πρόβλημα αυτό μπορεί να αντιμετωπιστεί με τη χρήση τεχνικών μείωσης διαστατικότητας που αναπαριστούν και κείμενα και όρους σε χώρους αρκετά μικρότερης τάξεως. Περιγράψτε εν συντομά ποιες είναι οι βασικές τεχνικές μείωσης διαστατικότητας και ποιες οι διαφορές μεταξύ τους. Ειδικότερα εξετάστε τις τεχνικές LSI, LDA, Word Embeddings (word2vec), BERT και αναφέρετε τις μεταξύ τους διαφορές.
β. Θεωρήστε ότι έχουμε μία συλλογή κειμένων και όρων που περιγράφεται από τον ακόλουθο πίνακα:
| όρος1 | όρος2 | όρος3 | όρος4 | όρος5 | |
|---|---|---|---|---|---|
| Κειμ1 | 3 | 0 | 1 | 1 | 0 |
| Κειμ2 | 1 | 2 | 1 | 0 | 0 |
| Κειμ3 | 1 | 0 | 0 | 1 | 1 |
| Κειμ4 | 0 | 0 | 1 | 0 | 0 |
| Κειμ5 | 0 | 1 | 1 | 2 | 1 |
| Κειμ6 | 1 | 0 | 0 | 0 | 0 |
| Κειμ7 | 0 | 0 | 2 | 3 | 1 |
| Κειμ8 | 0 | 2 | 0 | 0 | 2 |
IMG_20260122_124220.jpg¶
i. Αναπαραστήστε τη συγκεκριμένη συλλογή χρησιμοποιώντας το μοντέλο διανυσματικού χώρου και εξηγήστε πως θα απαντηθεί το ερώτημα \(Q=\{\text{όρος}_1, \text{όρος}_2, \text{όρος}_4\}\). Περιγράψτε μόνο την αναπαράσταση και εξηγήστε την διαδικασία απάντησης χωρίς εκτέλεση πράξεων.
ii. Θεωρώντας ότι υπάρχουν μόνο οι όροι από 1 έως 3 δώστε την αναπαράσταση των όρων με χρήση του Μοντέλου Γενικευμένου διανυσματικού χώρου (Generalized Vector Space Model). Περιγράψτε μόνο την αναπαράσταση χωρίς εκτέλεση πράξεων.
ΘΕΜΑ 3 (Μονάδες 2,5)
α. Εξηγήστε πως το PageRank θα μπορούσε να χρησιμοποιηθεί για να αντιμετωπίσει το πρόβλημα της πολυσημίας κατά την διαδικασία του ψαξίματος στον Παγκόσμιο Ιστό. Είναι το PageRank επιρρεπές στο spamming και πως αυτό θα μπορούσε να αντιμετωπιστεί;
β. Θεωρήστε ένα σύστημα Ανάκτησης Πληροφορίας που αξιοποιεί το μοντέλο διανυσματικού χώρου (ή το BM25) χρησιμοποιώντας ανεστραμμένα αρχεία. Παρουσιάστε στρατηγικές απάντησης αποδοτική απάντησης ερωτημάτων τομής ή ένωσης λιστών όρων (υπόδειξη (αν και δεν είναι υποχρεωτική): θυμηθείτε τις έννοιες DAAT (Document At A Time) και TAAT (Term At A Time) επεξεργασίας που είχαμε πει στο μάθημα καθώς και τις στρατηγικές αποδοτικού pruning (μείωσης του μεγέθους των λιστών που διαχειριζόμαστε).
ΘΕΜΑ 4 (Μονάδες 2,5)
α. Θεωρώντας ότι ο αριθμός των επιστρεφόμενων κειμένων είναι 100, σχεδιάστε τα γραφήματα ανάκλησης ακρίβειας, για το ακόλουθο ερώτημα, όπως διατυπώθηκε σε δύο μηχανές (δίνονται ο αριθμός των σχετικών κειμένων και η θέση τους στο αποτέλεσμα):
- M1: Αριθμός: 10, θέση: 2, 3, 5, 10, 16, 25, 38, 57, 78, 87.
- M2: Αριθμός: 10, θέση: 1, 3, 4, 17, 26, 35, 60, 81, 89, 99.
Με βάση τα δύο προκύπτοντα γραφήματα συγκρίνετε μεταξύ τους τις δύο μηχανές
β. Συγκρίνετε τις δύο ανωτέρω μηχανές με χρήση της μετρικής Mean Reciprocal Rank (μέσος ανάστροφος βαθμός) και P@10.
γ. Περιγράψτε την μετρική NDCG (Κανονικοποιημένο Εκπτωτικό Σωρευτικό Κέρδος), και τη χρήση της για αξιολόγηση συστημάτων Ανάκτησης Πληροφορίας. Εξηγήστε πως θα μπορούσε η μετρική αυτή να λάβει υπόψιν της και το προφίλ του χρήστη που χρησιμοποιεί το σύστημα ανάκτησης.
ΚΑΛΗ ΕΠΙΤΥΧΙΑ!
Λύσεις (⚪ AI, μη επαληθευμένο)
Κατάσταση: ⚪ AI, μη επαληθευμένο Πηγή: λύσεις AI (deepseek-flash, gemini-3.7-flash), ανεξάρτητη επανάληψη και αντιπαραβολή· καμία δεν έχει ελεγχθεί από άνθρωπο
Προσοχή
Λύση από AI — ελέγξτε την· δεν έχει επαληθευτεί από άνθρωπο. Η ένδειξη «δύο λύσεις συμφωνούν» δεν σημαίνει ότι η απάντηση είναι σωστή.
AI λύσεις — 2026-01¶
Οι λύσεις γράφτηκαν από μοντέλα AI και δεν έχουν ελεγχθεί από άνθρωπο. Η αρίθμηση ακολουθεί το αρχείο θεμάτων.
Θέμα 1¶
Αξιοπιστία: δύο ανεξάρτητες λύσεις συμφωνούν · εμπιστοσύνη λύτη: υψηλή
α. Ως μοντέλο ανάκτησης πληροφορίας ορίζεται το τυπικό πλαίσιο που καθορίζει: (i) πώς αναπαρίστανται τα έγγραφα και τα ερωτήματα, (ii) ποια συνάρτηση ομοιότητας/συνάφειας χρησιμοποιείται και (iii) πώς παράγεται κατάταξη εγγράφων για ένα ερώτημα. Δεν ταυτίζεται με γλωσσικό μοντέλο: ένα γλωσσικό μοντέλο εκτιμά την πιθανότητα ακολουθιών λέξεων/όρων, δηλαδή μοντελοποιεί τη γλώσσα και όχι εκ προοιμίου τη συνάφεια εγγράφου-ερωτήματος.
Ένα διακριτό γλωσσικό μοντέλο (π.χ. n-gram) ορίζει κατανομές πάνω σε πεπερασμένο λεξιλόγιο μέσω συχνοτήτων/πιθανοτήτων μετάβασης και smoothing/backoff. Ένα συνεχές γλωσσικό μοντέλο (π.χ. Large Language Model) αναπαριστά λέξεις/ακολουθίες σε συνεχείς διανυσματικούς χώρους μέσω νευρωνικού δικτύου και προβλέπει την επόμενη λέξη ή κατανομή πάνω σε tokens.
Ως μοντέλο ανάκτησης, ένα γλωσσικό μοντέλο μπορεί να χρησιμοποιηθεί π.χ. με query likelihood: κατατάσσουμε έγγραφα κατά \(P(Q\mid D)\) ή ισοδύναμα κατά απόκλιση \(KL(Q\|D)\), όπου \(D\) είναι γλωσσικό μοντέλο του εγγράφου. Στα διακριτά μοντέλα αυτό γίνεται με unigram/n-gram μοντέλα εγγράφων και smoothing. Στα συνεχή μοντέλα μπορούμε να κωδικοποιήσουμε ερώτημα και έγγραφα σε διανύσματα (π.χ. BERT/LLM embeddings) και να τα κατατάξουμε με εσωτερικό γινόμενο/συνημίτονο, ή να χρησιμοποιήσουμε LLM για reranking/πιθανοφάνεια/επέκταση ερωτήματος.
β. Σε μεταμηχανή με \(k\) λίστες αποτελεσμάτων, αρχικά κανονικοποιούμε βαθμολογίες ή θέσεις (π.χ. min-max, z-score, Borda, Reciprocal Rank Fusion). Στη συνέχεια αξιοποιούμε συστάδες κειμένων ως εξής: - Ομαδοποιούμε τα έγγραφα της ένωσης των αποτελεσμάτων με βάση περιεχόμενο/embeddings ή συν-εμφάνιση στις λίστες. - Υπολογίζουμε βαθμολογία συστάδας \(S(C)\) από τις θέσεις/βαθμολογίες των μελών της στις επιμέρους μηχανές, π.χ. \(S(C)=\sum_e \max_{d\in C} s_e(d)\) ή CombMNZ/CombSUM πάνω στα μέλη της. - Κατατάσσουμε πρώτα τις συστάδες και μετά τα έγγραφα εντός τους, ή βαθμολογούμε τελικά \(F(d)=\lambda\, s_{\text{fusion}}(d)+(1-\lambda)S(C(d))\). - Μια ισχυρή εμφάνιση εγγράφου σε μία μηχανή «διαχέεται» στα υπόλοιπα μέλη της συστάδας, ενώ συμφωνία πολλών μηχανών σε ίδια συστάδα αυξάνει την εμπιστοσύνη και μειώνει spam/τυχαία αποτελέσματα. Μπορεί επίσης να χρησιμοποιηθεί για ποικιλομορφία/αποδιπλασιασμό αποτελεσμάτων.
γ. Στο μοντέλο διανυσματικού χώρου, η συνάφεια υπολογίζεται συνήθως με \(\cos(q,d_j)\). Για να ενσωματωθεί η υπόθεση ομαδοποίησης, μπορούμε: - να εξομαλύνουμε κάθε έγγραφο με το κέντρο της συστάδας του: \(w'_{ij}=(1-\alpha)w_{ij}+\alpha \mu_{C(d_j),i}\), όπου \(\mu_{C,i}\) το βάρος του όρου \(i\) στο κέντρο της συστάδας \(C\), - ή να προσθέσουμε στη βαθμολογία όρο συνάφειας με τη συστάδα: \(score(q,d_j)=sim(q,d_j)+\beta\, sim(q,C(d_j))\), - ή να διαδώσουμε βαθμολογίες εντός συστάδας: \(sim'(q,d_j)=sim(q,d_j)+\gamma\sum_{d_l\in C(d_j)}sim(d_j,d_l)\,sim(q,d_l)\), ενδεχομένως επαναληπτικά. Έτσι, έγγραφα που ανήκουν σε συστάδα με ήδη υψηλά σχετικά έγγραφα ανεβαίνουν στην κατάταξη.
Θέμα 2¶
Αξιοπιστία: δύο ανεξάρτητες λύσεις συμφωνούν · εμπιστοσύνη λύτη: μέτρια
α. Βασικές τεχνικές μείωσης διαστατικότητας: - LSI (Latent Semantic Indexing): εφαρμόζει truncated SVD στον πίνακα όρων-εγγράφων και προβάλλει σε λίγες ορθογώνιες λανθάνουσες διαστάσεις. Είναι γραμμική μέθοδος, συμπιέζει συνωνυμία/πολυσημία, αλλά δεν είναι πιθανοτικό μοντέλο και απαιτεί επιλογή τάξης. - LDA (Latent Dirichlet Allocation): γενετικό πιθανοτικό μοντέλο θεμάτων· κάθε έγγραφο είναι μείγμα θεμάτων και κάθε θέμα κατανομή πάνω σε όρους. Δίνει ερμηνεύσιμα θέματα και πιθανοτικές αναπαραστάσεις, αλλά απαιτεί inference και επιλογή αριθμού θεμάτων. - Word embeddings (word2vec): νευρωνικές πυκνές αναπαραστάσεις λέξεων από τοπικά συμφραζόμενα (CBOW/Skip-gram), χαμηλής διάστασης· αποτυπώνουν σημασιολογικές/συντακτικές σχέσεις. Είναι σε επίπεδο λέξης και συνήθως χρειάζεται συνάθροιση για έγγραφα. - BERT: βαθύ transformer μοντέλο με συμφραστικές αναπαραστάσεις· παράγει contextual embeddings και μπορεί να γίνει fine-tuning για ανάκτηση (bi-encoder/cross-encoder). Έχει πολύ μεγαλύτερη εκφραστικότητα και υπολογιστικό κόστος, καταπιάνει πολυσημία/συμφραζόμενα, αλλά δεν είναι απλό γραμμικό ή θεματικό μοντέλο όπως LSI/LDA.
β. i. Με το μοντέλο διανυσματικού χώρου, κάθε έγγραφο είναι διάνυσμα στον χώρο των 5 όρων, π.χ. με αρχικά βάρη συχνότητας: \(d_1=(3,0,1,1,0)\), \(d_2=(1,2,1,0,0)\), κ.ο.κ. Εναλλακτικά χρησιμοποιούνται βάρη tf-idf, \(w_{ij}=tf_{ij}\cdot idf_i\), και κανονικοποίηση μήκους. Το ερώτημα \(Q=\{\text{όρος}_1,\text{όρος}_2,\text{όρος}_4\}\) αναπαρίσταται στο ίδιο χώρο ως διάνυσμα \(q=(q_1,q_2,0,0,q_4)\), π.χ. με βάρη 1 ή tf-idf. Για την απάντηση υπολογίζεται η ομοιότητα κάθε εγγράφου με το \(q\), συνήθως \(\cos(q,d_j)=\frac{q\cdot d_j}{\|q\|\|d_j\|}\), και τα έγγραφα κατατάσσονται κατά φθίνουσα ομοιότητα· επιστρέφονται τα κορυφαία.
ii. Στο Generalized Vector Space Model (GVSM) οι όροι δεν θεωρούνται ορθογώνιοι, αλλά συσχετίζονται μέσω της συν-εμφάνισής τους στα έγγραφα. Κρατάμε μόνο τους όρους 1,2,3, δηλαδή τον υποπίνακα \(M\) με γραμμές τα 8 έγγραφα και στήλες τους 3 όρους. Οι όροι μπορούν να αναπαρασταθούν ως διανύσματα στον χώρο των εγγράφων: \(t_1=(3,1,1,0,0,1,0,0)^T\), \(t_2=(0,2,0,0,1,0,0,2)^T\), \(t_3=(1,1,0,1,1,0,2,0)^T\). Ισοδύναμα, ορίζεται ο πίνακας συσχέτισης όρων \(C=M^T M\), με \(c_{ij}=t_i^T t_j=\sum_{d} w_{d i}w_{d j}\) για \(i,j\in\{1,2,3\}\). Η αναπαράσταση του όρου \(i\) είναι το διάνυσμα των συσχετίσεών του με τους υπόλοιπους όρους, \((c_{i1},c_{i2},c_{i3})\). Η ομοιότητα εγγράφου-ερωτήματος υπολογίζεται με την τετραγωνική μορφή \(w_d^T C w_q\) (με κατάλληλη κανονικοποίηση). Δεν εκτελούνται εδώ οι αριθμητικές πράξεις.
Θέμα 3¶
Αξιοπιστία: δύο ανεξάρτητες λύσεις συμφωνούν · εμπιστοσύνη λύτη: υψηλή
α. Το PageRank δίνει ένα μέτρο κύρους/αυθεντίας σελίδας ανεξάρτητο από το ερώτημα, με βάση το γράφο συνδέσμων. Σε ερώτημα με πολυσημία μπορεί να βοηθήσει έμμεσα: σελίδες υψηλού PageRank για μια σημασία είναι συνήθως πιο έγκυρες/δημοφιλείς, και συνδυαζόμενες με κειμενική συνάφεια ή anchor text μπορούν να αναδείξουν την επικρατούσα σημασία. Καλύτερα αποτελέσματα δίνουν topic-sensitive/query-specific PageRank, όπου η τηλεμεταπήδηση (teleport) καθοδηγείται από το ερώτημα/θέμα, ή ομαδοποίηση αποτελεσμάτων κατά σημασία. Το PageRank μόνο του δεν λύνει πλήρως την πολυσημία· χρειάζεται συνδυασμό με περιεχόμενο και πλαίσιο.
Το PageRank είναι επιρρεπές σε spamming (link spam, link farms, Google bombing, αμοιβαίοι σύνδεσμοι, τεχνητές δομές). Αντιμετωπίζεται με: απόσβεση/random jump, εντοπισμό και υποβάθμιση spam γράφων, TrustRank/anti-spam τεχνικές, nofollow, φίλτρα για ασυνήθιστα μοτίβα συνδέσμων, χρήση κειμένου/anchor text και query-dependent/προσωποποιημένη κατάταξη, ώστε να μην αρκεί μόνο η τεχνητή συνδεσμολογία.
β. Με ανεστραμμένο αρχείο, οι λίστες όρων είναι διατεταγμένες κατά docID και συμπιεσμένες. Για τομή (AND): - χρησιμοποιείται συγχώνευση/intersection με δείκτες προσπέλασης και skip pointers, - επεξεργαζόμαστε πρώτα τη μικρότερη λίστα, - σε DAAT κρατάμε τρέχον docID για κάθε όρο και προχωράμε στη μέγιστη θέση, ελέγχοντας αν όλοι οι όροι συμφωνούν, - σε TAAT συσσωρεύονται μετρήσεις/βαθμοί και φιλτράρονται υποψήφια έγγραφα. Για ένωση (OR) σε Boolean ανάκτηση γίνεται k-way merge των λιστών και αφαίρεση διπλοτύπων· σε βαθμολογημένη ανάκτηση (VSM/BM25) συσσωρεύονται βαθμοί για όλα τα έγγραφα.
Για αποδοτική παραγωγή top-\(k\): - DAAT με heap και περικοπή: WAND, Block-Max WAND, MaxScore, όπου χρησιμοποιούνται άνω φράγματα βαθμολογίας των υπολοίπων όρων/μπλοκ και παράγονται μόνο έγγραφα που μπορούν να μπουν στο top-\(k\). - TAAT με συσσωρευτές και pruning: επεξεργασία όρων κατά φθίνουσα συμβολή/impact και τερματισμός όταν τα υπόλοιπα άνω φράγματα δεν ξεπερνούν το τρέχον κατώφλι. - Impact-ordered postings, skip pointers, block skipping, χρήση μικρότερων/σπανιότερων λιστών πρώτα, αποφυγή θέσεων όταν δεν απαιτούνται, και έγκαιρος τερματισμός. Για AND μπορεί να προηγηθεί φιλτράρισμα με τομή και μετά βαθμολόγηση.
Θέμα 4¶
Αξιοπιστία: δύο ανεξάρτητες λύσεις συμφωνούν · εμπιστοσύνη λύτη: υψηλή
α. Για \(P=\) πλήθος σχετικών μέχρι τη θέση \(r\) και 10 συνολικά σχετικά, ισχύει \(R=P/10\) και \(Precision=P/r\).
M1: | Θέση | Σχετικά μέχρι εδώ | Recall | Precision | |---:|---:|---:|---:| | 2 | 1 | 0.1 | 0.500 | | 3 | 2 | 0.2 | 0.667 | | 5 | 3 | 0.3 | 0.600 | | 10 | 4 | 0.4 | 0.400 | | 16 | 5 | 0.5 | 0.3125 | | 25 | 6 | 0.6 | 0.240 | | 38 | 7 | 0.7 | 0.184 | | 57 | 8 | 0.8 | 0.140 | | 78 | 9 | 0.9 | 0.115 | | 87 | 10 | 1.0 | 0.115 |
M2: | Θέση | Σχετικά μέχρι εδώ | Recall | Precision | |---:|---:|---:|---:| | 1 | 1 | 0.1 | 1.000 | | 3 | 2 | 0.2 | 0.667 | | 4 | 3 | 0.3 | 0.750 | | 17 | 4 | 0.4 | 0.235 | | 26 | 5 | 0.5 | 0.192 | | 35 | 6 | 0.6 | 0.171 | | 60 | 7 | 0.7 | 0.117 | | 81 | 8 | 0.8 | 0.099 | | 89 | 9 | 0.9 | 0.101 | | 99 | 10 | 1.0 | 0.101 |
Τα γραφήματα είναι ακρίβεια στον άξονα \(y\) και ανάκληση στον άξονα \(x\)· στα μη σχετικά έγγραφα η ακρίβεια πέφτει στο ίδιο επίπεδο ανάκλησης. Η M2 υπερτερεί στο πολύ χαμηλό recall (πρώτο σχετικό στη θέση 1) και τοπικά γύρω από recall 0.3. Η M1 υπερτερεί για τα περισσότερα ενδιάμεσα/υψηλότερα επίπεδα ανάκλησης και έχει περισσότερα σχετικά στα πρώτα 10. Οι καμπύλες τέμνονται· η M2 είναι καλύτερη για πολύ γρήγορο πρώτο αποτέλεσμα, ενώ η M1 είναι πιο σταθερή στα αρχικά top-10.
β. P@10: - M1: σχετικά στις θέσεις 2,3,5,10, άρα \(4/10=0.4\). - M2: σχετικά στις θέσεις 1,3,4, άρα \(3/10=0.3\). Στο P@10 υπερτερεί η M1.
MRR/Reciprocal Rank για ένα ερώτημα: - M1: πρώτο σχετικό στη θέση 2, άρα \(RR=1/2=0.5\). - M2: πρώτο σχετικό στη θέση 1, άρα \(RR=1/1=1.0\). Για ένα μόνο ερώτημα, \(MRR=RR\). Επομένως στο MRR υπερτερεί η M2.
γ. Το NDCG αξιολογεί βαθμολογημένη συνάφεια και λαμβάνει υπόψη τη θέση. Για κατάταξη μήκους \(p\): \(DCG_p=\sum_{i=1}^{p}\frac{2^{rel_i}-1}{\log_2(i+1)}\) (ή απλούστερα \(rel_i/\log_2(i+1)\)), όπου \(rel_i\) η συνάφεια του εγγράφου στη θέση \(i\). Το \(IDCG_p\) είναι το DCG της ιδανικής κατάταξης με τα ίδια έγγραφα. Τότε: \(NDCG_p=\frac{DCG_p}{IDCG_p}\in[0,1]\). Χρησιμοποιείται για σύγκριση συστημάτων ακόμη και όταν η συνάφεια είναι διαβαθμισμένη, δίνοντας μεγαλύτερη βαρύτητα στα ψηλά αποτελέσματα.
Για να ληφθεί υπόψη το προφίλ χρήστη, μπορεί να αντικατασταθεί η συνάφεια \(rel_i\) με προσωποποιημένο κέρδος \(g_u(d_i)\) που εξαρτάται από τα ενδιαφέροντα/θέματα του χρήστη, π.χ. \(g_u(d_i)=rel_i\cdot \pi_u(d_i)\) ή βάσει ομοιότητας με το προφίλ. Μπορεί επίσης να προσωποποιηθεί η έκπτωση θέσης, π.χ. \(\log_2(1+i\cdot a_u)\), ώστε να αντανακλά την προσοχή/υπομονή του χρήστη. Το \(IDCG\) υπολογίζεται με τα ίδια προσωποποιημένα κέρδη, ώστε το NDCG να συγκρίνει κατατάξεις για τον συγκεκριμένο χρήστη.