Estrazione di dati dal Web: lo Smallest Extraction Problem
Lo Smallest Extraction Problem (SEP) consiste nel trovare la grammatica che descrive meglio un insieme di pagine generate dallo stesso template HTML, così da separare il template dai dati ed estrarre questi ultimi senza supervisione. Le tesi possono partire da un'implementazione esistente degli algoritmi di inferenza. Possibili direzioni:
- Modello incrementale: aggiornare la grammatica man mano che arrivano nuove pagine e quando il template cambia, riconducendo il modello in termini probabilistici.
- Efficienza dell'inferenza: rendere la ricerca A* praticabile su insiemi di pagine più grandi, anche grazie a una formulazione probabilistica del modello.
- Dalle pagine indice alle pagine di dettaglio: riconoscere, tra i link delle pagine indice e di sezione, quelli che portano ai contenuti, seguirli e inferire il modello delle pagine raggiunte.
- Grammatiche e LLM: affidare a un LLM le scelte semantiche che la sola struttura delle pagine non permette di risolvere, ad esempio decidere se un testo ripetuto è un dato o parte del template, o scegliere tra grammatiche di costo simile.
Riferimenti: articolo (PVLDB, 2021) · sito di accompagnamento