S. NAJEM-MEYER ET M. ROMANELLO – Analyser la mise en page de commentaires classiques : approches textuelles, approches visuelles

L’analyse de la mise en page est une étape charnière du traitement de documents. La tâche consiste à segmenter une page en régions puis à classifier ces régions selon une taxonomie donnée. Si les modèles état de l’art affichent des résultats concluants sur des documents génériques (livres, cartes, relevés comptables…), ils sont en revanche mis au défi par la complexité graphique et le multilinguisme des commentaires classiques. D’une édition à l’autre, composition de ces derniers peut varier considérablement et les régions les plus importantes y sont mieux caractérisées par leur contenu sémantique que par leur apparence visuelle. Ce contexte particulier appelle une comparaison entre des approches textuelles, visuelles et hybrides. Nous évaluons donc les performances de deux transformers (LayoutLMv3 et RoBERTa) et d’un réseau de détection d’objets (YOLOv5). Si nos expériences donnent un un net avantage à YOLOv5, nous listons également une série mises en garde à l’égard de ces premiers résultats.

Un cahier jupyter offre une demonstration pratique de l’usage des modèles YOLOv5 pré-entraînés pour segmenter des commentaires disponibles dans l’Internet Archive.