Constrained text generation to measure reading performance: A new approach based on multivalued decision diagrams
Génération de texte sous contraintes pour mesurer des performances de lecture : Une nouvelle approche basée sur les diagrammes de décisions multivalués
Résumé
Measuring reading performance is one of the most widely used methods in ophthalmology clinics to judge the effectiveness of treatments, surgical procedures, or rehabilitation techniques. However, reading tests are limited by the small number of standardized texts available. For the MNREAD test, which is one of the reference tests used as an example in this paper, there are only two sets of 19 sentences in French. These sentences are challenging to write because they have to respect rules of different kinds (e.g.,related to grammar, length, lexicon, and display). They are also tricky to find : out of a sample of more than three million sentences from children’s literature, only four satisfy the criteria of the MNREAD reading test. To obtain more sentences, we propose an original approach to text generation that considers all the rules at the generation stage. Our approach is based on Multi-valued Decision Diagrams (MDD). First, we represent the corpus by n-grams and the different rules by MDDs, and then we combine them using operators, notably intersections. The results obtained show that this approach is promising, even if some problems remain, such as memory consumption or a posteriori validation of the meaning of sentences. In 5-gram, we generate more than 4000 sentences that meet the MNREAD criteria and thus easily provide an extension of a 19-sentence set to the MNREAD test.
Mesurer les performances de lecture est l’une des méthodes les plus utilisées en clinique ophtalmologique pour juger de l’efficacité des traitements, des procédures chirurgicales ou des techniques de rééducation. Cependant, l’utilisation des tests de lecture est limitée par le faible nombre de textes standardisés disponibles. Pour le test MNREAD, qui est l’un des tests de référence pris comme exemple dans ce papier, il ne comporte que deux jeux de 19 phrases en français. Ces phrases sont difficiles à écrire car elles doivent respecter des règles de différentes natures (e.g., liées à la grammaire, la longueur, le lexique et l’affichage). Ils sont aussi difficile à trouver : Sur un échantillon de plus de trois millions de phrases issues d’ouvrages de la littérature jeunesse, seulement quatre satisfont les critères du test de lecture MNREAD. Pour obtenir davantage de phrases, nous proposons une approche originale de génération de texte qui prenne en compte l’ensemble des règles dès la génération. Notre approche est basée sur les Multi-valued Decision Diagrams (MDD). Nous représentons le corpus par des n-grammes et les différentes règles par des MDD, puis nous les combinons à l’aide d’opérateurs, notamment des intersections. Les résultats obtenus montrent que cette approche est prometteuse, même si certains problèmes demeurent comme la consommation mémoire ou la validation a posteriori du sens des phrases. En 5-gramme, nous engendrons plus de 4000 phrases qui respectent les critères MNREAD et proposons ainsi facilement une extension d’un jeu de 19 phrases au test MNREAD.
Origine | Fichiers produits par l'(les) auteur(s) |
---|