Seshat: A tool for managing and verifying annotation campaigns of audio data
Abstract
We introduce Seshat, a new, simple and open-source software to efficiently manage annotations of speech corpora. The Seshat software allows users to easily customise and manage annotations of large audio corpora while ensuring compliance with the formatting and naming conventions of the annotated output files. In addition, it includes procedures for checking the content of annotations following specific rules that can be implemented in personalised parsers. Finally, we propose a double-annotation mode, for which Seshat computes automatically an associated inter-annotator agreement with the γ measure taking into account the categorisation and segmentation discrepancies.
Nous introduisons Seshat, un nouveau logiciel libre permettant d'efficacement gérer l'annotation de corpora de parole. Le logiciel Seshat permet aux utilisateurs de facilement spécifier et gérer l'annotation de corpora d'audio conséquents, tout en s'assurant que les fichiers des annotations respectent des conventions de formattage et de nommage prédéfinies. En outre, des procédures de vérification du contenu des annotations sont livrées dans Seshat, avec la possibilité d'inclure des parsers externes. Finalement, nous proposons un mode dit de "double annotation", dans lequel Seshat calcule automatiquement une mesure de la concordance inter-annotateur avec la mesure γ, qui prend en compte les différences de catégorisation et de segmentation.
Fichier principal
Seshat_2020_LREC_2020_Paper_Titeux_et_al__Final.pdf (560.54 Ko)
Télécharger le fichier
| Origin | Files produced by the author(s) |
|---|