Modeling Arabic Language using statistical methods - Inria - Institut national de recherche en sciences et technologies du numérique Access content directly
Journal Articles Arabian Journal for Science and Engineering Year : 2010

Modeling Arabic Language using statistical methods

Karima Meftouh
  • Function : Author
  • PersonId : 857254
Kamel Smaïli

Abstract

In this paper we propose to investigate statistical language models for Arabic. First, several experiments using different smoothing techniques are carried out on a small corpus extracted from a daily newspaper. The sparseness of the data leads us to investigate other solutions without increasing the size of the corpus. A word segmentation technique has been employed in order to increase the statistical viability of the corpus. An n-morpheme model has been developed which leads to a better performance in terms of normalized perplexity. The second experiment concerns the study of the behaviour of statistical models based on different kinds of corpora. The introduction of distant n-gram improves the baseline model. Finally we propose a comparative study of statistical language models for Arabic and several foreign languages. The objective of this study is to understand how to better model each of this languages. For foreign languages, trigram models are most appropriate whatever the smoothing technique used. For Arabic, the n-gram models of higher order smoothed with Witten Bell method are more efficient.
Dans ce papier, nous proposons d'étudier les modèles de langage statistiques pour la langue Arabe. Dans un premier temps, nous étudions plusieurs méthodes de lissage pour identifier celle qui s'adapte le mieux pour la langue Arabe. D'autant plus que dans notre cas nous ne disposions pas de corpus suffisamment large. Pour pallier l'insuffisance des données, nous avons segmenté les mots en morphèmes. Nous avons donc calculé un modèle de langage de morphèmes qui a donné de meilleurs résultats que que le modèle n-gramme. Nous avons ensuite testé des modèles distants pour examiner leurs apports dans la modélisation statistique de la langue Arabe. Enfin, nous avons étudié les modèles de langage de plusieurs langues endo-européennes que nous avons comparés avec le modèle pour la langue Arabe. L'objectif étant de savoir si les standards utilisés pour les langues endo-européennes s'adaptent à la langue Arabe.
Fichier principal
Vignette du fichier
Karima-Arabian-Journal.pdf (496.88 Ko) Télécharger le fichier
Origin : Files produced by the author(s)
Loading...

Dates and versions

inria-00582493 , version 1 (14-11-2017)

Identifiers

  • HAL Id : inria-00582493 , version 1

Cite

Karima Meftouh, Med Tayeb Tayeb Laskri, Kamel Smaïli. Modeling Arabic Language using statistical methods. Arabian Journal for Science and Engineering, 2010, Theme issue on Arabic Computing, 35 (2C), pp.69-82. ⟨inria-00582493⟩
110 View
142 Download

Share

Gmail Facebook Twitter LinkedIn More