Face aux limites de la démocratie représentative, les consultations numériques participatives publiques permettent de solliciter, à différents niveaux de pouvoir, des contributions de citoyens pour essayer de mieux impliquer les individus dans les décisions politiques. Leur conception et leur mise en place posent des problèmes bien connus tels que les biais dans les questions ou la représentativité de la population participante. Nous considérons, dans cet article, les problèmes nouveaux liés à l'utilisation de méthodes issues de l'intelligence artificielle pour l'analyse automatique de contributions en langage naturel. Réaliser une telle analyse est un problème difficile pour lequel il existe de nombreuses méthodes reposant sur des hypothèses et des modèles variés. En considérant comme cas d'étude les contributions aux questions ouvertes du Grand Débat National, nous montrons qu'il est impossible de reproduire les résultats de l'analyse officielle commandée par le gouvernement. En outre, nous identifions des choix arbitraires non explicités dans l'analyse officielle qui conduisent à émettre des doutes sur certains de ses résultats. Nous montrons également que différentes méthodes peuvent mener à des conclusions différentes. Notre étude met ainsi en lumière la nécessité d'une plus grande transparence dans les analyses automatiques de consultations ouvertes pour assurer leur reproductibilité et la confiance du public dans leur restitution. Nous concluons par des pistes d'amélioration des consultations participatives et de leur analyse pour qu'elles puissent inciter à la participation et être des outils utiles au débat public.