Face aux limites de la démocratie représentative, les consultations numériques participatives publiques permettent de solliciter, à différents niveaux de pouvoir, des contributions ouvertes de citoyens pour essayer de mieux impliquer les individus dans les décisions politiques. Si leur conception et leur mise en place posent des problèmes relativement bien connus, nous nous intéressons dans cet article aux enjeux liés à l'analyse automatique de contributions en langage naturel par des méthodes issues de l'intelligence artificielle. Il s'agit là d'un problème difficile pour lequel il existe des méthodes nombreuses et variées. En considérant comme cas d'étude les contributions aux questions ouvertes du Grand Débat National et l'analyse officielle qui en a été produite, nous montrons qu'il est impossible de reproduire les résultats de cette analyse et que différentes méthodes mènent à des résultats différents. Nous identifions également des choix arbitraires non explicités qui conduisent à émettre des doutes sur certains résultats de l'analyse officielle. Notre étude met en lumière la nécessité d'une plus grande transparence dans l'analyse automatique de consultations ouvertes pour assurer la confiance du public dans leur restitution. Nous concluons par des pistes d'amélioration pour les consultations futures, afin qu'elles puissent être des outils utiles au débat public.