Towards a Cognitive Vision Platform for Semantic Image Interpretation; Application to the Recognition of Biological Organisms
Résumé
This work deals with cognitive vision and in particular semantic image interpretation.
One of the main challenges of cognitive vision is to develop a flexible, adaptable system, capable of performing complex image analysis tasks and of extracting information from various scenes and images. The objective of this thesis is to cope with this challenging problem by the design of a reusable and generic cognitive vision platform for the complex problem of semantic image interpretation. We are interested in both the cognitive issues and the software engineering ones involved in the design of such a platform. The proposed cognitive vision platform is a unified environment which proposes generic and reusable tools for the design of complete semantic image interpretation systems.
The semantic image interpretation problem is complex and can be divided into three more-tractable sub-problems: (1) the semantic interpretation, (2) the problem of the map- ping between high level representations of physical objects and the sensor data extracted from images, (3) the image processing problem. To manage and separate the different sources of knowledge and reasoning, we propose a distributed architecture based on the cooperation of three Knowledge Based Systems (KBS). Each KBS is highly specialized for the corresponding sub-problem of semantic image interpretation. For each sub-problem, we define a dedicated engine and a unified knowledge representation model.
The implementation of the cognitive vision platform has been made with the LAMA platform, a software platform for the development of knowledge based systems, designed in the ORION team.
To validate our cognitive vision platform, we have chosen a real world application: the early diagnosis of plant diseases. In particular, we have studied the rose leaf diseases in greenhouses. This work has been made in cooperation with INRA (French National Institute for Research in Agronomy).
One of the main challenges of cognitive vision is to develop a flexible, adaptable system, capable of performing complex image analysis tasks and of extracting information from various scenes and images. The objective of this thesis is to cope with this challenging problem by the design of a reusable and generic cognitive vision platform for the complex problem of semantic image interpretation. We are interested in both the cognitive issues and the software engineering ones involved in the design of such a platform. The proposed cognitive vision platform is a unified environment which proposes generic and reusable tools for the design of complete semantic image interpretation systems.
The semantic image interpretation problem is complex and can be divided into three more-tractable sub-problems: (1) the semantic interpretation, (2) the problem of the map- ping between high level representations of physical objects and the sensor data extracted from images, (3) the image processing problem. To manage and separate the different sources of knowledge and reasoning, we propose a distributed architecture based on the cooperation of three Knowledge Based Systems (KBS). Each KBS is highly specialized for the corresponding sub-problem of semantic image interpretation. For each sub-problem, we define a dedicated engine and a unified knowledge representation model.
The implementation of the cognitive vision platform has been made with the LAMA platform, a software platform for the development of knowledge based systems, designed in the ORION team.
To validate our cognitive vision platform, we have chosen a real world application: the early diagnosis of plant diseases. In particular, we have studied the rose leaf diseases in greenhouses. This work has been made in cooperation with INRA (French National Institute for Research in Agronomy).
Ces travaux de thèse ont pour but de faire des avancées dans le domaine de la vision cognitive en proposant une plate-forme fonctionnelle et logicielle pour le problème complexe de l'interprétation sémantique d'images. Nous nous sommes focalisés sur la proposition de solutions génériques et indépendantes de toute application. Plus qu'une solution à un problème spécifique, la plate-forme proposée est une architecture minimale qui fournit des outils réutilisables pour la conception de systèmes d'interprétation sémantique d'images.
Le problème de l'interprétation sémantique d'images est un problème complexe qui peut se séparer en 3 sous-problèmes plus faciles à résoudre en tant que problèmes indépendants: (1) l'interprétation sémantique, (2) la gestion des données visuelles pour la mise en correspondance des représentations abstraites haut niveau de la scène avec les données image issues des capteurs et (3) le traitement d'images. Nous proposons une architecture distribuée qui se base sur la coopération de trois systèmes à base de connaissances (SBCs).
Chaque SBC est spécialisé pour un des sous problèmes de l'interprétation d'images. Pour chaque SBC nous avons proposé un modèle générique en formalisant la connaissance et des stratégies de raisonnement dédiées. De plus, nous proposons d'utiliser deux ontologies pour faciliter l'acquisition de la connaissance et permettre l'interopérabilité entre les trois différents SBCs.
Un travail d'implémentation de la plate forme de vision cognitive a été fait à l'aide de la plate-forme de développement de systèmes à base de connaissances LAMA conçue par l'équipe ORION.
Les solutions proposées ont été validées sur une application concrète et difficile: le diagnostic précoce des pathologies végétales et en particulier des pathologies du rosier de serre. Ce travail a été effectué en coopération avec l'INRA (Institut National de la Recherche Agronomique).
Le problème de l'interprétation sémantique d'images est un problème complexe qui peut se séparer en 3 sous-problèmes plus faciles à résoudre en tant que problèmes indépendants: (1) l'interprétation sémantique, (2) la gestion des données visuelles pour la mise en correspondance des représentations abstraites haut niveau de la scène avec les données image issues des capteurs et (3) le traitement d'images. Nous proposons une architecture distribuée qui se base sur la coopération de trois systèmes à base de connaissances (SBCs).
Chaque SBC est spécialisé pour un des sous problèmes de l'interprétation d'images. Pour chaque SBC nous avons proposé un modèle générique en formalisant la connaissance et des stratégies de raisonnement dédiées. De plus, nous proposons d'utiliser deux ontologies pour faciliter l'acquisition de la connaissance et permettre l'interopérabilité entre les trois différents SBCs.
Un travail d'implémentation de la plate forme de vision cognitive a été fait à l'aide de la plate-forme de développement de systèmes à base de connaissances LAMA conçue par l'équipe ORION.
Les solutions proposées ont été validées sur une application concrète et difficile: le diagnostic précoce des pathologies végétales et en particulier des pathologies du rosier de serre. Ce travail a été effectué en coopération avec l'INRA (Institut National de la Recherche Agronomique).
Loading...