A uniqueness result in the theory of stereo vision: Coupling Shape from Shading and Binocular Information allows Unambiguous Depth Reconstruction

Abstract

We study here the mathematical consistency of coupling two classical methods in the theory of vision and surface reconstruction, namely the shape from shading theory and the theory of stereo vision. It is known that each of these approaches by itself is incomplete and leads to ill posed problems and multiple solutions, even under drastic simplifying assumptions. We show in this paper that, from a mathematical point of vue, these ambiguities disappear when both theories are cooperatively implemented. In section 2 we state our assumptions; then part 3 is devoted to the presentation of the binocular vision theory. Section 4 eventually studies, in the one and two dimensional case, how introducing the shape from shading tool leads to the uniqueness of the solution. In the annex (section 6), a few mathematical results are explained, and some experiments (in 1 D) are presented.

Résumé

Nous étudions ici la consistance mathématique du couplage de deux méthodes classiques de reconstruction visuelle, à savoir la théorie du shape from shading, qui vise à retrouver le relief d’une surface à partir des ombres et variations d’intensité lumineuse de son image, et la théorie de la vision binoculaire (la « vision stéréo » au sens usuel). Chacune de ces approches est incomplète et conduit à des problèmes mal posés à solutions multiples. Dans cet article nous montrons que d’un point de vue mathématique ces inconvénients disparaissent lorsqu’on met à contribution de manière coopérative les deux méthodes.

Dans la section 2 on établit un certain nombre d’hypothèses simplificatrices, puis la partie suivante 3 est consacrée à la présentation de notre modèle de vision binoculaire. Finalement nous montrons (section 4) dans les cas uni- et bidimensionnel, comment l’introduction du shape from shading supprime les ambiguités. Le détail des résultats mathématiques de trouve en annexe, ainsi que la présentation de quelques résultats de simulations numériques (en dimension un).