A New 2.5D and 3D human face reconstruction approach for recogntion

Abstract

Cet article présente une nouvelle approche de numérisation tridimensionnelle de visages à base d\'un capteur stéréoscopique actif. Elle est destinée à la reconnaissance faciale, enrichie par des informations de forme 3D. Après une étape d\'étalonnage en vue d\'estimer les paramètres intrinsèques et extrinsèques du capteur stéréo, la partie active (vidéo projecteur) projette une lumière texturante permettant la discrimination et la localisation sous-pixélique de deux ensembles de primitives sur les images stéréo. La mise en correspondance de ces ensembles se fait à l\'aide de notre adaptation de la programmation dynamique, où, l\'exploitation de la géométrie épipolaire, associée à d\'autres contraintes, permet de réduire la complexité du problème initialement bidimensionnel à un problème monodimensionnel. L\'information profondeur est, par conséquent, retrouvée par triangulation optique, suivie d\'étapes d\'interpolation et de maillage 3D en vue d\'aboutir à des modèles partiels 2.5D de visage. Finalement, des opérations de registration, de fusion et de mappage de texture achèvent la reconstruction du modèle complet. Une évaluation de nos résultats par rapport à ceux obtenus par une technologie laser est
également présentée.
In this paper, we propose a complete 2.5D and 3D human face acquisition framework based on a stereo sensor coupled with a structured lighting source. We aim to develop an accurate and low-cost solution dedicated to the 3D model-based face recognition techniques (FRT). First, we calibrate the stereo sensor in order to estimate its optical characteristics and geometrical parameters (the offline phase). Second, epipolar geometry coupled with a projection of special structured light on a face (the online capture phase), improves the resolution of the stereo matching problem, by transforming it into a one-dimensional search problem and a sub-pixel features matching. Next, we apply our adapted and optimized dynamic programming algorithm to pairs of features which are already located in each scanline. Finally, 3D information is found by computing the intersection of optical rays coming from each pair of matched features. The achieved
face model is produced by a pipeline of four steps: (a) Spline-based interpolation, (b) Partial models\' alignment then integration, (c) Mesh generation, and (d) Texture mapping. We present, furthermore, some reconstruction results and discuss both qualitative and quantitative evaluations of the proposed reconstruction scheme.
Keywords: Vison active, reconstruction de visages, appariement stéréo, Splines cubiques, reconnaissance faciale.; Active stereo, face modeling, stereo matching, cubic Splines, 3D face recognition.

Journal des Sciences Pour l\'Ingénieur. Vol. 7 2006: pp. 37-44