UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL TRƯƠNG XUÂN HÀ ESTIMATION DE PROFONDEURS AVEC UNE CAMERA PLENOPTIQUE ƯỚC LƯỢNG ĐỘ SÂU CỦA ẢNH VỚI CAMERA PLENOPTIQUE MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE Spécialité: Les systèmes intelligents et Multimédias (SIM) Code: Programme pilote Sous la direction de: PhD Christophe CUDEL - Maître de conférences, HDR, Université de haute- Alsace, France HÀ NỘI – 2015 ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs La source des informations citées dans ce mémoire a été bien précisée LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu riêng Các số liệu, kết nêu Luận văn trung thực chưa công bố công trình khác Các thông tin trích dẫn Luận văn rõ nguồn gốc Fait Mulhouse, le 30 Octobre 2014 Mulhouse, Ngày 30 tháng 10 năm 2014 TRUONG Xuan Ha Table des matières Table des matières Remerciements Résumé Table des figures Table des tableaux Introduction Générale Chapitre – Contexte et Sujet 11 1.1 Introduction du laboratoire MIPS – Université de Haut-Alsace 11 1.2 Caméras 3D ou caméras RGB-D (Red, Green, Blue, Depth) 12 1.3 Description de sujet 13 Chapitre – Caméra plénoptique 15 2.1 Historique des caméras plénoptiques 15 2.2 Principe des caméras plénoptique 17 2.2.1 Introduction de la fonction plénoptique 17 2.2.2 Fonction plénoptique : modèle de Ren Ng 18 2.2.3 Modélisation des rayons : Approche de RenNg 19 2.2.4 Modélisation des rayons : Approche alternative de T Georgiev 21 2.2.5 Capture des rayons avec des microlentilles 23 2.2.6 Les vues déduites d’une image brute d’une caméra plénoptique 2.0 26 2.2.7 Refocalisation avec une camera plénoptique 2.0 30 2.2.8 Mesure de la profondeur avec une camera plénoptique 2.0 31 Chapitre – Mesure de la profondeur 33 3.1 Description de la camera plénoptique de Raytrix au laboratoire MIPS 33 3.2 Image virtuelle 35 3.3 Le principe de mesure de la profondeur 35 3.4 Extension de la méthode d'estimation de la profondeur 39 3.5 Expérimentations 41 3.5.1 Sélection des pics d’intensité 43 3.5.2 Mise en correspondance 44 3.5.3 Résultats 45 Conclusion et Perspective 50 REFERENCES 53 Remerciements Je fais mon stage de fin d’études en France du Mai 2014 au Novembre 2014 Pendant six mois, j’ai eu la chance de travailler dans un environnement de recherche professionnel et ouvert auquel j’ai retenu beaucoup de connaissances et de défis aussi J’ai également eu des contacts avec des professeurs merveilleux et des jeunes chercheurs intelligents et très aimables J’ai eu la chance de rencontrer de nouveaux amis français et vietnamiens aussi Grace leur soutien, j’ai pu passer les difficultés et continuer mon chemin de recherche Je remercie Monsieur Christophe CUDEL, mon responsable de stage, Maître de conférences HdR l’IUT de Mulhouse, pour les conseils qu’il m’apporté, pour sa disponibilité, ses explications et sa patience Je remercie également le professeur Olivier HAEBERLE, directeur du MIPS, pour m’avoir permis de faire mon stage au laboratoire Merci aux autres professeurs, ingénieurs et thésards qui travaillent au laboratoire, pour vos passions et humeurs, et votre accueil sympathique Je tiens remercier Monsieur HO Tuong Vinh, le responsable de la spécialité SIM de l’Institut de la Francophonie pour l’Informatique pour le suivi qu’il m’a accordé pendant ces six mois et aussi pendant ans des études l’IFI Je remercie également les stagiaires de Master rencontrés durant ce stage : Rami, Jerry et la thésarde Cécile RIOU, pour les discussions variées, les échanges propos de nos stages et les idées originales qu’ils m’ont donnés pendant mon stage et aussi les bons moments ensembles Enfin, un grand merci mes parents et ma famille, qui me financent ces années de l’étude en France, leur encouragement et leur soutien inconditionnel Résumé L’estimation de la profondeur dans l’image est étudiée depuis longtemps en domaine de vision par ordinateur, de nombreuses recherches se déroulent sur ce thème Les caméras 3D (ou camera RGB-D) peuvent se classifier en deux catégories, passives et actives En général, les cameras passives se basent sur la stéréovision et la mise en correspondance des pixels des deux vues capturées, ce type de cameras permettent de calculer la carte de profondeur d’une scène Les cameras actives utilisent une source d’illumination permettant d’extraire une information 3D, cela permet de texturer des zones uniformes et ainsi faciliter la mise en correspondance entre des images obtenues (Kinect) ou d’estimer la profondeur en calculer le temps de vol entre une onde incidente et une onde réfléchie En cadre de ce stage au laboratoire MIPS, je travaille sur un nouveau type de caméra RGBD : la camera plénoptique En plaçant une grille des microlentilles entre la lentille principale et le capteur image, ce type de camera peut capturer l’orientation de rayons passant par le système optique (ou Light Field) Elle permet donc extraire des informations 3D de l’image comme la profondeur Dans ce rapport, je présente contexte de sujet, mon analyse sur le travail réalisé, une méthode de mesure de la profondeur que nous avons développée en utilisant des redondances capturées, la méthode de chercher les points correspondant et une application industrielle en perspective Abstract The depth estimation has been studied for a long time in computer vision, many researches focus on this subject 3D cameras can be classified into two categories, active and passive Passive cameras are generally used in stereovision to calculate a depth map (or disparity) of a scene This depth maps is obtained by matching the feature pixels of views given by acquisitions This is a difficult step when images present many uniform areas Active cameras use an illumination to extract 3D information Illumination can be used to texturize uniform areas and then facilitate the matching between a reference image and the current image They can also measure the time of flight of modulated light to compute the depth of a scene During this internship, I have worked on a new type of RGB-D camera: Light field Camera (plenoptic camera) By placing a micro-lens array between the main lens and photo sensor, the direction of lights that pass through optic system can be recorded So, 3D information can be extracted like the depth This text presents the context of research, our analyses of plenoptic camera, the methods for obtaining the correspondence points and for depth estimation and we have developed In the experiments, we show a potential industrial application that can be used in fact Table des figures Figure L’organisation actuelle du laboratoire MIPS – IUT – UHA 11 Figure Les composants de la camera de Raytrix 13 Figure Caméra Plénoptique de Raytrix au laboratoire MIPS 14 Figure Image brute et une partie capturées par la caméra de Raytrix 14 Figure Capture de la fonction plénoptique par Lippmann en 1908 15 Figure Les produits commerciaux de caméras plénoptiques 16 Figure Fonction plénoptique avec un vecteur 4D 17 Figure Le trajet de rayon dans la camera se présente sur l’espace de rayon 18 Figure Le trajet d’un cône des rayons dans la caméra correspond un pixel 19 Figure 10 La projection de la fonction plénoptique est modifiée quand le plan de focalisation change 20 Figure 11 Transformation de coordonnées dans l’espace de rayon 21 Figure 12 Décomposition du parcours d’un rayon travers une lentille pour le caractériser sous forme matricielle 22 Figure 13 Les versions 1.0 et 2.0 des caméras plénoptiques 24 Figure 14 Image brute d'une caméra plénoptique 1.0 25 Figure 15 Image brute d’une caméra plénoptique 2.0 (réalisée au laboratoire) 25 Figure 16 Image brute d'une caméra 2.0 Localisation des espaces (u, v, x, y) 26 Figure 17 Principe de la formation des images "sub-apertures" 27 Figure 18.L’image de sous-apertures et la vue centrale synthétisées par la méthode de caméra plénoptique de T.Geogiev 28 Figure 19 La méthode de calcul la carte de disparité de Todor Georgiev 28 Figure 20 Synthétisation de l’image épipolaire sur lignes 29 Figure 21 Transformation de radiance pour la re-focalisation 30 Figure 22 La méthode de refocalisation de Geogiev 30 Figure 23 Les résultats de refocalisation par Geogiev 31 Figure 24 Estimation de la profondeur par la méthode de Bishop 31 Figure 25 Estimation de la profondeur par les images épipolaires de Wanner 32 Figure 26 La grille hexagonale des types de microlentilles 33 Figure 27 L'effet des différentes focales des types de microlentilles 34 Figure 28 Le processus de l’image dans une caméra plénoptique 34 Figure 29 Le nombre de l’image d'un point de la scène situant aux profondeurs différentes 35 Figure 30 La camera plénoptique de Funaki 36 Figure 31 Le principe d’estimation de la profondeur 36 Figure 32 Le principe de recherche des points correspondants du point central de la microlentille 38 Figure 33 Résultats obtenus par la méthode de Funaki et Al 39 Figure 34 Extension de la méthode de mesure de la profondeur 40 Figure 35 La projection de système sur le plan de la ligne épipolaire 41 Figure 36 Installation expérimentale 42 Figure 37 Image d’un spot capturée une hauteur de 30 cm La figure de droite montre les centres des microlentilles (en rouge) et les max d’intensités détectés (en vert) 42 Figure 38 Modèle d'interpolation parabolique 2D 43 Figure 39 Elimination des points maximaux erronés 45 Figure 40 Image brute capturée 45 Figure 41 Le nombre de pics détectés 30 cm, 55 cm et 85 cm 46 Figure 42 Histogrammes des distances |Δi − Δj| pour des acquisitions 30 cm (a), 55 cm (b) et 85 cm (c), calculées avec des microlentilles de type 46 Figure 43 Histogrammes de distances pour toute la plage de mesures 47 Figure 44 Relation entre la distance et la profondeur (microlentilles de type 1) 48 Figure 45 Ecart-type des distances |Δi − Δj| en fonction de la profondeur 49 Figure 46 pic détectée la plage de 30 cm, 55 cm et 80 cm 49 Table des tableaux Tableau La distance et l'écart-type calculés plages données 48 Introduction Générale Dans le cadre de ce mon stage de fin d’études de Master informatique, j’ai effectué un stage dont le sujet était : « Estimation de profondeurs avec une camera plénoptique » Ce stage s’est déroulé au laboratoire MIPS (Modélisation – Intelligence – Processus – Systèmes, EA2332) de l’Université de Haut-Alsace C’est un laboratoire de recherche interdisciplinaire Il rassemble toute la recherche liée aux disciplines de l’électronique, électrotechnique, automatique et informatique industrielle du secteur STIC de l’université Haute Alsace Mon stage s’est déroulé dans l’équipe IMTI (Imagerie Microscopique 3D et Traitement d’Image), l’activité de cette équipe regroupe deux axes principaux : vision et microscope Le but de mon stage est d’étudier les principes d’une caméra plénoptique et ses capacités mesurer une profondeur dans une scène Expérimentalement, j’ai utilisé une caméra de marque Raytrix Une caméra plénoptique a une constitution différente d’une caméra classique, puisqu‘elle comprend une grille de microlentilles, placée derrière la lentille principale Le but de ces microlentilles, est de récupérer les informations plénoptiques, appelée aussi Light-Field, c’est-à-dire l’orientation des rayons traversant le système optique Ce type de caméra permet de changer la focalisation de l’image, de changer le point de vue de la scène observée et d’extraire des informations 3D partir de redondances d’informations capturées Mon stage s’est déroulé en plusieurs étapes : Dans un premier temps, je fais l’étude en détails les principes d’une caméra plénoptique et plus particulièrement les techniques d’estimation de profondeur Dans un second temps, j’ai fait mener des expérimentations et étudié une méthode de mesure de la profondeur basée sur le décalage de motifs dans les microlentilles Pour expliquer mon travail, ce rapport va débuter par une présentation du sujet et de la caméra utilisée Dans un second temps, je détaillerai le principe de la caméra plénoptique ainsi que les approches différentes de l’extraction de l’information 3D pour les caméras plénoptiques Ensuite, un troisième chapitre traitera de la méthode de mesure de la profondeur que nous avons développée Le calibrage du système et les résultats expérimentaux seront exposés dans ce chapitre Pour terminer, je conclurai et présenterai les perspectives possibles suite mon travail Figure 34 Extension de la méthode de mesure de la profondeur Dans la méthode proposée, en premier temps, nous utilisons seulement les sous-images capturée par un type de microlentilles (soit type – rouge, soit type – vert, soit type bleu) Si le motif de référence n’est pas centrée sur une microlentille, nous ramenés la configuration géométrique donnée sur la Figure 35 Supposons que les points correspondants du point A0 se trouvent dans microlentilles voisines A1 et A2 Les points A0, A1 et A2 sont projetés sur la ligne épipolaire Dans l’espace vectoriel, nous avons toujours la relation suivante : 𝐷 ⃗⃗⃗⃗ Δ0 = 𝐶 ⃗⃗⃗⃗ 𝐿0 𝐷 𝐷 ⃗⃗⃗⃗ Δ0 − ⃗⃗⃗⃗ Δ1 = 𝐶 ( ⃗⃗⃗⃗ 𝐿0 − ⃗⃗⃗⃗ 𝐿1 ) ⃗⃗⃗⃗ Δ1 = 𝐶 ⃗⃗⃗⃗ 𝐿1 ⟹ { (3.8) 𝐷 ⃗⃗⃗⃗ ⃗⃗⃗⃗ ⃗⃗⃗⃗ ⃗⃗⃗⃗ Δ − Δ = ( 𝐿 − 𝐿 ) 0 𝐷 𝐶 ⃗⃗⃗⃗ ⃗⃗⃗⃗ {Δ = 𝐶 𝐿 Dans l’espace géométrique, sur la Figure 35, nous trouvons que : ⃗⃗⃗⃗0 − ⃗⃗⃗⃗ ⃗⃗⃗⃗0 || + ||Δ ⃗⃗⃗⃗1 || = L𝑚 − A0 A1 ⃗⃗⃗⃗0 − ⃗⃗⃗⃗ ||Δ Δ1 || = ||Δ ||L L1 || = L𝑚 { et { (3.9) ⃗⃗⃗⃗0 − Δ ⃗⃗⃗⃗ || = ||Δ ⃗⃗⃗⃗ || − ||Δ ⃗⃗⃗⃗0 || = L𝑚 − A0 A ⃗⃗⃗⃗0 − L ⃗⃗⃗⃗ || = L𝑚 ||Δ ||L 40 Figure 35 La projection de système sur le plan de la ligne épipolaire Alors, dans tous les cas, nous pouvons généraliser la formule: 𝐷 ⃗⃗⃗𝑖 − ⃗⃗⃗ ||Δ Δ𝑗 || = 𝐶 L𝑚 = L𝑚 − A𝑖 A𝑗 (3.10) Avec i et j sont l’index des correspondances En appliquant (3.1) (3.2) (3.4) et (3.9) nous trouvons la relation ci-dessous: ⃗⃗⃗𝑖 − ⃗⃗⃗ ||Δ Δ𝑗 || = 𝐴= 𝐿𝑚 −1 −1 1+𝑔 (𝑓 −𝐴−1 )−1 −𝐸𝑔−1 𝑓2 ⃗⃗⃗⃗𝑖 −Δ ⃗⃗⃗⃗𝑗 || 𝐸+𝑔(𝐿𝑚 ||Δ −1 −1)−𝑓 + (3.11) (3.12) Les valeurs de f, g, E sont constants donc si on a la valeur de décalage avec la formule (3.10), on peut déduire la valeur de la profondeur en appliquant (3.12) 3.5 Expérimentations Nous avons appliqué cette méthode pour étudier la résolution en Z et estimer la facilité de mise en œuvre d’une caméra plénoptique dans un système de mesure 3D par vision Pour ces mesures, nous avons utilisé un mini vidéo projecteur qui projette un ou plusieurs spots blanc sur une surface dont nous voulons évaluer la hauteur L’utilisation de spots permet de simplifier la mise en correspondance entre les micro-lentilles pour calculer les distances ⃗⃗⃗𝑖 − ⃗⃗⃗ |𝛥 𝛥𝑗 | Ces mesures ont été réalisées avec un banc optique permettant de contrôler la 41 hauteur de la caméra (Figure 36) 85 cm 30 cm Figure 36 Installation expérimentale Dans ces expérimentations, la plage de hauteurs utilisée va de 30 85 cm La Figure 37 donne une image expérimentale brute Cette figure montre un spot blanc qui est vu par plusieurs microlentilles Ces spots peuvent être vus comme une mire de calibrage ou les motifs détecter sont les points ayant une intensité maximale détecter La distance entre pics d’intensités se calcule via ces points Point maximal local Point central Lm Ai Aj ⃗⃗⃗𝑖 − Δ ⃗⃗⃗𝑗 | = L – A A Δij = |Δ m i j Figure 37 Image d’un spot capturée une hauteur de 30 cm La figure de droite montre les centres des microlentilles (en rouge) et les max d’intensités détectés (en vert) 42 Cela explique la méthode employée pour détecter les pics d’intensité au sein de chacune des microlentilles 3.5.1 Sélection des pics d’intensité En n’utilisant que des spots blancs ou qu’on n’obtient qu’un type de motif qu’il est alors facile détecter Pour améliorer la position de point maximal (le pic), il est préférable de rechercher une position interpolée comme cela est illustré sur la Figure 38 Point maximal interpolé Point maximal Figure 38 Modèle d'interpolation parabolique 2D Pour détecter les pics d’intensité, nous avons mis en œuvre une méthode d’interpolation en deux dimensions, basée sur un modèle quadratique : 𝐼(𝑥, 𝑦) = 𝑎 𝑥 + 𝑏 𝑦 + 𝑐 𝑥 𝑦 + 𝑑 𝑥 + 𝑒 𝑦 + (3.13) Si les paramètres du modèle sont connus, la position de l’intensité maximale se déduit d’après les expressions des gradients, nuls cette position : δ𝐼 = ⇔ 2𝑎𝑢 + 𝑐𝑣 + 𝑑 = = δ𝑣 ⇔ 2𝑏𝑣 + 𝑑𝑢 + 𝑒 = {δ𝑢 δ𝐼 (3.16) En résolvant le système d’équations (3.16) ci-dessus, on trouve les positions (u, v) d’intensité maximale : 43 { 𝑢= 𝑒𝑐– 𝑏𝑑 v= 𝑐𝑑– 𝑎𝑒 4𝑎𝑏–𝑐 (3.18) 4𝑎𝑏–𝑐² Identification des paramètres : Il y a paramètres estimer, que nous déterminons au moyen de la méthode des moindres carrés A partir des voisins et du point central (notés (u1, v1), (u2, v2),… (u9, v9)), d’intensités respectives I1 I9, nous pouvons établir la relation matricielle suivante : 𝑢1 𝑢 𝑋𝑛 𝐴 = 𝐼(𝑢, 𝑣) ⟹ ⋮ [𝑢9 𝑣1 ⋯ 𝑢1 ∗ 𝑣1 ⋯ 𝑢1 ⋯ 𝑣1 ⋯ 𝑣9 𝑢9 ∗ 𝑣9 𝑢9 𝑣9 𝑎 𝑏 𝐼1 𝑐 𝐼 = [ ] (3.14) ⋮ ⋮ 𝑑 𝑒 𝐼 1] [ ] En notant 𝐴 = [a b c d e f ], nous déduisons A 𝑎𝑟𝑔𝑚𝑖𝑛 𝐴𝐷(𝐴) = ∑𝑛 |𝑋𝑛 𝐴 − 𝐼𝑛 | (3.7) 3.5.2 Mise en correspondance En généralisant la recherche de pics dans l’ensemble des microlentilles, on détecte également des maximum locaux, qui ne sont pas des pics d’intensité (voir Figure 39) Il est facile de les éliminer en utilisant un critère de corrélation : 𝑅(𝑥, 𝑦) = ∑𝑥 ′ ,𝑦′ 𝑃(𝑥′, 𝑦′) 𝐼(𝑥 + 𝑥 ′ , 𝑦 + 𝑦 ′ ) √∑𝑥 ′ ,𝑦 ′ 𝑃(𝑥, 𝑦) ∑𝑥 ′ ,𝑦 ′ 𝐼(𝑥 + 𝑥 ′ , 𝑦 + 𝑦 ′ ) Les pics dont la valeur de corrélation est trop faible sont éliminés 44 Point maximal faut Figure 39 Elimination des points maximaux erronés 3.5.3 Résultats Les résultats sont présentés sous différentes formes Dans un premier temps, nous avons cherché savoir si les mesures étaient répétables Pour une hauteur donnée, nous avons fait ⃗⃗⃗𝑖 − ⃗⃗⃗ plusieurs acquisitions, donc mesurés n distances |Δ Δ𝑗 | Cette expérimentation se déroule en utilisant seulement les microlentilles de type dont les centres sont marqués en rouge (Voir la Figure 40) Figure 40 Image brute capturée Nous avons réalisé plusieurs acquisitions pour chaque hauteur de caméra La Figure 41 montre des images capturées pour 30 cm, 55 cm et 85 cm On constate que la taille de zone d’intérêt a une tendance diminuer quand on s’éloigne, ce qui est un phénomène naturel : le nombre de projections du spot et le nombre de pics détectés diminue lorsque la hauteur de la caméra augmente 45 Figure 41 Le nombre de pics détectés 30 cm, 55 cm et 85 cm Pour ces hauteurs, nous présentons sur la Figure 42 les histogrammes des distances ⃗⃗⃗i − ⃗⃗⃗ |Δ Δj | que nous avons mesuré Ces histogrammes mettent en évidence la variation des mesures pour une même hauteur Par exemple, cette variation s’étend sur 0,5 pixel pour les hauteurs données sur cette figure (a) (b) (c) ⃗⃗⃗𝑖 − ⃗⃗⃗ Figure 42 Histogrammes des distances |𝛥 𝛥𝑗 | pour des acquisitions 30 cm (a), 55 cm (b) et 85 cm (c), calculées avec des microlentilles de type 46 Ces histogrammes n’ont pas la même densité de points Cela s’explique par le nombre de microlentilles imageant le spot, qui diminuent avec la hauteur Il y a donc moins de points de mesures Ceci est particulièrement vrai pour la hauteur de 85 cm Nous avons regroupé les mesures au sein d’un même histogramme (Figure 43), en ayant échantillonné la hauteur tous les cm No m br e ⃗⃗⃗𝑖 Distances |Δ − ⃗⃗⃗ Δ𝑗 | (pixels) Figure 43 Histogrammes de distances pour toute la plage de mesures On voit que les histogrammes de distances pour chaque profondeur ont tous une forme proche de la distribution normale Le tableau ci-dessous résume les valeurs mesurées sur chaque histogramme Pour chaque hauteur, nous avons retenu la valeur médiane pour représenter une hauteur Hauteur (cm) Couleur Distance mesurée (pixels) Ecart-type 30 Vert pale 2.25 0.08 35 Lilas 2.86 0.11 40 Magenta 3.52 0.10 45 Noir 4.24 0.13 50 Orange 4.96 0.17 47 55 Blanc 5.71 0.17 60 Bleu 6.31 0.19 65 Vert 7.15 0.21 70 Violet 7.82 0.22 75 Jaune 8.68 0.20 80 Cyan 9.45 0.25 85 Rouge 10.02 0.22 Tableau La distance et l'écart-type calculés aux plages données Nous avons conservé cette valeur médiane pour tracer la courbe expérimentale ⃗⃗⃗𝑖 − ⃗⃗⃗ A=f(Δ Δ𝑗 ) qui est donnée sur la (Figure 44) Cette courbe est conforme au modèle théorique que nous avions établi précédemment (Équation (3.12)) : 𝐴= 𝐸 + 𝑔( 𝐿𝑚 ⃗⃗⃗𝑖 − ⃗⃗⃗ ||Δ Δ𝑗 || − 1) − + Les distances ⃗⃗⃗ Δ𝑖 − ⃗⃗⃗ Δ𝑗 sont bornées par le rayon des microlentilles sur l’image et n’excèdent pas 12 pixels ici La courbe est croissante sur cet intervalle D’autre part ces distances sont assez faibles et nécessitent d’être vigilant la qualité de la mise en correspondance opérer entre les motifs des microlentilles Pr of on de ur (c m) Distances ⃗⃗⃗ Δ𝑖 − ⃗⃗⃗ Δ𝑗 (pixels) Figure 44 Relation entre la distance et la profondeur (microlentilles de type 1) 48 ⃗⃗⃗𝑖 − ⃗⃗⃗ Figure 45 Ecart-type des distances |𝛥 𝛥𝑗 | en fonction de la profondeur Figure 46 pic détectée la plage de 30 cm, 55 cm et 80 cm Pour évaluer la qualité de nos mesures de distances, nous avons également calculé l’écarttype des distances selon la profondeur Le résultat est représenté sur la Figure 45 L’écart-type a tendance augmenter lorsque la profondeur augmente Autrement dit, avec ce type de microlentilles (type 1), si la profondeur entre l’objet et la camera augmente, la précision de cette méthode diminue On peut aussi expliquer ce phénomène par le changement de taille et de l’intensité des projections du point sur l’image brute (Voir la Figure 46) Si l’objet est bien dans la plage de focalisation des microlentilles sur le plan image, alors le spot apparait nettement et clairement sur l’image brute Au contraire, plus on s’éloigne de cette plage, plus les projections du point sont floues et moins lumineuses La précision de la détection des points maximaux locaux dépend directement de la qualité de la projection, donc si la qualité de projection n’est pas bonne, la précision d’interpolation est moins fiable 49 Conclusion et Perspective Ce sujet se déroule sur l’étude d’une caméra plénoptique pour la mesure 3D Au début, nous avons étudié les principes de la fonction plénoptique et les méthodes pour la modélisation de rayons de Ren Ng et de T.Geogiev Et puis nous avons étudié une méthode de mesure la profondeur partir de l’information sur l’image brute L’intérêt de cette méthode a été vérifié par des expérimentations sur les images réelles qui sont capturées par une camera plénoptique de marque Raytrix Dans ces expérimentations, nous avons utilisé les spots blancs comme objet capturer, la profondeur est changée, la phase de mise en correspondance s’effectue par la méthode de l’interpolation utilisant le modèle quadratique En observant les résultats, on a une première vue sur ce type de camera : - ⃗⃗⃗𝑖 − ⃗⃗⃗⃗⃗ La distance |Δ Δ𝑗 | lie directement la profondeur de la scène capturée par la camera plénoptique - Ce type de camera est très sensible et permet de travailler dans le domaine souspixel, avec une variant de 5cm de la profondeur, le distance calculée change 0.5 pixel - La distance augmente et la précision de méthode diminue lorsque la profondeur augmente Donc, le type de microlentilles testées marche bien dans la zone de la profondeur petit et moins bien avec la profondeur grande - La précision de méthode dépend directement la méthode de mise en correspondance des projections et la façon de détection des pics - Cette méthode est difficile s’effectue avec les zones homogènes comme les autres méthodes de stéréovisions Ces premiers résultats sont intéressants pour le laboratoire MIPS, qui cherche optimiser l’architecture des caméras plénoptiques pour la mesure 3D Par exemple, la conclusion de mon étude va inciter le laboratoire réduire le nombre de microlentilles dans une caméra plénoptique Pour travailler en refocalisant en post-traitement, il est important d’avoir beaucoup de microlentilles, en revanche, il peut être nécessaire d’en diminuer le nombre pour transformer une caméra plénoptique en caméra de profondeur On peut également noté que j’ai effectué d’autres petits travaux autour de ce thème Par exemple j’ai cherché depuis l’image brute construire des images de « sous-aperture » ou des animations gif mettant en évidence la parallaxe Monsieur Cudel m’a demandé d’orienter 50 cette rédaction autour de la problématique de la mesure 3D avec une caméra plénoptique et donc de ne pas inclure ces travaux, qui avaient essentiellement pour buts de me familiariser avec les images d’une caméra plénoptique Enfin, ce stage m’a permis de découvrir beaucoup de choses, notamment du côté de la camera plénoptique et des principes pour mesurer la profondeur de la scène J’ai rencontré des professeurs formidables qui m’ont montré comment travailler en ayant une rigueur scientifique Cette expérience est très enrichissante et m’a permis de bien approfondir les disciplines vues au niveau de Master Cette première expérience concrète dans le monde de la stéréovision m’a ainsi permis d’enrichir fortement mes compétences techniques et de me conforter dans mon choix d’orientation professionnelle 51 52 REFERENCES [1] Risako Ueno, Kzuhiro Suzuki, M.Kobayashi, H.Kwon, H.Honda, Hideyuki Funaki , “Compouned – Eye Camera Module as Small as 8.5 x 8.5 x 6.0 mm for 26 k-Resolution Depth Map and 2_Mpix 2D Imaging”, IEEE Photonics Journal, 2013 [2] Ren Ng, “Digital Light Field Photography”, PhD Thesis, Stanford University, July 2006 [3] Todor Georgiev, Andrew Lumsdaine, “Focused plenoptic camera and rendering”, Journal of Electronic Imaging (April – June 2010) [4] Todor Georgiev , Andrew Lumsdaine, “Resolution in Plenoptic Cameras”, Optical Society of America, 2009 [5] Todor Geogriev, Andrew Lumsdaine, “Plenoptic Camera 2.0”, Adobe Documents, 2006 [6] “Raytrix Lightfield Camera”, Raytrix Documents, 2012 [7] Christian Perwaβ and Lennart Wietzke, “Single Lens 3D – Camera with Extended Depth-of-Field”, SPIE 8291, Human Vision and Electronic Imaging XVII, 829108 (February 9, 2012) [8] Ren Ng, Marc Levoy, “Light Field Photogrphy with a Hand-held Plenoptic Camera”, Stanford Tech Report, February 2005 [9] Todor Geogiev, Andrew Lumsdaine, “Radiance Photography”, European Conference on Computer Vision, 2008, Marseille, France [10] Ren Ng, “Fourier Slice Photography”, Standford University, ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2005 [11] Sven Wanner, Janis Fehr, Bernd Jahne, “Generating EPI Representations of 4D Light Fields with a Single Lens Focused Plenoptic Camera”, Spring-Verlag Berlin Heidenlberg 2011 [12] Todor Geogiev, “Computational Methods for Radiance”, Adobe Documents [13] Todor Georgiev and Andrew Lumsdaine, “The Multi-Focus Plenoptic Camera”, SPIE Electronic Imaging, January 2012 [14] Michael Hansen Eric Holk, “Depth map estimation for plenoptic images”, December 16, 2011 [15] Christophe CUDEL, “Camera plénoptique”, Lecture du cours “Vision 3D” [16] Tom E Bishop and Paolo Favaro, “Full-Resolution Depth Map Estimation from an Aliased Plenoptic Light Field”, 3DIM 09, 2009 [17] Todor Georgeiv, Ke Colin Zheng, Brian Curless, David Salesin, Shree Nayar, and Chintan Intwala, “Spatio-Angular Resolution Tradeoff in Integral Photography”, Eurographics Symposium on Rendering (2006) 53 [18] Ashok Veeraraghavan, Ramesh Raskar, Amit Agrawal, Ankit Mohan, Jack Tumblin, “Dappled Photography: Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing”, ACM Transactions on Graphics, Vol 26, No 3, Article 69, July 2007 [19] Sven Wanner, Bastian Goldluecke, “Globally Consistent Depth Labeling of 4D Light Fields”, CVPR '12 Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Pages 41-48, 2012 54 [...]... source S1 avec les composantes (q, p) qui sont respectivement la hauteur du point par rapport à l’axe (Ox) et son orientation, c'est-à-dire sa pente qui est égale a tan(α) Regardons à présent le chemin d’un rayon partant de S1 jusqu’a S1‘’ Soit T1, T2 et F telles que : 1 1 𝑑1 = [ ], 1 = [ 1 𝑑 ], 1 On peut écrire S1 : 1 = [ ] 22 = [ 1 ]= [ ′ 1 1 1 ] Afin de trouver S1’, on multiplie la matrice T1, qui... translation de S1 vers S1’, par les coordonnées d’origine de la translation : les coordonnées de S1 ′1 = 1 1 =[ 1 𝑑1 ][ ] 1 Si nous développons cette multiplication de matrice on obtient les relations suivantes : { ′ = + 𝑑1 = ′ On constate que la hauteur x’ est bien différente de x et augmentée d’une hauteur de terme 𝑑1 par rapport à S1 et que la pente du point S1’ n’a pas changé Il n’y a eu pour le... plan (x’, y’), comme cela est illustré sur la Figure 11 Ici on considère une distance F = 𝛼 F 𝐿𝐹 ′ ′ (𝑥 𝑥′ − 𝑢 𝑦′ − 𝑣 , 𝑦 , 𝑢, 𝑣) = 𝐿𝐹 (𝑥, 𝑦, 𝑢, 𝑣) = 𝐿𝐹 ( 𝑢 + ,𝑣 + , 𝑢, 𝑣) 𝛼 𝛼 ′ 1 𝑥′ 1 𝑦′ = 𝐿𝐹 (𝑢 (1 − ) + , 𝑣 (1 − ) + , 𝑢, 𝑣) 𝛼 𝛼 𝛼 𝛼 Donc l’image formée dans le plan (x’, y’) est la somme de ces rayons : 1 1 I(x′, y′) = (𝛼𝐹)2 ∬ 𝐿𝐹 (𝑢 (1 − 𝛼) + 𝑥′ 𝛼 1 , 𝑣 (1 − 𝛼) + 𝑦′ 𝛼 , 𝑢, 𝑣)𝑐𝑜𝑠 4 𝜃𝑑𝑢𝑑𝑣 (2.2) Figure 11... la lentille Si l’on regarde le point S1’’, on trouve que p’’ différé de S1’ puisque le rayon redescend après la lentille En revanche la hauteur q’’ doit rester rigoureusement identique a q’ En effet nous avons : ′′1 = ′1 = [ 1 ′ ][ ] 1 ′ En développant : ′′ { ′′ = = ′ ′ + ′ L’optique matricielle permet donc d’obtenir très rapidement et simplement les composantes de chaque point constituant un rayon... Processus et Systèmes) est une Equipe d'Accueil (EA 2332) de l’Université de Haute Alsace C’est un laboratoire de recherche interdisciplinaire fédéré par les «structures et machines intelligentes» Il rassemble toute la recherche du secteur des STIC (sciences et technologies de l’information et de la communication) de l’Université de Haute Alsace Figure 1 L’organisation actuelle du laboratoire MIPS – IUT – UHA... proposé une modélisation alternative en utilisant l’optique matricielle Dans cette présentation, un rayon se caractérisant par un vecteur (q, α), traduisant sa hauteur q et 21 son orientation α Si α et inférieur à 10°, on considère que tan(α )= α = p, ce qui simplifie les notations dans les matrices Au travers des différents éléments optiques, le rayon est dévie Cette déviation s’exprime par des matrices... dans l’équipe IMTI Cette équipe mène ses travaux de recherche en microscopie 3D (Fluorescence et tomographique) ainsi qu’une vision 2D et 3D par ordinateur Mon stage s’effectue sous la direction de Christophe CUDEL, qui s’intéresse à la vision par ordinateur, notamment dans les domaines de l’Eye Tracking et de la vision 3D J’ai travaillé sur l’un des dispositifs qui avait été imaginé pour extraire des... L’organisation actuelle du laboratoire MIPS – IUT – UHA Le laboratoire MIPS est donc la structure de recherche d'adossement de tout l'enseignement dans le domaine lié à l'EEAII des STIC de l'Université de Haute Alsace Depuis sa création, les membres du laboratoire MIPS ont été très fortement impliqués dans la 11 définition des enseignements, ce qui a grandement contribué à renforcer les liens entre l'enseignement... point dans la scène observée  Dans la dernière partie, nous présenterons les mesures de profondeurs qui ont été réalisées et nous discuterons des résultats 3.1 Description de la camera plénoptique de Raytrix au laboratoire MIPS La camera plénoptique que nous utilisons au laboratoire MIPS est de marque Raytrix La caméra est connectée au PC par une liaison GigaEthernet Dans cette caméra, il y a 3 composants...10 Chapitre 1 – Contexte et Sujet 1.1 Introduction du laboratoire MIPS – Université de Haut -Alsace Le pole Sciences Pour l’Ingénieurs (SPI) de l’UHA est composé de 3 équipes de recherches :  Le laboratoire MIPS (Modélisation, Intelligence, Processus, Systèmes)  Le laboratoire LMIA (Mathématiques,