Universitộ Nationale du Vietnam Hanoù Universitộ de La Rochelle Institut Francophone International Mộmoire de fin dộtudes de Master informatique option Systốmes Intelligents et Multimộdia CAPTURES DES MOUVEMENTS AUX PARTIES CACHẫES DO Thanh Binh Encadrement de stage : Alexandre MEYER Annộe acadộmique 2014 - 2015 Remerciements Je voudrais remercier, avant tout, tous ceux qui ont rendu cette expộrience possible, et trốs enrichissante Je tiens remercier dans un premier temps, ma mốre et ma famille Je remercie ộgalement Monsieur Alexandre Meyer, mon tuteur pộdagogique attitrộ, pour ses conseils concernant la mission de ce stage, conseils qui mont permis de prendre du recul par rapport mes tõches et aux diffộrents aspects techniques Je souhaite remercier toute lộquipe pộdagogique du IFI et les intervenants professionnels responsables de la formation, pour avoir assurộ la partie acadộmique de celleci Je remercie M HO Tuong Vinh et M NGUYEN Hong Quang pour leurs conseils sur les critốres de choix dune formation de 2ốme cycle en Intelligence artificielle, qui ont facilitộ mon orientation lorigine de mon inscription en Master SIM Je tiens remercier tout particuliốrement et tộmoigner toute ma reconnaissance aux membres de lộquipe Capture Motion, pour lexpộrience enrichissante quelles mont permis de vivre durant ces six mois au sein du LIRIS-Nautibus Jadresse mes remerciements Monsieur Erwan Guillou, pour mavoir intộgrộ rapidement au sein du laboratoire et mavoir accordộ toute sa confiance ; pour le temps quil ma consacrộ tout au long de cette pộriode, sachant rộpondre toutes mes interrogations Je tộmoigne toute ma reconnaissance aux personnes suivantes :M TRAN Dinh Tin,M TRAN Huu Viet,M NGO Minh Duc, ainsi que lensemble des membres de lộquipe INSA pour leur accueil sympathique et leur coopộration professionnelle tout au long de ces six mois Tous ceux qui ont dộlivrộ des conseils techniques sur la planification de mouvements, la cinộmatique inverse et les algorithmes de Tarjan i Rộsumộ Les systốmes de capture de mouvement utilisent classiquement plusieurs dizaines de camộras pour reconstruire les mouvements basộs squelette de personne ộvoluant dans un dộcor souvent minimaliste Pour rendre ces techniques utilisables dans un contexte plus large comme par exemple avec moins de camộras et/ou avec des dộcors plus complets, un certains nombres de verrous devront ờtre levộs Un des verrous important sera dờtre capables de complộter une information manquante car non visible, comme par exemple une partie du corps cachộ par le dộcor ou cachộ par une autre personne Dans le cas de la capture du squelette dun acteur, lorsquune partie est cachộe -par exemple les jambes par un ộlộment de dộcor, ou un bras par un autre acteur- les solutions explorer chercheront "comprendre" le type de mouvement en cours avec les pas de temps prộcộdents afin de complộter linformation manquante Cette analyse du mouvement pourra ộgalement servir accộlộrer les calculs en rộduisant lespace explorer pour la dộtection de la pose courante Dans ce cadre, diffộrentes pistes ont eu envisagộes comme la mộthodes dinterpolation, la mộthode basộe sur le squelette, la mộthode basộe sur le matrice, etc Dans le cas de la capture du mouvement des personnages, on peut imaginer quune simulation physique puisse fournir une information manquante voir guider la capture quand linformation est partielle Donc, nous avons proposộ lutilisation dun graphe danimation universelle pour cela fait Graphe danimation est une technique qui relie les trames similaires dans la base de donnộes de capture de mouvement utilisant des transitions La qualitộ du graphe danimation dộpend entiốrement sur les points de transition choisis Pour crộer des transitions entre les trames semblables, la mộtrique de similitude est utilisộe pour comparer les trames en fonction des contraintes basộes sur la physique et la qualitộ visuelle Nous avons combinộ le graphe danimation et les techniques dinterpolation Ces techniques se divisent motions dans un comportement similaire et puis regrouper les segments similaires pour crộer linterpolation et des transitions douces Pour ce stage, nous avons construit un outil pour faire les taches suivant : Lire les donnộes supportộes sous la forme des BVH fichier Utiliser les quaternions et techniques dinterpolation pour mộlanger des mouvement Construire le graphe danimation en combinant les diffộrents mộtriques de la distance Effectuer les algorithmes de recherche comme A*, Tarjan sur le graphe danimation Extraire le graphe danimation pour synthộtiser des motions conforme au but des utilisateur Outils utilisộs : C++, OpenGL, techniques danimations ii Abstract Motion capture, or mocap, is an extensive technique for capturing and analyzing human articulations Mocap data have been longtime used in the domain of computer graphics to animate figures in motion pictures and video games There are many cases when markers can be disapeared due to some conditions , for example occluded by props, limbs, bodies or other markers (occulusions or ambiguities) It is also not unusual that positions of some markers can be missing for a long period of time Obtaining human body shape and motion from such motion-capture data is an inherently difficult task Although many methods have been developed to handle this problem, most procedures require manual intervention and cant be used with diverse motions, high percentage of missing markers, and/or extended occlusions These days, there are about four principal technics being used for treating the problem First of all, is the Interpolation based technics which use the avaiable marker to infer the missing entries Secondly, the skeleton based methode which take on account of kinematic or bone-length to regularize the meaningful human pose (skeletal animation) Thirdly, the matrix based which employ the linear or non linear correlation of motion matrix to estimatie the missing markers The last one is data driven based method employing an established database that consist of similar motions to reconstruct the missing entries We propose a data-driven method, synthesizing motions from Motion Graphs, this approach to estimate missing marker can be useful in this scenario The collection of motion sequences (training set) could be represented as a directed graph Each frame would be a node There would be an edge from every frame to every frame that could follow it in an acceptable splice In this graph, there would be (at least) an edge from the kth frame to the (k + 1)th frame in each sequence This graph is not a particularly helpful representation because it is extremely large, we can easily have tens of thousands of nodes and hundreds of thousands of edges that obscures the structure of the sequences Instead, we collapse all the nodes (frames) by pruning the graph Since edges connect frames, they are labelled with the frames in the incident nodes (motion sequences) that they originate from and they point to We also assume that the edges in G are attached a cost value which tells us the cost of connecting the incident frames If cutting from one sequence to another along an edge introduces a discontinuous motion, then the cost attached to the edge is high For a new sequence with missing markers, we use a pre-trained Motion Graph to identify the most appropriate motion by many related Graph Searching methods Our experimental results demonstrate that our generic Motion Graphs works well with heterogeneous motion data iii Table des matiốres Remerciements i Rộsumộ ii Abstract iii Table des matiốres v Liste des figures vii Liste des tableaux viii INTRODUCTION 0.1 Contexte du stage 0.2 Objectif du stage 0.2.1 Plan du Stage Chapitre REVUE BIBLIOGRAPHIQUE 1.1 L ộtat de lart 1.1.1 Mộthode basộe sur linterpolation 1.1.2 Mộthode basộe sur le squelette 1.1.3 Mộthode basộe sur la matrice de corrộlation 1.1.4 Mộthode basộe sur orientộes donnộes 1.1.5 Graphe danimation 1.1.6 Commentaires sur le graphe danimation 2 5 8 9 10 12 Chapitre SOLUTION 2.1 Graphe non-structurộ danimation 2.1.1 Point de vue gộnộrale sur le graphe danimation 2.1.2 Lidộe de base pour construire le graphe danimation universelle 2.2 Dộtecter la transition 2.2.1 Une distance mộtrique pour les motions 2.2.2 Sộlection de points de transition 2.2.3 ẫlagage du Graphe 2.2.4 ẫvaluation les mộtriques de distance 2.2.5 Mộthode proposộ-le Graphe danimation universelle 2.3 Technique de mộlange des mouvements 2.3.1 TimeWarping-technique de linterpolation 2.3.2 La mise lộchelle de temps(Time Scaling) 13 13 13 17 20 20 22 24 25 25 25 25 29 Chapitre IMPLẫMENTATION ET RẫSULTATS 3.1 La conception du systốme 31 31 iv TABLE DES MATIẩRES 3.2 Implộmentation 3.2.1 Chargement et sauvegarde les motions 3.2.2 Dộtecter des extrộmitộs 3.2.3 La mộthode doptimisation de NewTon 3.2.4 ẫlaguer le graphe danimation 3.2.5 Extraire les motions 3.3 ẫvaluation 3.3.1 Test case 3.3.2 Test case avec la base de CMU v 32 32 38 38 39 39 40 40 44 CONCLUSION 45 Rộfộrences 46 Liste des figures Les activitộs scientifiques du Liris 1.1 1.2 Schộma gộnộral Trois approches principales basộes sur : linterpolation, squelette et matrice Point de vue gộnộrale sur le Graphe danimation 1.3 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 2.20 2.21 2.22 la Point de vue gộnộrale sur le Graphe danimation ẫtape communes pour construire le graphe non structurộ danimation Synthộtiser mouvements humains par aboutement des ộlộments de donnộes existants Source :Interactive Motion Generation from ExamplesOkan Arikan Prộtraitement des donnộes de mouvement Source :Interactive Control of Avatars Animated with Human Motion Data Jehee Lee Graphe danimation Clips de mouvement transitions entre clips Graphe orientộ obtenu Une marche sur le graphe Crộer nouveaux mouvements Chaque articulation a leffet diffộrent [1] Source :Automated Methods for Data-Driven Synthesis of Realistic and Controllable Human Motion Chaque seuil a leffet diffộrent [1] Source :Automated Methods for DataDriven Synthesis of Realistic and Controllable Human Motion Ajouter la transition sur le local minimum [2] Source :Automated Methods for Data-Driven Synthesis of Realistic and Controllable Human Motion ộlagage du graphe [2] Source :Automated Methods for Data-Driven Synthesis of Realistic and Controllable Human Motion reprộsentation 3D de personnage [2] Deux os connectộs par des articulations, oự un articulation est le parent de lautre Un articulation de bras est tournộ, et les enfants de cette articulation en rotation avec lui Leffet de dộplacement et la rotation dun articulation [2] La transformation de larticulation racine change tous les autres articulations [2] Lexemple de mộlanger linộairement deux motions [2] Mộlange entre "Marcher et courir" [2] Time Scaling [3] Source : Lecture Note Motion Blending (Interpolation and Timewarping) Jehee Lee vi 11 14 14 16 17 18 18 19 19 20 20 20 22 23 24 26 26 26 27 27 29 29 30 LISTE DES FIGURES 2.23 sequence de base 2.24 re-ộchantillonnage : M(t) = (1 ) M (ti ) ( M(ti+1 ), = t tti t i +1 i 2.25 La rộsolution la discontinuitộ de la vitesse [3] Source : Lecture Note Motion Blending (Interpolation and Timewarping) Jehee Lee vii 30 30 Conception le systốme Squelette structurộ Source : Meredith, M.& Maddock, S (2001) Motion Capture File Formats Explained 3.3 La premiốre partie du BVH fichier 3.4 La deuxiốme partie du BVH fichier 3.5 Les extrộmitộs dun personnage [2] 3.6 Le pied patinage [2] 3.7 premier pose de mouvement dans le graphe danimation 3.8 Deuxiốme pose de mouvement dans le graphe danimation 3.9 reprộsentation le pose dinterpolation 3.10 La transition lisse entre deux poses 31 3.1 3.2 30 33 34 35 42 42 43 43 43 43 Liste des tableaux 1.1 1.2 1.3 1.4 Lapproche basộe sur linterpolation Lapproche basộe sur le squelette Lapproche basộe sur la matrice de corrộlation Lapproche basộe sur orientộes donnộes 9 10 3.1 3.2 Performances de la composition de rotation vecteur Lintroduction sur les sộquences de mocap ộvaluant dans notre expộrimente Poids darticulation pour la mộtrique de distance de similaritộ Lintroduction sur les sộquences de mocap de CMU 36 3.3 3.4 viii 41 41 44 INTRODUCTION Lenvironnement de travail LIRIS-Nautibus Le LIRIS, regroupant 320 membres, est une unitộ mixte de recherche (UMR 5205) dont les tutelles sont le CNRS, lINSA de Lyon, lUniversitộ Claude Bernard Lyon 1, lUniversitộ Lumiốre Lyon et lEcole Centrale de Lyon Le champ scientifique de lunitộ est lInformatique et plus gộnộralement les Sciences et Technologies de lInformation Les activitộs scientifiques de ses 14 ộquipes de recherche sont structurộes en pụles de compộtences, de 15 30 permanents, reconnues au niveau international [4] Le Figure Les activitộs scientifiques du Liris LIRIS rộalise une activitộ de recherche de fond sur ces pụles de recherche, tout en dộveloppant un savoir-faire au service de la sociộtộ en liaison ộtroite avec les disciplines Ingộnierie, Sciences Humaines et Sociales, Sciences de lenvironnement et Sciences de la Vie Lộquipe Simulation, Analyse et Animation pour la Rộalitộ Augmentộe appartient au pụle Simulation, Virtualitộ et Sciences Computationnelles Leur thộmatiques de recherche concernent la simulation, lanalyse et lanimation de scốnes complexes impliquant lhumain virtuel en mouvement, avec une orientation vers les environnements de Rộalitộ Augmentộe La description de telles scốnes a conduit au dộveloppement des deux thốmes de recherche suivants : CHAPITRE IMPLẫMENTATION ET RẫSULTATS 33 Figure 3.2 Squelette structurộ Source : Meredith, M.& Maddock, S (2001) Motion Capture File Formats Explained 3.2.1.2 Obtention de fichiers BVH Il existe de nombreuses bases de donnộes de fichiers BVH dont certaines gratuites, comme celles que vous trouverez en allant sur les pages web suivantes : ttsstsssttrrrs ttt ttttrrsrtrstrt Avant de continuer ce tutoriel, nous vous conseillons dutiliser la base de donnộes CMU 3.2.1.3 Analyse syntaxique de BVH fichier La premiốre partie du fichier commence avec le mot-clộ HIERARCHY La ligne suivante commence par le mot-ROOT, suivi du nom darticulation de la racine Un fichier BVH permet plus dune hiộrarchie Un autre hiộrarchie est ộgalement dộsignộe par le mot-clộ ROOT Aprốs ROOT sont les segments : JOINT et END site Le format BVH est une dộfinition rộcursive Chaque segment de la hiộrarchie contient des donnộes relatives seulement seulement ce segment Ensuite, il dộfinit de maniốre rộcursive ses enfants lintộrieur des accolades ({ }) CHAPITRE IMPLẫMENTATION ET RẫSULTATS Figure 3.3 34 La premiốre partie du BVH fichier Chaque segment dispose certaines donnộes commenỗant par mots-clộs OFFSET et CHANNEL Poursuivre le mot OFFSET est le vecteur en dimensions (x, y, z) Pour les diffộrents segments, les donnộes apres le mot CHANNEL sont varies ROOT dispose de six CHANNEL, fournissant la translation mondiale (x, y, z) et la rotation mondiale (x, y, z) Chaque articulation prộsentộ par le mot-clộ JOINT a seulement trois CHANNEL, dộfinissant la rotation relative locale son parent Et END site na pas de CHANNEL Lordre des CHANNEL de rotation apparaợt diffộremment, comme il va de z y et enfin x Dans certains dossiers, lordre varie pour les diffộrents segments Il peut aller de z x et enfin y Cet ordre doit ờtre maintenu inchangộ lors de lanalyse de la hiộrarchie, car il doit correspondre aux donnộes de mouvement offertes par la partie Motion La Figure 3.4 prộsente la deuxiốme section du fichier BVH.La section de mouvement commence avec le mot-clộ MOTION Cette ligne est suivie par une ligne qui utilise le mot clộ Frames : et fournit le nombre de trames Sur la ligne suivante est temps de trame (Frame Time) : indiquant le taux des donnộes de mouvement dộchantillonnage Dans lexemple de lannexe A, le taux est donnộ comme 0.0033 (33 images par seconde) Le reste est les donnộes de mouvement rộels contenant les valeurs pour le position et la rotation de CHANNEL Chaque ligne est juste un ộchantillon (une posture), et les valeurs des CHANNEL apparaissent dans lordre que dans la section HIEARACHY CHAPITRE IMPLẫMENTATION ET RẫSULTATS 35 Pour dộcrire un mouvement partir du fichier BVH, nous avons surtout besoin dune structure de donnộes hiộrarchique La structure de donnộes hiộrarchique devrait permettre garder la trace de la mốre de chaque articulation Ainsi, un index est nộcessaire pour correspondre les CHANNEL dans la hiộrarchie avec les CHANNEL dans les donnộes de mouvement Figure 3.4 3.2.1.4 La deuxiốme partie du BVH fichier Le Quaternion Rappelez que les nombres complexes de longueur Permettent de modộliser les rotations autour de (0,0) par une simple multiplication Caractộrisộs par nombres rộels : partie rộelle, partie imaginaire On va utiliser les nombres similaires, les quaternions fournissant une mộthode pour reprộsenter lorientation et la rotation dobjets en trois dimensions Par dộfinition, les quaternions sont : q = w + xi + yj + zk Oự a, b, c, et d sont des nombres de rộels, trois ộlộments i, j et k satisfaisant les relations quaternioniques : i2 = j2 = k2 = ijk = Le nombre rộel w est appelộ partie rộelle (ou scalaire) de q et est notộ Re(q) Le quaternion bi + cj + dk, qualifiộ dimaginaire pur, est appelộ partie imaginaire (ou vectorielle) de q et est notộ Im(q) On peut donc ộcrire q = Re(q) + Im(q) Le quaternion q = Re(q) Im(q) est appelộ conjuguộ de q et est notộ q Le nombre rộel positif q dộfini par q de q = a2 + b2 + c2 + d2 = q q est appelộ norme Le quaternion non nul q admet un inverse (unique) donnộ par q1 = q q CHAPITRE IMPLẫMENTATION ET RẫSULTATS 36 Les quaternions de norme sont dits unitaires x q peut ờtre reprộsentộe sous la forme q = w + v y = cos(/2) + u sin(/2) oự u z est un vecteur unitaire (w2 + a2 + b2 + c2 = 1) Soit ộgalement v un vecteur ordinaire de lespace en dimensions, considộrộ comme un quaternion avec une coordonnộe rộelle nulle ẫtant donnộ un quaternion q=w+V de norme q : Soit u un vecteur unitaire (laxe de rotation) et soit q = cos + u sin On a le rộsultat suivant : v = qvq1 = cos + u sin v cos u sin renvoie le vecteurv tournộ dun angle autour de laxe dirigộ par u Comparộs aux angles dEuler, Ils sont plus simple composer et ộvitent le problốme du blocage de cardan Comparộs aux matrices de rotations, ils sont plus stables numộriquement et peuvent se rộvộler plus efficaces La Tableau 3.1 montre la performance de rotation par les quaternions Tableau 3.1 Performances de la composition de rotation vecteur Mộthode Multiplications Additions et soustractions sin et cos Nombre total dopộrations Matrice de rotation 15 Quaternions 21 18 39 Axe et angle 23 16 41 Matrice Verse Quaternion, Translation Dans la reprộsentation dune squelette, les matrices ne comportent quune Rotation et une Translation (pas de scale ou autre) R A TA Alors, on a la reprộsentation est sous la forme : MTrans = avec la rotation r11 r12 r13 Tx matrice R A = r21 r22 r23 et la transformation matrice TA = Ty On peut rer31 r32 r33 Tz prộsenter la transformation ceci par un quaternion et un vecteur Pour combiner la transformation, au lieu dutiliser la multiplication des matrices : MTrans1 ì MTrans2 = R A TA ì R B TB = MCombinaison = R AB TAB (3.1) On va change la reprộsentation : R AB TAB = R A ì R B R A ì TB + TA (3.2) avec la reprộsentation sous la forme : Q A , TA et Q B , TB on a la composition de A et B sont : Q AoB = Q A ì Q B (3.3) TAoB = Q A ì TB + TA (3.4) SLERP SLERP signifie sphộrique interpolation linộaire SLERP fournit une mộthode pour interpoler en douceur un point propos de deux orientations La premiốre ộtape dộtermine quil faut calculer la diffộrence entre les quaternions q1 et q2 , ce qui ộquivaut calculer la diffộrence angulaire entre les deux quaternions =q11 ã q2 CHAPITRE IMPLẫMENTATION ET RẫSULTATS 37 Lộtape suivante consiste prendre la partie fractionnaire de cette diffộrence Nous pouvons appliquer une formule similaire pour effectuer une interpolation sphộrique de vecteurs quaternions La forme gộnộrale dune interpolasin [(1t)] q1 + tion sphộrique pour vecteurs est dộfini comme :Slerp(q0 , q1 ; t) = sin sin[t] sin q2 Et nous pouvons obtenir langle en calculant le produit scalaire entre q1 et q2 cos( ) = 3.2.1.5 q1 ã q2 q1 ã q2 (3.5) Traitement des donnộes Aprốs lextraction dinformations partir du fichier BVH, une motion peut ờtre reprộsentộ Cependant, le fichier BVH fournit seulement la position et la rotation de la racine (dans le repốre global), et les rotations locales des articulations par rapport leurs parents Nous avons encore besoin de la position globale de chaque articulation si nous voulons dessiner un personnage Pour calculer la position dun articulation, dabord nous crộons une matrice de transformation Ml partir de linformation de translation et de rotation locale.Pour toute articulation, linformation par la translation sera simplement les dộcalages comme nous avons dộfinis dans la section HIERACHY(Figure 3.4).Les donnộes de rotation provient de la mouvement partie Pour la racine, la transformation sera la somme de son dộcalage et sa translation globale de la mouvement partie Contrairement aux autres fichiers de donnộes de mouvement, BVH ne tient pas compte des ộchelles Comme BVH utilise langle Euler pour reprộsenter la rotation autour dun axe, nous avons besoin de calculer la rotation par quaternion : Q = Qz Qy Q x (3.6) oự Q x , Qy etQz sont les rotations autour de laxe x, y, et z, respectivement, sous le quaternion prộsentation Lordre de laxe doit ờtre suivi strictement, parce que la multiplication entre les quaternions est non-commutative Utilisons la mathộmatiques bibliothốque Eigen [25], nous pouvons tout simplement transformer le vecteur de position et de rotation quaternion sous la forme dune matrice de transformation Une fois la transformation locale est crộộe, concatộner avec la transformation locale de son pốre, sa grand-parent, et ainsi de suite Mglobal = Mroot M parent Ml (3.7) La transformation implộmentộe par les matrices qui se passe de droite gauche Alors, dans ẫquation 3.7 larticulation se transforme dabord par Ml , alors M parent , , et enfin Mracine La section de mouvement dans BVH contient certain nombre de trames Chaque trame est une posture reprộsentộ avec des chaợnes des positions et des rotations Une posture reste inchangộ si nous font une translation le long du plan de sol ou faire tourner autour de laxe vertical Aprốs cette transformation, la position de la racine (repốre globale) et la rotation Q (ancienne) seront modifiộs conforme sous ẫquation 3.3 et ẫquation 3.4 : Q New = Q TemP ì QOld (3.8) TNew = Q Temp ì TOld + TTemp (3.9) CHAPITRE IMPLẫMENTATION ET RẫSULTATS 3.2.2 38 Dộtecter des extrộmitộs Nous presentons ici notre algorithme pour dộtecter automatique les End-Point Effecteurs Algorithm Algo pour dộtecter des extrộmitộs 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: 20: 21: 22: procedure F IND THE E ND E FFECTOR Find all the Joints which have no child Among them, find the joint with the largest Z (head joint) Find the two joints with two minimum Z (two foot joints) Find two joints with the value Z between Max and Min (two hand joints) end procedure procedure F IND THE O RIENTATION OF THE S KELETON Calculate the vector between joint( Root( f ramet )) and joint( Root( f ramet+1 )) : Root f ramet Root f ramet+1 Calculate the vector between joint(Root) and joint(Head) : joint( Root) joint( Head) Calculate the cross Product between joint( Root) joint( Head) and Root f ramet Root f ramet+1 = Orientation Calculate the vector joint(Root) and joint(Hand) Calculate scalar product between Root, Hand and Orientation if Root, Hand ã Orientation > then return this is Right Hand end if if Root, Hand ã Orientation then return this is Right Foot end if if Root, Foot ã Orientation