Réalisation d’un modèle de filtrage de données = thiết lập một mô hình lọc dữ liệu luận văn ths công nghệ thông tin

26 334 0
Réalisation d’un modèle de filtrage de données = thiết lập một mô hình lọc dữ liệu  luận văn ths  công nghệ thông tin

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL POLLA DE NDJAMPA Fộlix-Bazin RẫALISATION DUN MODẩLE DE FILTRAGE DE DONNẩES THIT LP MT Mễ HèNH LC D LIU Spộcialitộ: Systốmes Intelligents et Multimộdia Code: Programme pilote RESUME DU MEMOIRE DE FIN DETUDES DU MASTER INFORMATIQUE HANOI 2015 Travail rộalisộ lInstitut Francophone International, Universitộ Nationale du Vietnam, Hanoi Sous la direction de: (Titre, Grade universitaire et Nom de lencadrant) Rapporteur 1: Rapporteur 2: Le mộmoire est soutenu devant le jury lInstitut Francophone International le . 2015 h Le mộmoire est accessible: - au Centre dInformations et de Bibliothốque, Universitộ Nationale du Vietnam, Hanoi - lInstitut Francophone International, Universitộ Nationale du Vietnam, Hanoi Le monde daujourdhui est marquộ par la prộsence de masses de donnộes dont lexploitation peut affecter de faỗon profonde grand nombre de secteurs (de le-commerce la recherche scientifique en passant par la finance et la santộ) Les organismes, les entreprises, les particuliers ont gộnộralement en leur possession un grand nombre de donnộes et arrivent rarement bien les exploiter Afin dờtre capable dextraire des informations dans ces bases de connaissances, on fait gộnộralement appel aux experts et ingộnieurs pour structurer et exploiter les donnộes L'exploitation de ces immenses masses de donnộes nộcessite des techniques sophistiquộes visant extraire l'information pertinente Le mộcanisme dextraction dinformations pertinentes est porteur de nombreux dộfis qui requiốrent une approche interdisciplinaire (statistiques numộriques, apprentissage statistique ou machine learning) Ces approches vont de lanalyse de donnộes exploratoires aux techniques les plus sophistiquộes comme linfộrence et la classification En gộnộral une vaste palette de mộthodes statistiques mathộmatiques et dapprentissage est mobilisộe pour parvenir mieux exploiter les donnộes Ainsi, lobjectif de notre ộtude est de proposer une approche permettant de gộnộrer un modốle dextraction des informations pertinentes dans une base de connaissance Dans ce document, ce modốle sera appelộ modốle de situation car les informations extraites doivent dộcrire une situation correspondant une rộelle expertise Cest dans cette optique que sinscrit mon stage intitulộ : ô Rộalisation dun modốle de filtrage de donnộes ằ Les diffộrentes tõches accomplir sont les suivantes : - Modộlisation ontologique dune base de donnộes existante ; Crộation dun algorithme pour gộnộrer un modốle de situation ; Evaluation du modốle de situation crộộ sur des donnộes des cas dutilisation Notre travail sinscrit en effet dans le cadre de la fusion dinformation qui est lun des thốmes de lộquipe du LRASC et dont lobjectif est d'amộliorer la connaissance du monde observộ pour le dộcrire du mieux possible pour lutilisateur Le modốle de situation sera ajoutộ comme entrộe dans le processus de fusion (Fossier, et al., 2013) Le travail effectuộ au cours de cette ộtude sest dộroulộ au sein du LRASC (Laboratoire Raisonnements et Analyses dans les Systốmes Complexes) Thales Research &Technology et du laboratoire LRI (Laboratoire de Recherche en Informatique) de luniversitộ Paris-Sud, ộquipe LAHDAK dont les travaux portent sur des propositions dinfrastructures adaptộes la gestion de donnộes et de connaissances massives et hộtộrogốnes plus ou moins complexe Pour rendre compte du travail effectuộ tout au long de cette ộtude, nous avons rộdigộ ce rapport qui sorganise en trois sections Dans la section 1, nous ferons une synthốse bibliographique du domaine dộtude Dans la section 2, nous prộsentons lapproche proposộe pour la rộalisation du modốle de filtrage ou encore pour lobtention de modốles de situation Dans la section 3, nous prộsentons les rộsultats dexpộrimentations et les analysons Enfin, nous concluons ce rapport par le bilan des apports de notre contribution ainsi que par la prộsentation rapide de quelques perspectives ouvertes par notre travail Contexte : Nos travaux sinscrivent dans le domaine plus large de la fusion dinformation Le terme ô fusion dinformation ằ est apparu dans les annộes 90 dans le but de gộrer et de mettre en correspondance un ensemble dinformations provenant des donnộes multi-sources et les exploiter Depuis quelques annộes de nombreux algorithmes de fusion ont ộtộ dộveloppộs pour les applications dans des domaines tels quintelligence artificiel, imagerie satellitaire et aộrienne Cependant, pour pouvoir appliquer ou utiliser des algorithmes de fusion, les experts de domaines doivent filtrer de leur base de connaissance, les donnộes qui sont les plus significatives avant deffectuer le processus de fusion Ces donnộes significatives sont celles quon qualifie de modốle de situation Le modốle de situation est ensemble de donnộes structurộes qui dộcrit des observations dun utilisateur afin de lui donner une meilleure comprộhension En dautres termes, le modốle de situation est une structure qui permet de dộcrire au mieux possible ce quont en commun un ensemble de donnộes Avant de pouvoir obtenir le modốle de situation, il est important de trouver un formalisme de reprộsentation des donnộes et une mộthode pour extraire les informations communes Dans cette section, nous prộsentons quelques notions importantes en relation avec notre domaine dộtude savoir : les langages de reprộsentation de connaissance et lapprentissage 1.1 Langages de reprộsentation des connaissances La reprộsentation des connaissances est une discipline de lIA destinộe reprộsenter et organiser un ensemble de connaissance dans le but de la partager, dinterroger et mờme de raisonner (combiner un ensemble dinformations prộalablement connues afin obtenir une information qui en dộcoule) La problộmatique de la recherche en reprộsentation des connaissances est de fournir des modốles formels de reprộsentation qui permettent dune part, de modộliser facilement la connaissance et dautre part, dexploiter cette connaissance lors de la rộsolution dun problốme donnộ Plusieurs formalismes de reprộsentation existent mais dans cette partie nous nous intộressons quaux formalismes qui nous permettrons faire des raisonnements logiques sur les connaissances savoir graphe conceptuel et le langage OWL 1.1.1 Graphe conceptuel Le modốle des graphes conceptuels (GCs) est un modốle formel de reprộsentation des connaissances fondộ sur la description de concepts qui est introduit dans (Sowa, 1984) Les connaissances exprimộes dans ce modốle se structurent en deux niveaux : un niveau terminologique encore appelộ support ou vocabulaire est principalement composộ dun treillis de concepts et dun ensemble ordonnộe de relations conceptuelles Le second niveau est dit assertionnel ou factuel et permet dộcrire les faits ou observations par des graphes cela en se basant des ộlộments du niveau terminologique Plusieurs extensions de ce modốle ont ộtộ proposộes chacun dans le but denrichir la mộthode de reprộsentation de connaissance (les types conjonctifs, les rốgles, et des contraintes) Le modốle des graphes conceptuels, sappuie sur une reprộsentation graphique des connaissances et permet le raisonnement Le raisonnement ộtant rộalisộ par des algorithmes de graphes (principalement la recherche disomorphisme de graphe) Il dispose en plus dune fonction dinterprộtation logique qui permet de doter le modốle dune sộmantique formelle Ainsi tout graphe conceptuel peut ờtre reprộsentộ en logique de description du premier ordre Un graphe conceptuel est un graphe biparti orientộ dans lequel les nuds (concept et relation) sont liộs par des arcs orientộs 1.1.2 Langage du Web Sộmantique Les ontologies sont apparues au dộbut des annộes 90 en ingộnierie des connaissances, dans le cadre des dộmarches dacquisition des connaissances pour les systốmes base de connaissances Dans ce contexte, les chercheurs ont proposộ de fonder ces connaissances sur la spộcification dune ontologie, ensemble structurộ par diffộrentes relations entre des objets du domaine dont lộlaboration relốve du choix du modộlisateur Les ontologies fournissent une capacitộ de stocker les connaissances gộnộrales, dune maniốre qui est comprộhensible la fois par les humains et les ordinateurs Nous ne considộrons quun sous-ensemble des ontologies : les ontologies OWL, permettant la production dinfộrences de nouvelles donnộes partir des donnộes dộj prộsentes dans la base Ces ontologies contiennent entre autre des axiomes permettant de spộcifier des contraintes dappartenances des individus une classe OWL2 est une recommandation du consortium du W3C Il vise ộgalement rendre les ressources sur le Web aisộment accessibles aux processus automatisộs en les structurant dune faỗon comprộhensible et aussi en leur ajoutant des mộta-informations (McGuinness & Harmelen, 2004) Pour cela, OWL offre des moyens puissants pour exprimer la signification et la sộmantique que XML, RDF, et RDF-S noffrent pas OWL ajoute des vocabulaires pour la description des propriộtộs et des classes, des relations entre classes, des cardinalitộs, des caractộristiques de propriộtộs (symetry), et des classes ộnumộrộes Tandis que RDF-S permet de dộfinir seulement la hiộrarchie entre les classes et propriộtộs OWL a ộtộ donc dộveloppộ comme une extension du vocabulaire de RDF De plus, laide nombreux plugin (OWL Api, Jena API) OWL permet lintộgration des ontologies cest dire permet la construction de nouvelle ontologie partir de zộro ou partir dautre dộj existante, elle permet lutilisation des ontologies dans les applications et enfin elle permet la fusion de plusieurs ontologie en une seule 1.1.3 Tableau comparatif des GCs et OWL2 Dans (Raimbault, 2008) ces deux formalisent bien quils soient similaires la logique de description, ils ont des diffộrences La plus notoire est au niveau dexpressivitộ des connaissances Par exemple la notion de complộmentaritộ est partiellement dộfinie en graphe conceptuel tandis que celle dộnumộration ne lest pas Daprốs le tableau ci-dessous, on peut remarquer que pour la reprộsentation des connaissances en OWL offre un vocabulaire le plus riche Ainsi, la majoritộ des notions dun systốme sont donc gộnộralement (totalement) instanciables dans les modộlisations basộes sur OWL2 Notions Graphe conceptuel OWL2 Classe Oui Oui Sous classe Oui Oui Relation Oui Oui Individus Oui Oui Equivalence Oui Oui Intersection Oui Oui Union Oui Partiellement Complộment Oui Partiellement Enumộration Oui Non Restriction de cardinalitộ Oui Partiellement Tableau 1: Comparaison GC et OWL2 Aprốs avoir fait une brốve prộsentation des formalismes de reprộsentation de connaissances reposant sur le paradigme des donnộes liộes tel que la technologie du Web Sộmantique ô OWL ằ et les graphes conceptuels, nous prộsentons des mộthodes qui permettent dinfộrer des connaissances partir des bases de connaissances 1.2 Lapprentissage automatique L'apprentissage automatique (machine learning en anglais), champ d'ộtude de l'intelligence artificielle qui concerne la conception, l'analyse, et l'implộmentation de mộthodes permettant une machine d'ộvoluer par un processus systộmatique Grace lapprentissage, la machine devient capable de remplir des tõches difficiles ou impossibles remplir par des moyens algorithmiques plus classiques Lobjectif de lapprentissage automatique est de produire automatiquement des rốgles Plusieurs mộthodes sont utilisộes pour y parvenir: les arbres de dộcision, la programmation gộnộtique, les rộseaux de neurones, la programmation logique inductive Dans cette partie nous nous intộressons seulement lapprentissage en logique de description puisque le formalisme de reprộsentation de connaissances choisi est aussi liộ la logique de description 1.2.1 Gộnộralitộs sur la programmation logique inductive (PLI) La Programmation Logique Inductive ou PLI (en anglais Inductive Logic Programming, ILP) peut se dộfinir comme ộtant l'intersection de l'apprentissage automatique et de la programmation logique L'apprentissage automatique, et plus prộcisộment de l'apprentissage inductif, permet de dộvelopper des outils et des techniques permettant d'induire des hypothốses et de synthộtiser de nouvelles connaissances partir de l'expộrience La PLI hộrite d'un langage de reprộsentation des connaissances palliant les limitations des approches non logiques de l'induction (en particulier l'absence de prise en compte d'une thộorie du domaine) et les techniques et thộories bien ộtablies de ce domaine La Programmation Logique Inductive avait l'origine pour objectif l'infộrence de programmes logiques partir d'observations et relativement une thộorie du domaine Son application s'ộtend aujourd'hui l'apprentissage de concepts en logique de description Formellement, la programmation logique inductive est une combinaison de lapprentissage automatique et de la programmation en logique Elle est dộcrite de la faỗon suivante (Lavrac & Dzeeoski, 1994) : Entrộes : Trois ensembles , + et avec Une base de connaissance Un ensemble dexemples Un ensemble de contre -exemples + Sortie : Trouver une hypothốse H vộrifiant les propriộtộs suivantes La complộtude La consistance + On cherche donc trouver une hypothốse H qui permet dexpliquer au mieux les exemples positifs, tout en rejetant au maximum les exemples nộgatifs Elle se base souvent sur lutilisation dautres techniques liộes la programmation logique comme la substitution, la spộcialisation, la gộnộralisation, lunification et la rộsolution La complexitộ dapprentissage dune nouvelle hypothốse dộpend du langage de la logique qui est choisi (Franz Baader, 2003) Plus le langage est complet, plus la complexitộ est grande En programmation logique inductive, on distingue trois grandes approches pour lapprentissage dhypothốses La premiốre approche, dite descendante ou top-down, consiste partir dune hypothốse gộnộrale et aller vers une hypothốse plus spộcifique en respectant les rốgles dộfinies dans la base de connaissances Cette approche a pour principale but dinduire une nouvelle hypothốse Dans la littộrature, on a plusieurs systốmes qui sont dộveloppộs avec cette approche : CIGOL (Muggleton & Buntine, 1992), CLINT (De Raedt, 1992), GOLEM (Muggleton & Feng, 1990), ALEPH (Srinivasan, version4) La seconde approche (bottom-up) qui est "linverse" de la premiốre, consiste partir dune hypothốse plus spộcifique et se diriger vers une hypothốse gộnộrale Elles sont gộnộralement implộmentộes laide des mộthodes comme Least Subsumer Common et Most Specific Concept (Cohen et al., 1992) (, ) = oự est le concept le plus spộcifique qui subsume tous les Ci (cest dire {1 , , }, ( ) Cette approche est utilisộe par des systốmes tels que : FOIL (Quinlan, 1995), PROGOL (Muggleton, 1995), CLAUDIEN (De Raedt & Dehaspe, 1996) Et la troisiốme approche est juste une combinaison des deux prộcộdentes et on la retrouver dans le systốme PROGOLEM (Muggletton et al., 2010) Le vộritable problốme en programmation logique inductive est la dộfinition de lespace de recherche des hypothốses Lespace de recherche dhypothốses reprộsente toutes les hypothốses existantes dans une base de connaissance Ainsi il est important de choisir et dutiliser une mộthode ayant une complexitộ raisonnable afin toutes ces hypothốses Le parcours de lespace de recherche est gộnộralement effectuộ par le biais de lopộrateur de subsomption Chaque mộthode de PLI diffốre les unes des autres par deux grands facteurs, la taille de lespace de recherche et la qualitộ de lhypothốse trouvộe (hypothốse couvrant au mieux les exemples positifs et aucun exemple nộgatif) 1.2.2 Apprentissage sur des ontologies (OWL) Trois principaux algorithmes de la PLI permettent lapprentissage sur des ontologies OWL savoir DL-FOIL (Fanizzi, 2008), DL-Learner (Lehmann et al., 2011) et YINYANG (Luigi et al., 2005) Dans cette sous-section, nous prộsentons ces trois algorithmes et nous faisons une ộtude comparative afin de trouver lequel est mieux adaptộ pour rộsoudre notre problốme Nous prộsentons dans cette sous partie une petite comparaison des trois systốmes Daprốs le tableau DL learner est le systốme qui prộsente le plus davantage comparộ aux deux autres Algorithme DL-Learner DL-FOIL YINYANG Format de lontologie OWL/N-triple/Sparql endPoints OWL OWL Logique de description EL/ALCN ALC ALC Type dapprentissage Exemple positif et nộgatif / Exemple positif seulement Exemple positif et nộgatif Exemple positif et nộgatif Hypothốse retournộe Une / plusieurs Une Une Caractộristique de lespace de recherche Top-down Top-down Top-down / bottom-up Systốme Disponible/ Open-source Non disponible Disponible Tableau 2: Comparaison DL-learner, DL-foil et YINYANG En effet, DL Learner permet dapprendre des nouvelles dộfinitions de concepts seulement avec des exemples positifs, il retourne des concepts comprộhensibles par les humains, il prộsente avec plus de dộtail la dộfinition de son heuristique qui facilite et rộduit le parcours de lespace de recherche et pour terminer il est un systốme open source Tous ces critốres nous ont permis de le comprendre et de pouvoir dộfinir par exemple lheuristique nộcessaire pour apprendre seulement les exemples positifs Conclusion En somme, nous avons prộsentộ deux approches de reprộsentation de connaissances, et trois mộthodes dapprentissage basộes sur les ontologies OWL Pour notre problốme nous optons donc pour le formalisme OWL pour la reprộsentation de la base de connaissance et de lalgorithme DL Learner sera utiliser (modifiộ) pour obtenir le modốle de situation parce quil prộsente les avantages telles que dộcrit dans le tableau2 Comme par exemple, il peut nous retourner des modốles de situation Ces modốles de situation ou rộsultats de DL learner ne sont pas idộale et intộressant pour les utilisateurs Nous allons dộcrire dans le chapitre prộcộdent pourquoi et comment doit-on amộliorer DL learner pour obtenir un bon modốle tout en exploitant certains principes dộveloppộes dans DL learner ẫtape : Algorithme dapprentissage qui pourra extraire les concepts qui correspondent au modốle de situation en logique de description Cest dire que nos modốles de situation sont dộcrits en logique de description ẫtape : Spộcialisation des rộsultats dapprentissage pour la recherche de modốle Le processus dobtention du modốle de situation ộtant trốs long nous nous sommes focalisộ dans ce mộmoire dans la proposition dun algorithme dapprentissage gộnộrant le modốle de situation en logique de description, cest dire lộtape 2.2 ẫtape1 : Modộlisation de la base de connaissance Dans cette partie, on sintộresse des bases de connaissances ôdirigộes par une ontologieằ, cest--dire comportant deux grands types de connaissances Les connaissances structurelles ou axiomes ontologiques qui permettent de fixer la sộmantique du vocabulaire utiliser Et les connaissances factuelles qui dộcrivent des situations spộcifiques relatives une entitộ individuelle du domaine La diversitộ de formats de reprộsentation de la connaissance pose parfois le problốme de choix pour dộterminer la structure la mieux adapter pour le problốme Pour notre problốme, il ộtait question dutiliser lun des deux formalismes prộsentộ au chapitre Et le choix sest donc portộ sur le formalisme OWL qui prộsente un plus grand niveau dexpressivitộ des donnộes car il contient plusieurs familles de langage comme EL, ALC, SHOIN (Baader et al., 2003) La base ASRS est une base de donnộes en ligne qui contient une description de diffộrents ộvộnements (incident) dans le domaine aộronautique Elle dộcrit pour chaque ộvộnement, les conditions (climat, lieu, le type davion ), les causes (anomalies), et les conclusions La base est exportable sous plusieurs formats : word, excel, csv Nous avons dộveloppộ une mộthode qui transforme un fichier excel en un fichier OWL La base a ộtộ modộlisộe comme prộsentộe sur la figure En fait nous nous sommes basộs sur la taxonomie dộj disponible (Annexe) pour reprộsenter les connaissances structurelles et en parsant chaque ligne du fichier Excel, on extrait des donnộes qui nous permettent de reprộsenter des faits ou des observations La construction de la base est faite laide de lAPI OWL LAPI OWL (OWLAPI1, 2015) est une interface Java mise en uvre par le W3C qui est utilisộe pour reprộsenter les ontologies du Web Sộmantique www.asrs.arc/nasa.gov 10 Figure 1: Visualisation graphique de lontologie ASRS 2.3 ẫtape : Extraction dexemples positifs Pour cette deuxiốme ộtape, on voudrait choisir les exemples dont on souhaite trouver une description commune La mộthode dextraction dexemples utilisộe est la requờte SPARQL SPARQL est utilisộ pour diriger lộtape dapprentissage et considộrer un ensemble bien dộfini de types dincident Notons toutes fois quộtant donnộ que lutilisateur peut ne pas maitriser comment dộfinir sa requờte, il peut entrer ses exemples sous la forme ô incident1, incident3, incident61 2.4 ẫtape : Apprentissage Lộtape dapprentissage se fait en utilisant lapproche top down des algorithmes dapprentissage Dans cette partie, nous allons dộcrire comment on rộussit extraire des concepts qui sont nộcessaires pour le modốle de situation Lapproche proposộe se base sur DL learner (Jens Lehmann, 2010) Mais avant dy arriver nous prộsentons dabord pourquoi lalgorithme dapprentissage CELOE (Class Expression Learning for Ontology Engineering) proposộ dans DL-learner ne nous satisfait pas complộtement Lorsquon paramốtre DL learner la recherche de plusieurs concepts qui couvrent un ensemble dexemple, il retourne des concepts qui couvrent certes lensemble des exemples, mais ces concepts comportent des expressions qui ne sont pas intộressantes pour le modốle de situation En effet gộnộralement le premier rộsultat est court et ne donne pas tous les dộtails sur la situation que lon souhaite 11 apprendre Et bien quand on a des rộsultats dapprentissage long, ils contiennent des concepts qui ne nous apprend rien de nouveau et qui est connu de tous Pour pallier ces insuffisances, nous avons modifiộ le comportement de DL learner afin dộviter les redondances, les intersections et les unions avec tout autre concept non intộressant (dộfinition ci-dessous) Loptimisation du comportement a ộtộ gộrộe par la modification de lopộrateur de raffinement qui est prộsentộe dans la partie suivante (fig.9) 2.4.1 Dộfinition de quelques notions Un concept correspond une ô classe d'ộlộments ằ et est interprộtộ comme un ensemble dans un univers donnộ Les rụles correspondent aux ô liens entre les ộlộments ằ et sont interprộtộs comme des relations binaires sur un univers donnộ Les individus correspondent aux ộlộments d'un univers donnộ Un concept est dit intộressant lorsquil ne va pas couvrir tous les exemples de la base de connaissance En dautres termes lorsquil ne cause pas un sur-apprentissage Exemple : Incident isOn.Aircraft ( hasDetector_Person.({FlightCrew})) Ce concept comporte expressions et cest la derniốre expression qui est intộressante pour dộsigner un modốle car les premiers (Incident et isOn.Aircraft) ne nous apprennent rien de nouveau (car connu par toutes personnes familiốres avec la base) Concept ộlộmentaire : est tout concept obtenu sans lutilisation dopộrateur tel que lunion, lintersection En dautre terme, il sagit de tout concept appartenant { , } ự , () ou encore un concept ộlộmentaire Exemple : incident; ( hasDetector_Person.({FlightCrew})) ; hasAssessment.( hasContributingFactor.contributingFactor) Concept spộcifique : cest un concept qui contient des individus instanciộs dans sa description exactitude dun concept C ("accuracy") est donnộe par la formule () = ự || = || = Bruit : pourcentage d'erreurs Il permet de dộtecter si un concept est intộressant ou non Le bruit est utilisộ pour matộrialiser le degrộ dimpuretộ de notre base (valeur manquante, information erronộe ) Exemple : Si ộ() > et C noverfitte pas, alors est concept intộressant 12 Lidộe de notre approche est donc de se fonde sur lexistant des fonctions de DL learner afin de redộfinir lopộrateur de raffinement et de proposer un algorithme pour obtenir les modốles de situation Il sagit de partir de lexpression la plus gộnộrale et ộvaluer le taux de couverture de lexpression sur des exemples Lorsquon trouve un concept ộlộmentaire, si le nombre dexemples couverts est supộrieur aux nombres dexemples total*bruit, alors ce concept est ajoutộ dans lensemble solution (RP) et il est ensuite raffinộ A la fin de lalgorithme, on a dans lensemble solution "RP" tous concepts ộlộmentaires ayant une couverture maximale des exemples Ainsi nous effectuons lapprentissage pour dộterminer des concepts ộlộmentaires et intộressants Par la suite ces concepts sont combinộs pour trouver un ou des concepts plus longs et plus spộcifiques La longueur et la spộcificitộ dun concept nous permet de mieux caractộriser un modốle de situation car nous partons de lidộe selon laquelle une information est bien dộcrite si elle contient le plus de dộtail 2.4.2 Dộfinition de lopộrateur de raffinement Le raffinement dopộrateur permet de dộcrire comment les ộlộments de lespace de recherche seront obtenus Cela se fait gộnộralement par la relation de spộcialisation Exemple : Lopộrateur de raffinement de notộ () = { } oự est une spộcialisation de ou encore est un sous concept de notộ ( ) Une telle dộfinition entraợne un trốs grand nombre de spộcialisations Mais la dộfinition dune heuristique va nous permettre de choisir des meilleurs concepts afin de rộduire lespace de recherche Cette heuristique est dộfinie par lexactitude dun concept Si un concept a la plus grande valeur dexactitude, alors il est qualifiộ de meilleur concept Soit lensemble de tous les concepts atomiques et lensemble de tous les rụles Soit le langage de la logique de description qui contient les expressions du tableau suivant est le langage utilisộ pour dộfinir lopộrateur de raffinement Notons que lopộrateur de raffinement telle que dộfini la figure ne contient que les concepts dit ộlộmentaires Pour tout C , on dộfini () = { | , } () reprộsente lensemble de tous les concepts qui sont directement infộrieur au concept C Lensemble reprộsente lensemble de tous les concepts plus gộnộraux et lensemble des rụles () = { | , } = { { () }{. | } Dộfinition : Lopộrateur de raffinement est dộfini comme suit : 13 { | } () = { { | ()} { | ()} = = } = ( ) = Figure 2: Dộfinition de l'opộrateur de raffinement Avec lopộrateur de raffinement et aussi laide dune heuristique (plus prộcisộment lexactitude dộfini prộcộdemment), on dộfinit pour chaque concept par lheuristique doit ờtre spộcifiộ Exemple de raffinement Incident =100% Aircraft =60% - {} Figure 3: Illustration d'une recherche par raffinement d'opộrateur La figure 10 montre un exemple de raffinement de concept avec comme heuristique lexactitude et comme but la recherche de concept ộlộmentaire et spộcifique Lexactitude de ô incident ằ est 100% par contre celui de ô aircraft ằ est de 60% donc la descente dans larbre est faite partir du nud ô incident ằ et ainsi de suite 2.4.3 Propriộtộs de lopộrateur de raffinement Un opộrateur de raffinement quatre principales propriộtộs (Hitzler, 2008) - Fini cest dire que l'ensemble des concepts possibles obtenus travers le raffinement est en nombre fini - Propre qui garantit que chaque ộtape de raffinement retourne un concept qui est strictement plus spộcifique que le premier Cest dire que pour tout concept C et D, () implique - Complet qui garantit que chaque concept subsumộ est accessible travers une chaợne de raffinement successive - Minimum qui garantit que chaque raffinement possible partir d'un concept ne peut ờtre atteint par deux chaợnes de raffinement diffộrent (non de redondance de raffinement) 14 - Lopộrateur est dit idộal sil est fini, propre et complet Lopộrateur dộfinit la figure est idộal La preuve est faite dans le rapport 2.4.4 Algorithme dobtention de modốles Lalgorithme dobtention de modốle est divisộ en deux sous algorithme Le premier qui correspond lapprentissage et le deuxiốme une sorte de fusion Algorithme : Modốle de situation ộ ộ () ộ ộộ ố |E| dộsigne le nombre dexemple dapprentissage = (() >= || ) ộ ộ 10 11 ố = () 12 ố () ộộ ộ ộ ộộ, "ộ (1 )" Explication de lalgorithme Les lignes de correspondent lộtape dapprentissage Les lignes correspondent linitialisation de nos principales variables La ligne qui marque la condition darrờt de lapprentissage, permet de considộrer tous les concepts dont lexactitude est satisfaisante La ligne 6, vộrifie que le concept est nexiste pas dộj dans RP et lajoute La ligne permet de spộcifier le concept choisit La spộcification est faite en appliquant la mộthode de raffinement dộfinit la figure La ligne permet de choisir un nouveau concept et recommencer la boucle Les lignes 10 12 permettent de gộnộrer des modốles de situation Tout dabord la ligne 10, on ộliminer les concepts moins spộcifiques qui sont superclasses dautres dans la variable RP Cette ligne permet dộviter dautre redondance et minimiser les modốles de situation proposộs La ligne 11 permet de fusionner(en utilisant lintersection) les concepts 15 obtenus aprốs apprentissage tout en vộrifiant que lexactitude des modốles retournộs soit supộrieur (1 pourcentageBruit) Conclusion En conclusion, nous avons prộsentộ lapproche proposộe pour la gộnộration de modốle de situation Cette approche que nous avons nommộe ModelSituation est une approche dans laquelle la troisiốme ộtape se fonde sur lapproche de DL learner Vu que lapproche permet de gộnộrer des modốles de situation, il ne nous reste qu attaquer le dernier objectif de notre ộtude qui est lộvaluation Le chapitre suivant se charge de prộsenter, analyser et ộvaluer les rộsultats des expộrimentations effectuộes 16 Dans ce chapitre nous prộsentons les donnộes utilisộes, les scộnarios, les paramốtres et les critốres dộvaluations Pour ộvaluer nos rộsultats, nous allons considộrer principalement deux critốres de comparaisons et deux scộnarios diffộrents Le premier critốre est obtenu dire dexpert, le deuxiốme est ộtape de test pour vộrifier le taux dexactitude du modốle sur dautre jeu de donnộes Pour limplộmentation des ộtapes et algorithmes, nous avons choisi dutiliser lộditeur Eclipse avec le langage de programmation Java, car ce langage comporte plusieurs plugins nộcessaires la manipulation et la sộrialisation des ontologies (OWL API, API Jena ) 3.1 Prộsentation des cas dộtude Nos expộrimentations sont faites sur la base ASRS, et plus prộcisộment sur les incidents qui ont eu lieu entre 2009 et 2010 Ces donnộes correspondent 7000 description dincidents Le tableau nous donne un aperỗu concernant lontologie utilisộe pour lexpộrimentation Ontologie Classes Base ASRS (2009-2010) Propriộtộs objet 28 Propriộtộs de donnộes 23 Individus 43346 Tableau 3: Description concernant l'ontologie utilisộe pour les expộrimentations 3.1.1 Scộnario d'apprentissage Pour nos expộrimentations, nous considộrons tous les ộvộnements qui se sont dộroulộs entre 2009 et 2010 Ces donnộes correspondent 4998 incidents dộcrits Nous allons donner un/plusieurs modốles de situation correspondant aux situations suivantes : - Scộnario : Des incidents portộs sur les avions de modốle boeing La requờte de ce scộnario correspond : PREFIX inc :http://example.com/owl/IncidentASRS SELECT ?incident WHERE {?incident inc: isOn ?aircraft ?aircraft inc:hasMakeModel ?model FILTER regex(?model,Boeing) } ORDER BY incident Figure 4: Exemple de requờte SPARQL correspondant au scộnario - Scộnario : Des incidents dont le problốme primaire est marquộ comme ambiguở 17 La requờte de ce scộnario correspond : PREFIX inc : SELECT ?incident WHERE {?incident inc: hasAssessment ?assessment ? assessment inc:hasPrimaryProblem inc:ambiguous } ORDER BY incident Figure 5: Exemple de requờte SPARQL correspondant au scộnario 3.1.2 Les paramốtres dexpộrimentations Dans cette section, nous prộsentons les paramốtres dentrộes utilisộs dans notre algorithme de gộnộration de modốles Paramốtres Commentaires Valeur par dộfaut Fichier OWL Fichier contenant lontologie et qui permet de spộcifier la base de connaissance utilisộe baseASRS.owl Requờte SPARQL Requờte qui permet de sộlectionner les exemples dans la base Ce paramốtre est dộfinir selon le scộnario prộciser Nombre de modốles souhaitộ Ce paramốtre est utilisộ pour pouvoir retourner les n meilleurs modốles obtenus N=3 Bruit Ce paramốtre permet de dộfinir le pourcentage de bruit quon choisit pour nos donnộes Bruit=30% Profondeur maximale du concept ộlộmentaire Ce paramốtre est utilisộ pour ộviter davoir un espace de recherche infini et dộfinit la profondeur du concept ộlộmentaire Tableau 4: Paramốtres d'entrộe pour la gộnộration de modốles de situation 18 3.1.3 Critốres dộvaluation Le premier critốre dộvaluation est dire dexpert Lidộe de cette ộvaluation qui est la meilleure pour ce type de problốme est de prộsenter aux experts lapproche abordộe et les rộsultats obtenus pour quils nous donnent leur point de vue (Fait par tộlộphone) Le deuxiốme critốre est celui de sộparer les exemples de la requờte en deux, une partie pour rechercher les modốles et une autre partie appelộe exemples-tests pour vộrifier si les taux de couverture des exemples tests par rapport un modốle sont proches de la valeur de lexactitude du modốle Pour ce cas nous prenons des donnộes de la base ASRS qui correspondent aux incidents de 2014 2015 3.2 Rộsultats d'expộrimentations et interprộtations Dans cette section, nous prộsentons les rộsultats obtenus lors des expộrimentations faites sur les donnộes prộsentộes dans la section prộcộdente Les expộrimentations ont ộtộ faites avec un ordinateur ayant les caractộristiques suivantes : 2.2 GHz CPU et Go de RAM Nous tenons souligner que pour les expộrimentations, nous donnons aux paramốtres les valeurs par dộfaut rộsumộes dans les tableaux 3.1 et 3.2 3.2.1 Rộsultat du scộnario Nous prộsentons dabord les rộsultats dapprentissage En dautre terme il sagit des concepts ộlộmentaires pouvant faire partir du modốle de situation Et ensuite nous prộsentons les (n=3) meilleurs modốles de situation obtenus Concept ộlộmentaire dapprentissage Description hasAssessment.( hasContributingFactor.contribut ingFactor) Incidents dont lộvaluation mentionne un facteur de contribution de lincident Incidents dont lộvaluation mentionne un problốme primaire 95,92% Incidents ayant eu lieu sur des avions dont la phase de vol est connue Incidents ayant eu lieu sur des avions dont lopộrateur est ô air carrier ằ 95,24% hasAssessment.( hasPrimaryProblem.primaryProble m) isOn.( hasFlightPhase.flightPhase) isOn.( hasAircraftOperator.({AirCarrie r})) hasAnomaly.anomaly 80,95% hasDetector.({FlightCrew}) isOn.( hasMission.mission) Incidents dont les anomalies sont mentionnộes Incidents qui sont dộtectộs par un membre de lộquipage Incidents portộs sur des avions ayant une mission dộfinie N 19 Exactitude 98,30% 90,14% 80,27% 76,53% 10 11 isOn.( hasFlightPlan.({IFR})) hasEnvironment.( hasFlightCondition.fligthCondit ion) hasDetectionMoment.({Inflight}) Incidents portộs sur des avions ayant pour plan de vol ô IFR ằ (Instrument Flight Rules) Incidents ayant lieu sur des environnements dont les conditions de vol sont connus Incidents dộtectes au moment ô en vol ằ 74,83% 71,09% 70,41% Tableau 5: Rộsultats d'apprentissage du scộnario Comme prộsentộ dans lalgorithme de modốle de situation, ces rộsultats sont obtenus par combinaison des concepts ộlộmentaires Toutefois en retenant des concepts les plus longs, les plus spộcifiques et dont lexactitude est supộrieure (1- pourcentage de bruit) La colonne "description" nous permet davoir en langage naturel la dộfinition du modốle de situation retournộ Modốles Intersection des concepts Descriptions exactitude hasAssessment.( hasContributingFactor.contributin gFactor) isOn.( hasAircraftOperator.({AirCarrier} )) hasDetector.({FlightCrew}) Incidents dont lộvaluation mentionne un facteur de contribution de lincident et ayant eu lieu sur des avions dont lopộrateur est ô air carrier ằ et qui sont dộtectộs par un membre de lộquipage Incidents ayant eu lieu sur des avions dont lopộrateur est ô air carrier ằ et qui sont dộtectộs par un membre de lộquipage ayant eu lieu sur des avions dont lopộrateur est ô air carrier ằ et dont le plan de vol est ô IFR ằ 70,41% isOn.( hasAircraftOperator.({AirCarrier} )) hasDetector.({FlightCrew}) isOn.( hasAircraftOperator.({AirCarrier} )) isOn.( hasFlightPlan.({IFR})) 71,43% 72,43% Tableau 6: Modốles de situation du scộnario1 3.2.2 Interprộtations des rộsultats du scộnario1 Daprốs les rộsultats du tableau 6, nous observons que malgrộ le taux de bruit qui est fixộ 30%, on obtient comme meilleur rộsultat une combinaison de seulement concepts Cela est dỷ aux informations non mentionnộes (valeurs manquantes) dans lontologie Vu la base de connaissance utilisộe, il est trốs peu probable de retrouver des modốles de situation intộressant, dont le taux de couverture des exemples se rapproche de 100% Cest la raison pour laquelle 20 nous laissons lopộrateur la possibilitộ de faire varier le pourcentage de bruit Pour un bruit de 10%, il est difficile de dộcrire la situation avec des concepts spộcifiques Ainsi lopộrateur peut augmenter le pourcentage (30% par exemple) afin dobtenir des modốles dont linterprộtation est plus aisộe et plus significative Nos rộsultats et notre approche de gộnộration de modốle de situation ont ộtộ prộsentộs aux experts du domaine aộronautique afin davoir des retours et des bases expertes pour ộvaluer le modốle Daprốs leurs dires, ils sont satisfaisants mais ils restent beaucoup dautres critốres prendre en compte pour amộliorer le modốle Nous prộsentons les amộliorations possibles en conclusion (perspective damộlioration) Pour une vộrification dexactitude des modốles, nous calculons le taux de couverture du modốle par rapport aux exemples de test Ceci dans le but de dộtecter si la situation dộcrite est la mờme pour dautre cas de donnộes La figure ci-dessous nous permet de voir que delta (diffộrence entre le taux de couverture des exemples dapprentissage et le taux de couverture des exemples tests) est au plus de 4% entre les exemples dapprentissage et les exemples-tests pour tous les trois modốles Ainsi nous pouvons dire que les modốles de situation proposộs dộcrivent quasiment le mờme nombre dexemples pour diffộrentes donnộes Exactitude (%) 78 76 74 72 70 68 66 64 62 60 exemple d'apprentissage exemple test(%) Modốle Modốle Modốle exemple d'apprentissage 70,41 71,43 72,43 exemple test(%) 73,14 70,2 71,63 Figure 6: Diffộrence dexactitude entre les donnộes d'apprentissage et celle de tests (Scộnario1) 3.2.3 Rộsultat du scộnario Nous prộsentons dabord les rộsultats dapprentissage En dautre terme il sagit des concepts ộlộmentaires pouvant faire partir du modốle de situation Et ensuite nous prộsentons les (n=3) meilleurs modốles de situation obtenus 21 Comme prộsentộ dans lalgorithme de modốle de situation, ces rộsultats sont obtenus par combinaison des concepts ộlộmentaires toute fois en retenant des concepts les plus longs, les plus spộcifiques et donc lexactitude est supộrieure 1- pourcentage de bruit Modốles Intersection des hypothốses Description hasAssessment.( hasPrimaryProblem.({Ambiguo us})) isOn.( hasFlightPlan.flightPhase) hasDetector.({FlightCrew}) hasAssessment.( hasPrimaryProblem.({Ambiguo us})) isOn.( hasFlightPlan.flightPhase) isOn.( hasAircraftOperator.({AirCa rrier})) hasAssessment.( hasPrimaryProblem.({Ambiguo us})) hasDetector.({FlightCrew}) Prộcision Incidents dont lộvaluation 75,95% mentionne le problốme primaire comme ô ambiguở ằ et dont la phase de vol est connue et dont la dộtection est faite par un membre de lộquipage Incidents dont lộvaluation 74,68% mentionne le problốme primaire comme ô ambiguở ằ et dont la phase de vol est connue Incidents dont lộvaluation mentionne le problốme primaire comme ô ambiguở ằ et dont la dộtection est faite par un membre de lộquipage 81,01% Tableau 7: Modốles de situation du scộnario 3.2.4 Interprộtations des rộsultats du scộnario Pour ce deuxiốme scộnario correspondant aux incidents dont le problốme primaire est ambigu, nous pouvons constater que les meilleurs modốles de situation retournộs contiennent tous le concept ộlộmentaire ô (hasAssessment.(hasPrimaryProblem.({Ambiguous})ằ qui mentionne effectivement que lensemble dexemples dapprentissage a ce concept en commun Cela est normal puisque la requờte de dộpart mentionne que le problốme primaire est ambigu Donc lalgorithme de gộnộration de modốles de situation rộussit retourner en plus des ộlộments provenant de la requờte dautres informations pour mieux dộcrire les exemples De mờme quau scộnario1 les modốles de situation obtenus sont passộs sur dautres exemples dits exemples tests On constate que les modốles couvrent dautres donnộes avec des exactitudes trốs proches de celle des exemples dapprentissage La diffộrence maximale de cette 22 exactitude est de 4% (fig.15) Cela montre que nos modốles de situation dộcrivent de la mờme faỗon des jeux de donnộes diffộrents Exactitude (%) 90 80 70 60 50 40 30 20 10 exemple d'apprentissage exemple test(%) Modốle Modốle Modốle exemple d'apprentissage 75,95 74,68 81,01 exemple test(%) 72,24 70,2 75,75 Figure 7: Diffộrence dexactitude entre les donnộes d'apprentissage et celle de tests (Scộnario2) 23 Les opộrateurs se trouvent trốs souvent confrontộs au problốme davoir des donnộes dont ils ne savent pas trop quoi faire Pour un ensemble dobservation provenant de leur base, trouver une ou des dộfinitions de concepts qui dộcrivent au mieux ces observations est le principal problốme de ces opộrateurs Nous appelons ces concepts recherchộes des modốles de situation Lộtude effectuộe au cours ce stage sinscrit dans cet ordre didộe et consiste proposer une mộthode permettant de prộsenter ce quun ensemble dobservations peut avoir en commun Ce modốle sera utilisộ comme paramốtre dentrộe pour le processus de fusion dinformation et aussi utilisộ par des experts pour des prises de dộcision Lapproche proposộe pour lobtention de ce dit modốle est dans un premier temps de rộcupộrer le besoin de lopộrateur la transcrire en requờte Sparql Ensuite, les rộsultats de la requờte sont utilisộs comme exemples positifs pour faire de lapprentissage Lapprentissage retourne juste des concepts dit "ộlộmentaires" Pour obtenir les modốles de situation, on recherche des concepts de longueur maximale contenant le plus dinformations ou des concepts spộcifiques Pour atteindre notre objectif, nous nous somme fondộ sur un systốme dapprentissage existant (DL learner ) que nous avons optimisộ en redộfinissant la mộthode de raffinement dopộrateur afin de trouver seulement des concepts ộlộmentaires Nous faisons enfin une fusion de ces concepts (intersections) pour trouver des concepts plus complexes Nos premiers rộsultats ont ộtộ validộs par les experts du domaine et dautres jeux de test dont les rộsultats sont dộj connus et traitộs la main nous ont ộtộ proposộs Mais ces jeux de donnộes concernent uniquement les donnộes en langue naturelles Or pour ce stage, on ne traite pas du langage naturel et donc nous navons pas eu faire plus dexpộrimentations Daprốs les rộsultats obtenus, les modốles comportent peu de concepts ộlộmentaires (2 4) Cela est dỷ la base qui est peu peuplộe Etant donnộ que nous avons deux bases (base ASRS et base de maintenance davion) qui proviennent toutes les deux dun mờme domaine, on pourra dabord proposer une approche pour fusionner ces deux bases Plus la base est peuplộe plus les concepts y figurant peuvent devenir moins intộressants pour appartenir un modốle de situation Par exemple, pour le scộnario des avions ayant pour problốme primaire ambigu, si le rộsultat du modốle de situation comprend ôla couleur est rouge ằ, la couleur na rien voir avec le problốme dun avion Donc pour raffiner nos rộsultats, nous devons dộfinir une mộthode de sộlection des caractộristiques pertinentes Cette mộthode devra permettre dộliminer les facteurs sans influences ou peu influents, les facteurs redondants et aussi, elle devra permettre de faire des apprentissages moins couteux et fiables (Meilleure comprộhensibilitộ de lhypothốse et Meilleure performance en classification) De mờme on peut aborder le problốme en dộfinissant des requờtes avec OBDA (Ontology-Based Data Access) qui permettra dinfộrer de nouveaux faits non explicitement stockộs dans la base de connaissance ainsi que permettre le mapping des ontologies en fournissant une vue unifiộe de plusieurs sources de donnộes 24 [...]... lensemble de tous les concepts plus gộnộraux et lensemble des rụles () = { | , } = { { () }{. | } Dộfinition : Lopộrateur de raffinement est dộfini comme suit : 13 { | } () = { { | ()} { | ()} = = } = ( ) = Figure 2: Dộfinition de l'opộrateur de raffinement Avec lopộrateur de raffinement et aussi laide dune heuristique (plus prộcisộment lexactitude dộfini prộcộdemment),... suivantes : - Scộnario 1 : Des incidents portộs sur les avions de modốle boeing La requờte de ce scộnario correspond : PREFIX inc :http://example.com/owl/IncidentASRS SELECT ?incident WHERE {?incident inc: isOn ?aircraft ?aircraft inc:hasMakeModel ?model FILTER regex(?model,Boeing) } ORDER BY incident Figure 4: Exemple de requờte SPARQL correspondant au scộnario 1 - Scộnario 2 : Des incidents dont le problốme... spộcifiộ Exemple de raffinement Incident =1 00% Aircraft =6 0% - {} Figure 3: Illustration d'une recherche par raffinement d'opộrateur La figure 10 montre un exemple de raffinement de concept avec comme heuristique lexactitude et comme but la recherche de concept ộlộmentaire et spộcifique Lexactitude de ô incident ằ est 100% par contre celui de ô aircraft ằ est de 60% donc la descente dans larbre... point de vue (Fait par tộlộphone) Le deuxiốme critốre est celui de sộparer les exemples de la requờte en deux, une partie pour rechercher les modốles et une autre partie appelộe exemples-tests pour vộrifier si les taux de couverture des exemples tests par rapport un modốle sont proches de la valeur de lexactitude du modốle Pour ce cas nous prenons des donnộes de la base ASRS qui correspondent aux incidents... vộrification dexactitude des modốles, nous calculons le taux de couverture du modốle par rapport aux exemples de test Ceci dans le but de dộtecter si la situation dộcrite est la mờme pour dautre cas de donnộes La figure ci-dessous nous permet de voir que delta (diffộrence entre le taux de couverture des exemples dapprentissage et le taux de couverture des exemples tests) est au plus de 4% entre les exemples... colonne "description" nous permet davoir en langage naturel la dộfinition du modốle de situation retournộ Modốles 1 2 3 Intersection des concepts Descriptions exactitude hasAssessment.( hasContributingFactor.contributin gFactor) isOn.( hasAircraftOperator.({AirCarrier} )) hasDetector.({FlightCrew}) Incidents dont lộvaluation mentionne un facteur de contribution de lincident et ayant eu lieu sur des avions... nombre de spộcialisations Mais la dộfinition dune heuristique va nous permettre de choisir des meilleurs concepts afin de rộduire lespace de recherche Cette heuristique est dộfinie par lexactitude dun concept Si un concept a la plus grande valeur dexactitude, alors il est qualifiộ de meilleur concept Soit lensemble de tous les concepts atomiques et lensemble de tous les rụles Soit le langage de la... peuvent devenir moins intộressants pour appartenir un modốle de situation Par exemple, pour le scộnario des avions ayant pour problốme primaire ambigu, si le rộsultat du modốle de situation comprend ôla couleur est rouge ằ, la couleur na rien voir avec le problốme dun avion Donc pour raffiner nos rộsultats, nous devons dộfinir une mộthode de sộlection des caractộristiques pertinentes Cette mộthode devra... sagit des concepts ộlộmentaires pouvant faire partir du modốle de situation Et ensuite nous prộsentons les (n=3) meilleurs modốles de situation obtenus Concept ộlộmentaire dapprentissage Description hasAssessment.( hasContributingFactor.contribut ingFactor) Incidents dont lộvaluation mentionne un facteur de contribution de lincident Incidents dont lộvaluation mentionne un problốme primaire 95,92% Incidents... recherchộes des modốles de situation Lộtude effectuộe au cours ce stage sinscrit dans cet ordre didộe et consiste proposer une mộthode permettant de prộsenter ce quun ensemble dobservations peut avoir en commun Ce modốle sera utilisộ comme paramốtre dentrộe pour le processus de fusion dinformation et aussi utilisộ par des experts pour des prises de dộcision Lapproche proposộe pour lobtention de ce dit

Ngày đăng: 28/07/2016, 23:30

Từ khóa liên quan

Tài liệu cùng người dùng

  • Đang cập nhật ...

Tài liệu liên quan