HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG NGUYỄN MINH CHÂU NGHIÊN CỨU MỘT SỐ KỸ THUẬT BIỂU DIỄN BIỂU CẢM KHUÔN MẶT THEO TRẠNG THÁI TÂM LÝ MÃ SỐ: 60.48.15 Người hướng dẫn khoa học: PGS.TS ĐỖ NĂNG TOÀN TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2010 1 M ỤC LỤC Trang M Ở ĐẦU……………………………………………………………… 2 Chương 1 Khái quát v ề thực tại ảo v à ho ạt hoá khuôn mặt……….… 4 1.1. Công ngh ệ thực tại ảo v à ứng dụng…………………………… 4 1.1.1. Công ngh ệ thực tại ảo………………………………………. 4 1.1.2. Các ứng dụng c ơ b ản củ a th ực tại ảo……………………… 5 1.2. Các v ấn đề li ên quan đ ến thực tại ảo v à ho ạt hoá khuôn mặt… 7 1.2.1. Mô hình hoá khuôn m ặt……………………………….……. 8 1.2.2. Ho ạt hoá khuôn mặt theo trạng thái tâm lý…………….…… 9 1.3. Ngôn ng ữ lập tr ình đ ồ hoạ J ava 3D………………………… … 11 1.3.1. T ổng quan về Java 3D………………………………………. 11 1.3.2. T ạo hoạt ảnh v à nh ững đối t ư ợng Java 3D…………………. 12 Chương 2 Các k ỹ thuật hoạt hoá khuôn mặt theo trạng thái tâm lý… 12 2.1. Tâm lý h ọc……………………………………………………… 1 3 2.1.1. Tr ạng thái, cảm xúc………………………………………… 13 2.1.2. Các tr ạng thái tâm lý c ơ b ản………………………….…… 13 2.2. Ho ạt hoá khuôn mặt theo hệ thống điểm điều khiển…………… 14 2.2.1. Nguyên t ắc mô h ình hoá và bi ểu diễn……………………… 15 2.2.2. Các công c ụ mô h ình hoá khuôn m ặt bằng điểm điều khiển 15 2.2.3. Phân tích các ưu đi ểm mô h ình hoá khuôn m ặt theo hệ thống điểm điều khiển trong công nghệ 3D Morphing………………. 16 2.3. Ho ạt hóa khuôn mặt dựa v ào k ỹ thuật Morphing……………… 16 2.3.1. Morphing là gì?………………………………………….…. 16 2.3.2. Công ngh ệ 2D Morphing…………………………………… 16 2.3.3. Công ngh ệ 3D Morphing…………………………………… 17 2.3.4. Ứng dụng 3D Morphing trong hoạt ảnh khuôn mặt 3 chiều 17 Chương 3 Chương tr ình th ử nghiệm …………………………… …… 18 3.1. Cài đ ặt v à ch ạy ch ương tr ình Java 3D…………………… …… 18 3.2. Gi ới thiệu phần mềm Demo……………………………….…… 18 K ẾT LUẬN…………………………………………………………… 21 KI ẾN NGHỊ V À HƯ ỚNG NGHI ÊN C ỨU TIẾP THEO………… … 22 2 Mở đầu Sự phát triển của phần cứng máy tính và các thiết bị liên quan đã mở đường cho sự phát triển của công nghệ thông tin. Những bức tiến dài của công nghệ thông tin những năm gần đây phải kể đến Thực tại ảo. Trong thực tại ảo có hai khâu quan trọng, là mô hình hóa và điều khiển. Mô hình hóa là việc tạo ra mô hình 3D của đối tượng trên máy tính, trong khi điều khiển nhằm thể hiện tính động của đối tượng trong không gian ảo của máy tính. Trong điều khiển đối tượng, hoạt ảnh khuôn mặt là một lĩnh vực khá mới mẻ đối với khoa học ứng dụng công nghệ thông tin trong nước ta, nó cũng là một lĩnh vực đang rất được quan tâm khi ứng dụng vào đời sống nhất là đời sống giải trí. Trong đó, việc mô phỏng hay biểu diễn khuôn mặt theo các trạng thái tâm lý (Illustrate 3D face according to Psychological State) là một nhánh quan trọng trong lĩnh vực hoạt ảnh khuôn mặt. Mô hình hoá và biểu diễn khuôn mặt 3D theo trạng thái tâm lý có ứng dụng trong các lĩnh vực công nghệ thông tin, giải trí, quảng cáo, tạo mô hình ảo, kỹ thuật số, Trên thế giới, đã có nhiều nhà nghiên cứu tiến hành xây dựng các mô hình nhân vật ảo có khả năng thể hiện mô tả sự chuyển động, nói, phát âm,… đã tạo tiền đề cho công nghệ quảng cáo và phim hoạt hình Tuy nhiên, hiện nay, ở Việt Nam, vấn đề này vẫn còn khá mới mẻ. Xuất phát trong hoàn cảnh đó, luận văn lựa chọn đề tài "Nghiên cứu một số kỹ thuật biểu diễn biểu cảm khuôn mặt 3 theo trạng thái tâm lý" nhằm nghiên cứu một số kỹ thuật điều khiển khuôn mặt và áp dụng vào việc biểu diễn khuôn mặt theo trạng thái tâm lý là việc làm không chỉ có tính thời sự, tính khoa học mà còn mang đậm tính thực tiễn. Cấu trúc của luận văn bao gồm ba chương và một phụ lục, sau khi tìm hiểu về thực tại ảo, mô hình hoá và hoạt ảnh khuôn mặt (gọi tắt là hoạt hoá khuôn mặt) cùng với việc tìm hiểu ngôn ngữ lập trình đồ hoạ Java 3D ([Chương 1]). Với các kiến thức ở ([Chương 1]) chúng ta bắt đầu tìm hiểu các trạng thái tâm lý cơ bản ở con người tiếp đến là thảo luận về các phương pháp hoạt hoá khuôn mặt theo trạng thái tâm lý và giới thiệu chi tiết về cách thức hoạt hoá khuôn mặt theo trạng thái tâm lý bằng phương pháp điểm điều khiển ([Chương 2]), sau đó giới thiệu phần mềm Demo về biểu diễn khuôn mặt 3D theo trạng thái tâm lý được viết trên môi trường Java 3D, sử dụng công cụ phát triển đồ hoạ 3D là NetBean 6.9.1 ([Chương 3]), ở phần kết luận chúng ta sẽ đưa ra những khía cạnh mà luận văn đã đạt được cùng những hạn chế của luận văn, sau rồi là hướng phát triển của luận văn. Đi kèm với luận văn là phụ lục morphing với Java 3D sẽ giới thiệu các lớp Alpha, Interpolator, Morph của Java 3D. 4 Chương 1 Khái quát về thực tại ảo và hoạt hoá khuôn mặt Trước khi đi vào nội dung chính của luận văn, chúng ta tìm hiểu đôi nét về công nghệ thực tại ảo và một nhánh của nó là mô hình hoá và hoạt ảnh, ở đây chỉ đề cập tới việc mô hình hoá và hoạt ảnh khuôn mặt (gọi tắt là hoạt hoá khuôn mặt). Nội dung của chương nhằm mục tiêu giới thiệu về công nghệ thực tại ảo và một nhánh của công nghệ này. 1.1. Công nghệ thực tại ảo và ứng dụng 1.1.1. Công nghệ thực tại ảo Thực tại ảo (Virtual Reality, viết tắt là VR) - có tài liệu gọi là thực tế ảo là một hệ thống mô phỏng trong đó đồ họa máy tính được sử dụng để tạo ra một thế giới "như thật". Hơn nữa, thế giới "nhân tạo" này không tĩnh tại, mà lại phản ứng, thay đổi theo ý muốn (tín hiệu vào) của người sử dụng (nhờ hành động, lời nói, ). Điều này xác định một đặc tính chính của VR, đó là tương tác thời gian thực (real-time interactivity). Thời gian thực ở đây có nghĩa là máy tính có khả năng nhận biết được tín hiệu vào của người sử dụng và thay đổi ngay lập tức thế giới ảo. Người sử dụng nhìn thấy sự vật thay đổi trên màn hình ngay theo ý muốn của họ và bị thu hút bởi sự mô phỏng này. 1.1.1.1. Thực tại ảo là gì? VR- Thực Tế Ảo là một hệ thống giao diện cấp cao giữa Người sử dụng và Máy tính. Hệ thống này mô phỏng các sự vật và hiện tượng theo thời gian thực và tương tác với người sử dụng qua tổng hợp các kênh cảm giác. Đó là ngũ giác gồm: thị giác, thính giác, xúc giác, khứu giác, vị giác. 5 1.1.1.2. Các đặc tính của VR Như vậy, theo trên VR có hai đặc tính chính là “tương tác” và “đắm chìm”, đây là hai "I" (Interactive, Immersion) mà nhiều người đã biết. Tuy nhiên VR còn cần có 1 đặc tính thứ 3 mà ít người để ý tới. VR không chỉ là một hệ thống tương tác Người- Máy tính, mà các ứng dụng của nó còn liên quan tới việc giải quyết các vấn đề thật trong kỹ thuật, y học, quân sự, Các ứng dụng này do các nhà phát triển VR thiết kế, điều này phụ thuộc rất nhiều vào khả năng tưởng tượng của con người, đó chính là đặc tính "I" (Imagination) thứ 3 của VR. Do đó có thể coi VR là tổng hợp của 3 yếu tố: tương tác- đắm chìm- tưởng tượng (3 I trong tiếng Anh: Interactive- Immersion- Imagination). 1.1.1.3. Các thành phần của một VR Theo các nhà phân tích và nghiên cứu, một VR bao gồm những 5 thành phần: HW (HardWare), SW (SoftWare), Các ứng dụng, Người dùng và mạng liên kết 1.1.2. Các ứng dụng cơ bản của thực tại ảo Tại các nước phát triển, chúng ta có thể nhận thấy VR được ứng dụng trong mọi lĩnh vực: Khoa học kỹ thuật, kiến trúc, quân sự, giải trí, và đáp ứng mọi nhu cầu: Nghiên cứu- Giáo dục- Thương mại. Y học là lĩnh vực ứng dụng truyền thống của VR. Bên cạnh đó VR cũng được ứng dụng trong giáo dục, nghệ thuật, giải trí. Trong lĩnh vực quân sự, VR cũng được ứng dụng rất nhiều ở các nước phát triển. 1.1.2.1. Trong khoa học công nghệ Với các đặc tính của VR, một môi trường ảo như thế sẽ là một điều kiện tốt cho việc nghiên cứu và thử nghiệm các lý 6 thuyết khoa học mà việc thực hiện các thí nghiệm trong thế giới thực là khó khăn hoặc đòi hỏi các chi phí lớn. Bằng VR các nhà nghiên cứu có thể tạo ra bối cảnh tương lai hay nhìn lại quá khứ theo nghĩa như thực, từ đó đưa ra các giả thuyết trong tương lai hay giải thích các sự kiện trong quá khứ một cách thuyết phục hơn. 1.1.2.2. Trong giáo dục và đào tạo Trong giáo dục, việc dạy học bắt đầu từ những cái cơ bản nhất sau đó dần chuyển sang những kỹ năng phát triển về tinh thần và tư duy. Trẻ thơ tiếp xúc với thế giới tự nhiên từ rất sớm và trong chúng cần hình thành những ý tưởng, những sự lý giải và nhu cầu tìm hiểu thế giới tự nhiên. Bằng hệ thống VR chúng ta có thể mô phỏng lại thế giới thực thậm trí tái hiện lại cả những thế giới trong lịch sử mà hiện thực tự nhiên không thấy, nhờ đó việc hình thành những tư duy biện chứng về thế giới tự nhiên của trẻ thơ trở lên dễ dàng hơn. 1.1.2.3. Trong huấn luyện quân sự Trong quân sự và sự huấn luyện quân sự người ta tạo ra những môi trường huấn luyện ảo, thiết lập các hệ thống chiến trận và chiến trường và cho người huấn luyện tương tác với môi trường ảo với cảm giác như thực rồi tiến hành các thao tác huấn luyện nguy hiểm, việc tập luyện quân sự trong môi trường ảo với VR diễn ra như thực là điều rất cần thiết và hữu ích cho các nhà chỉ huy và những cá nhân tham gia trực tiếp chiến đấu, vì người ta có thể phát hiện ra những sai lầm trong quyết định hay những hành động chiến đấu mà trong chiến đấu thực không có cơ hội làm lại. 7 1.1.2.4. Trong công nghiệp Trong công nghiệp với hệ thống VR người ta có thể chế tạo các máy và vận hành chúng trong môi trường ảo. Những sự huấn luyện động cơ để chứng minh tính đúng đắn hay đưa ra những sửa đổi phù hợp trong chế tạo máy, sự chuẩn xác hiệu quả của những cỗ máy với công nghiệp và quân sự được kiểm nghiên trong môi trường ảo trước khi sử dụng trong thực tế. 1.1.2.5. Trong y học Nhờ công nghệ thực tại ảo nhiều nghiên cứu về cấu trúc các loại phân tử AND và những biến thể trong cơ thể sống đã có những bước tiến vượt bậc. Những mô phỏng về khuôn mặt, hàm răng, lưới da,… đã giúp cho việc giải phẫu hay phẫu thuật được định hình trước, người ta có thể tạo ra những mô hình giải phẫu ảo và thực hiện các thao tác trên đó. 1.1.2.6. Trong việc tái tạo lịch sử Chúng ta có thể mô phỏng, tái tạo lại các cuộc chiến tranh, các triều đại lịch sử thông qua hệ thống VR một cách sinh động, cũng có thể tái tạo các di tích lịch sử một cách chân thực. 1.2. Các vấn đề liên quan đến thực tại ảo và hoạt hoá khuôn mặt Như đã trình bày trong phần mở đầu của luận văn, khi nói tới thực tại ảo là ta đề cập tới rất nhiều vấn đề và lĩnh vực liên quan, trong đó việc mô phỏng ba chiều trong công nghệ thực tại ảo đóng vai trò quyết định trong tính tập trung hứng thú và tính như thực của ứng dụng. Việc mô hình hoá và tạo hoạt 8 ảnh cho các đối tượng là một nhánh quan trọng trong công nghệ này. Xây dựng lên những mô hình như thực đòi hỏi có sự phân tích tỉ mỉ, chính xác đồng thời sự mô phỏng này phải được biểu diễn trong đồ hoạ máy tính ba chiều một cách trực quan sinh động. Phần này của luận văn sẽ đi khảo sát sơ bộ quá trình mô hình hoá và hoạt ảnh của đối tượng mà cụ thể chúng ta sẽ tìm hiểu về mô hình hoá và hoạt ảnh khuôn mặt 3D theo trạng thái tâm lý. 1.2.1. Mô hình hoá khuôn mặt Mục đích của mô hình hoá khuôn mặt là tạo ra mô hình cái đầu bao gồm hộp sọ và những đường cong trên đó để phản ánh các trạng thái khác nhau của cái đầu người. Ứng với mỗi trạng thái sẽ là các mô hình khác nhau, có một số điểm trên khuôn mặt sẽ quyết định hình dạng và cấu trúc của mô hình. 1.2.1.1. Mô hình hoá khuôn mặt theo tham số (Parametric face models) Trong lược đồ mô hình hóa khuôn mặt theo tham số, một mô hình khuôn mặt tổng quát sẽ được phỏng theo nội dung của một hình ảnh theo màu hoặc vùng của khuôn mặt hay theo một dãy các hình ảnh khuôn mặt. Các tham số cần thiết để mô phỏng khuôn mặt tổng quát có thể được rút trích từ các hình ảnh một cách tự động hoặc thủ công. 1.2.1.2. Mô hình dựa trên vật lý học (Physics-based models) Cách tiếp cận này là mô hình hóa hình dạng của mặt bằng cách mô hình hóa các thuộc tính hành động của các mô và 9 cơ mặt. Các phương pháp này sử dụng các nguyên tắc vật lý và sức mạnh tính toán để giả lập thực tế các xử lý vật lý phức tạp mà sẽ khó khăn hoặc không thể mô hình hóa được nếu chỉ dùng các kỹ thuật hình học. 1.2.1.3. Mô hình mặt theo thống kê (Statistical face models) Khả năng tưởng tượng của con người để lĩnh hội các cảnh vật từ hình ảnh 3D được cho là do tri thức trực quan tiền định của chúng ta về thế giới 3D. Quá trình nhận thức của chúng ta là tích hợp thông tin từ hình ảnh 2D và tri thức tiền định được lưu trữ trong bộ não để thuận tiện cho quá trình hiểu biết. Đây là một chứng minh cơ bản cho sự phát triển của các mô hình thống kê để biểu diễn các lớp đối tượng như các khuôn mặt. 1.2.2. Hoạt hoá khuôn mặt theo trạng thái tâm lý Hoạt hoá khuôn mặt theo trạng thái tâm lý là một nhánh trong hoạt hoá khuôn mặt, mục đích của nó là biểu diễn những chuyển động cơ bản của mặt ứng với những sự thay đổi của các trạng thái tâm lý trong con người. 1.2.2.1. Phương pháp nội suy Các kỹ thuật nội suy đưa ra một cách tiếp cận theo trực giác để hoạt ảnh mặt. Tiêu biểu, một hàm nội suy mô tả cử động mềm dẻo giữa hai khung hình (frame) cơ bản ở các vị trí biên, theo một khoảng thời gian thông thường 1.2.2.2. Phương pháp tham số hoá [...]... chất minh hoạ cho việc biểu diễn sự thay đổi các trạng thái tâm lý xuất phát từ trạng thái bình thường (trạng thái cân bằng) 3.2.3.1 Cửa sổ ban đầu Hình 3-1: Cửa sổ ban đầu của phần mềm biểu diễn khuôn mặt 3D theo các trạng thái tâm lý 20 Hình 3-2 : Cửa sổ đích khuôn mặt 3D biểu diễn dưới dạng lưới 3.2.3.2 Cửa sổ thể hiện chức năng bao phủ khuôn mặt Hình 3-3 : Cửa sổ đích khuôn mặt 3D được bao phủ 21... Chương 2 Các kỹ thuật hoạt hoá khuôn mặt theo trạng thái tâm lý Đây là chương quan trọng nhất của luận văn, trong chương này chúng ta sẽ tìm hiểu và phân tích một số khía cạnh liên quan tới trạng thái tâm lý con người Một trong những đặc tính đặc trưng ở con người là tâm lý, con người có những trạng thái biểu cảm và cảm xúc nhất định và rất tự nhiên.Tiếp đến chúng ta sẽ tìm hiểu, nghiên cứu và phân... hoá 13 2.1 Tâm lý học Hiện nay tâm lý học là ngành khoa học nghiên cứu hành vi, tinh thần và tư tưởng của con người (cụ thể đó là những cảm xúc, ý chí và hành động) Tâm lý học cũng chú tâm đến sự ảnh hưởng của hoạt động thể chất, trạng thái tâm lý và các yếu tố bên ngoài lên hành vi và tinh thần của con người 2.1.1 Trạng thái, cảm xúc Trạng thái là một thể hiện của một đối tượng trong một thời gian... dài 2.1.2.1 Trạng thái cân bằng Trong cuộc sống tâm lý, chúng ta luôn mong muốn mình được ở trạng thái tâm lý cân bằng Khi ở trong trạng thái tâm lý cân bằng con người đạt được những sự ổn định về thể xác, sức khoẻ và tinh thần 2.1.2.2 Vui vẻ Vui vẻ là trạng thái tâm lý tích cực, thích thú khi đang gặp việc hợp nguyện vọng hoặc điều làm mình hài lòng hơn 14 mong đợi, khi ở trạng thái tâm lý vui vẻ người...10 Kỹ thuật tham số hoá để hoạt ảnh mặt đã khắc phục được các hạn chế của các phép nội suy đơn giản Các phép tham số hoá lý tưởng có thể biểu diễn được bất kỳ khuôn mặt và nét mặt nào bằng việc kết hợp các giá trị tham số độc lập Khác với các kỹ thuật nội suy, kỹ thuật tham số cho phép điều khiển tường minh với chi phí tính toán tương đối thấp 1.2.2.3 Các kỹ thuật dựa trên cơ và cơ giả Kỹ thuật. .. hoá khuôn mặt theo hệ thống điểm điều khiển và sử dụng công nghệ Morphing với hoạt hoá khuôn mặt Đồng thời vận dụng các lớp có sẵn trong môi trường phát triển java 22 3D với ngôn ngữ VRML để tạo lập mô hình xây dựng phần mềm Demo, phần mềm đã minh hoạ được quá trình Morphing các mô hình khuôn mặt biểu diến biểu cảm khuôn mặt theo hệ các trạng thái tâm lý cơ bản KIẾN NGHỊ VÀ HƯỚNG NGHIÊN CỨU TIẾP THEO. .. pháp hoạt hoá khuôn mặt, người ta sử dụng những lý thuyết khác nhau để biểu diễn sự biến đổi của khuôn mặt theo một cách thức nào đó Sau đây chúng ta sẽ tìm hiểu phương pháp hoạt hoá khuôn mặt theo hệ thống điểm điều khiển 2.2.1 Nguyên tắc mô hình hoá và biểu diễn Phương pháp mô hình hoá và tạo hoạt ảnh khuôn mặt bằng hệ thống điểm điều khiển là phương pháp phát triển hoạt hoá khuôn mặt theo hệ thống... khía niệm trạng thái để mô tả những tính chất, những hình dáng nhất định ở một thời điểm nhất định, thời gian lưu lại những tính chất và hình dáng này có thể ngắn, có thể dài tuỳ theo mức độ ảnh hưởng và làm thay đổi nó của những yếu tố tác động 2.1.2 Các trạng thái tâm lý cơ bản Tâm trạng hay trạng thái tâm lý là một dạng cảm xúc có cường độ vừa và phải hoặc tương đối yếu, tồn tại trong một khoảng... hoá khuôn mặt theo trạng thái tâm lý nói chung và phương pháp hoạt hoá theo điểm điều khiển và Morphing nói riêng Có nhiều phương pháp hoạt hoá khuôn mặt khác nhau và chúng có những ưu điểm và hạn chế nhất trình như đã trình bày ở chương 1 Theo đó từ mô hình ban đầu ta thực hiện hoạt hoá để đưa ra các quá trình biến đổi tiến tới một mô hình đích cụ thể hoặc biến đổi theo một hướng nào đó trong một. .. để sinh hoạt ảnh Khi chọn một trạng thái tâm lý (bằng các chọn một trong các nút trong phần cảm xúc) chúng ta sẽ thấy biểu diễn sinh hoạt ảnh trong quá trình thực hiện Morphing : Hình 3-4 : Cửa sổ đích thể hiện quá trình Morphing KẾT LUẬN Luận văn nghiên cứu và giới thiệu tổng quan về công nghệ thực tại ảo cùng các ngành trong khoa học đó như : Mô hình hoá, hoạt ảnh khuôn mặt 3D Trong chương 2 đã trình . " ;Nghiên cứu một số kỹ thuật biểu diễn biểu cảm khuôn mặt 3 theo trạng thái tâm lý& quot; nhằm nghiên cứu một số kỹ thuật điều khiển khuôn mặt và. THÔNG NGUYỄN MINH CHÂU NGHIÊN CỨU MỘT SỐ KỸ THUẬT BIỂU DIỄN BIỂU CẢM KHUÔN MẶT THEO TRẠNG THÁI TÂM LÝ MÃ SỐ: 60.48.15 Người hướng dẫn