HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG LÊ VIỆT DŨNG NGHIÊN CỨU KỸ THUẬT NHẬN DẠNG BÀN TAY NGƯỜI Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2013 Luận văn được hoàn thành tại: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: PGS. TS. Ngô Quốc Tạo Phản biện 1: …………………………………………………………… … Phản biện 2: …………………………………………………………… … Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thông Vào lúc: giờ ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện của Học viện Công nghệ Bưu chính Viễn thông 1 MỞ ĐẦU Ngày nay dưới sự phát triển rộng rãi của các ứng dụng công nghệ thông tin vào trong cuộc sống, việc tương tác giữa con người và thiết bị ngày càng trở nên quan trọng. Trước đây, bàn phím và chuột là các giao diện chính để giao tiếp giữa người và máy tính. Trong các lĩnh vực khác cần tới các thông tin 3D, chẳng hạn như trò chơi máy tính, robot và lĩnh vực thiết kế… các thiết bị cơ khí khác như bóng lăn, cần điều khiển hay các găng tay dữ liệu đã được sử dụng. Tuy nhiên, con người giao tiếp chủ yếu bởi “nghe” và “nhìn”, do đó một giao diện người – máy sẽ trực quan hơn nếu con người có thể điều khiển máy tính bằng giọng nói hay cử chỉ giống như khi tương tác giữa người với người trong thế giới thực mà không cần thông qua các thiết bị điều khiển khác như chuột hay bàn phím. Một ưu điểm khác là người dùng có thể giao tiếp từ xa mà không cần phải có tiếp xúc vật lý với máy tính. So với các hệ thống điều khiển bằng lệnh âm thanh, một hệ thống thị giác sẽ thích hợp hơn trong môi trường ồn ào hoặc trong trường hợp âm thanh bị nhiễu. Nhận dạng các cử động của tay người là cách tự nhiên khi tương tác người – máy và ngày nay nhiều nhà nghiên cứu trong các học viện và ngành công ghiệp đang quan tâm đến 2 hướng này. Nó cho phép con người tương tác với máy rất dễ dàng và thuận tiện mà không cần phải mang thêm bất kỳ thiết bị ngoại vi nào. Với mục đích nghiên cứu kỹ thuật nhận dạng cử chỉ bàn tay người, luận văn sẽ tập trung trình bày một số nội dung chính như sau. Chương 1: Tìm hiểu tổng quan về bài toán nhận dạng hình ảnh cử chỉ bàn tay người và các ứng dụng trong thực tế. Chương 2: Trình bày về một số kỹ thuật tiền xử lý ảnh bao gồm phân đoạn ảnh và kỹ thuật lọc hình thái để phục vụ cho trích chọn đặc trưng. Kỹ thuật phân đoạn sẽ chuyển đổi ảnh về ảnh nhị phân chỉ chứa bàn tay hoặc nền. Kỹ thuật lọc được sử dụng để loại bỏ nhiễu từ ảnh để có thể thu được đường bao mịn màng. Chương 3: Trình bày về một số kỹ thuật trích chọn đặc trưng để phục vụ cho bài toán nhận dạng hình ảnh cử chỉ bàn tay người. Các phương pháp tìm biên sẽ được sử dụng để phát hiện đường biên, sau đó đặc trưng bàn tay sẽ được trích chọn phục vụ cho bộ phân lớp. Chương 4: Mô tả bộ dữ liệu huấn luyện và trình bày các kết quả thực nghiệm trong việc nhận dạng và phân loại hình ảnh cử chỉ của tay người. 3 CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG HÌNH ẢNH CỬ CHỈ BÀN TAY 1.1. Hệ thống tương tác người máy Những thiết bị input và output đặc biệt đã được thiết kế trong những năm qua với mục đích làm cho giao tiếp giữa máy tính và con người được thực hiện một cách dễ dàng. Hai thiết bị phổ biến nhất là bàn phím và chuột. Ý tưởng để làm cho máy tính hiểu ngôn ngữ con người và phát triển giao diện người - máy thân thiện đang nhận được sự quan tâm của cộng đồng các nhà nghiên cứu. Làm cho một máy tính hiểu được lời nói, nét mặt, cử chỉ của con nghười là một trong số những quan tâm đó. Trong tương tác người – máy, các hình trạng khác nhau của bàn tay có thể giả định để thao tác với các đối tượng hoặc truyền tải rất nhiều thông tin. Do đó, bàn tay của con người có thể sử dụng làm “thiết bị đầu vào” rất có giá trị. Trong thế giới thực, chúng ta có thể cầm, thả, di chuyển… các đối tượng bằng các cử chỉ của bàn tay. Tương tự như vậy, khi tương tác với các thiết bị như máy tính, tivi, ô tô… chỉ với vài cử chỉ của bàn tay là ta có thể điều khiển được 4 hoạt động của nó. Ví dụ như ta chỉ cần phẩy tay là có thể chuyển kênh tivi, hay bật / tắt radio trên ô tô v.v… thay vì phải tự tay nhấn nút trên bộ điều khiển. Để làm được điều này, bộ điều khiển của các thiết bị phải được gắn một thiết bị cảm nhận (camera/webcam), thiết bị cảm nhận này sẽ thu nhận hình ảnh của bàn tay, nhận dạng cử chỉ để phát lệnh điều khiển tương ứng. Ngoài ra, nhận dạng cử chỉ còn có rất nhiều ứng dụng khác: cử chỉ bàn tay được sử dụng để giả lập các thao tác tương tác với đối tượng trong thế giới ảo; trong tương tác giữa người và robot, cử chỉ bàn tay chính là ngôn ngữ để con người và robot có thể giao tiếp với nhau. Để nhận dạng cử chỉ, bước đầu tiên trong các hệ thống nhận dạng là phát hiện ra vị trí bàn bay bằng một thiết bị cảm nhận để thu thập các quan sát cần cho việc phân loại hay miêu tả; sau đó tiến hành xử lý hình ảnh, trích chọn đặc trưng (feature extraction) để tính toán các thông tin dưới dạng số hay dạng biểu tượng (symbolic) từ các dữ liệu quan sát và thực hiện công việc phân loại dựa vào các đặc tính đã được trích chọn để nhận dạng cử chỉ. Đó chính là nhiệm vụ của bài toán nhận dạng cử động của bàn tay. Các cử động của bàn tay được phát hiện dựa trên tập dữ liệu về bàn tay được thu thập từ trước. Hai 5 hướng tiếp cận chính để thu nhận thông tin về bàn tay người có thể sử dụng là:  Dùng găng tay chuyên dụng với bộ cảm biến gắn liền đo vị trí của các khớp ngón tay.  Phương pháp quang học. 1.2. Cử chỉ bàn tay Thật khó có thể giải quyết với một định nghĩa cụ thể nào của cử chỉ do có nhiều ứng dụng đề xuất và mỗi ứng dụng chỉ có thể chỉ xác định trên một miền cụ thể của cử chỉ. Bobick và Wilson đã định nghĩa cử chỉ như những chuyển động của thân thể khi giao tiếp với những cá thể khác. Để giao tiếp thành công, người truyền và người nhận phải có cùng một tập hợp thông tin cho những cử chỉ đặc biệt. Trong luận văn, cử chỉ được định nghĩa như một sự chuyển động của những ngón tay như một tín hiệu đặc biệt, để liên lạc chính xác giữa người gửi và thiết bị nhận. 1.3. Những ứng dụng dựa trên cử chỉ bàn tay Các cử chỉ cơ bản được phân loại thành 2 nhóm dựa trên cơ sở mục đích ứng dụng của chúng: đa điều khiển, ngôn ngữ tượng trưng. 6 Thiết kế 3D: Việc thao tác đầu vào 3 chiều với con chuột máy tính là một công việc rất phức tạp và tốn nhiều thời gian. Viện công nghệ Massachuchetttes đã đưa ra các công nghệ 3DRAW sử dụng một cây bút nhúng trong thiết bị polhemus để theo dõi vị trí bút và định hướng trong 3D. Điểu khiển từ xa: Làm tăng khả năng điều khiển bằng tay trong một số trường hợp lỗi hệ thống, điều kiện khẩn cấp hoặc vùng sâu vùng xa khó tiếp cận. Thường thì những điều khiển này con người không thể tiếp cận gần máy móc. Điều khiển từ xa là một lĩnh vực trí tuệ nhân tạo nhằm mục đích hỗ trợ việc điều khiển cánh tay robot thông qua các cử chỉ cơ thể để thực hiện các nhiệm vụ cần thiết Virtual reality: Thực tế ảo được áp dụng Nâng cao, hệ thống xúc giác tiên tiến hiện nay bao gồm thông tin xúc giác, thường được gọi là lực lượng phản hồi, trong các ứng dụng y tế và chơi game. Ngôn ngữ ký hiệu: Ngôn ngữ kí hiệu là hình thức thô nhất và tự nhiên của ngôn ngữ đánh dấu, ngày trở lại sớm nhất là sự ra đời của nền văn minh của con người, khi các lý thuyết đầu tiên của ngôn ngữ ký hiệu xuất hiện trong lịch sử. Nó đã bắt đầu trước khi có sự xuất hiện của ngôn ngữ nói. 7 1.4. Những thách thức trong nhận dạng cử chỉ bàn tay 1.4.1 Tốc độ nhận dạng Để nhận dạng cử chỉ bàn tay có thể tương tác được với người dùng trong thực tế thì hệ thống này phải có thời gian nhận dạng thời gian thực, tức là tốc độ xử lý phải nhanh. 1.4.2 Độ chính xác Hiện nay, có nhiều hướng nghiên cứu về nhận dạng cử động của bàn tay như sử dụng các phương pháp: Mô hình Markov ẩn (Hidden Markov Models); Mô hình phân bố điểm xấp xỉ tuyến tính thành phi tuyến (Linear approximation to non-linear point distribution models); mô hình đối sánh/máy trạng thái hữu hạn (Finite state machine/model matching); Đố sánh mẫu nhanh (Fast template matching). CHƯƠNG 2: MỘT SỐ KỸ THUẬT TIỀN XỬ LÝ 2.1. Giới thiệu Tiền xử lý là nhiệm vụ quan trọng trong hệ thống nhận dạng cử chỉ bàn tay tay. Tiền xử lý được áp dụng cho hình ảnh trước khi chúng ta có thể trích chọn đặc trưng từ hình ảnh bàn tay. Tiền xử lý bao gồm hai bước 8  Phân đoạn  Lọc hình thái 2.2. Phân đoạn ảnh dựa vào màu da Phân đoạn ảnh là một thao tác ở mức thấp trong toàn bộ quá trình xử lý ảnh. Quá trình này thực hiện việc phân vùng ảnh thành các vùng rời rạc và đồng nhất với nhau hay nói cách khác là xác định các biên của các vùng ảnh đó. Các vùng ảnh đồng nhất này thông thường sẽ tương ứng với toàn bộ hay từng phần của các đối tượng thật sự bên trong ảnh. Như vậy, mục tiêu của phân đoạn ảnh là làm nổi bật hoặc tách hẳn đối tượng cần quan tâm ra từ ảnh ban đầu, làm đơn giản hóa và thay đổi cách biểu diễn để dễ dàng phân tích hơn. Vì thế, trong hầu hết các ứng dụng của lĩnh vực xử lý và nhận dạng ảnh, phân đoạn ảnh luôn đóng một vai trò quan trọng và cần thiết, nó thường là bước tiền xử lý đầu tiên trong toàn bộ quá trình trước khi thực hiện các thao tác khác ở mức cao hơn như nhận dạng đối tượng, biểu diễn đối tượng hay truy vấn ảnh dựa vào nội dung… Da con người có màu rất đặc trưng, có thể dễ dàng nhận dạng và nó cũng không bị ảnh hưởng bởi các phép biến đổi hình học của đối tượng. Vì vậy, phát hiện bàn tay người [...]... da bàn tay 26 thì kết quả nhận dạng là rất tốt đạt độ chính xác đạt 98% tuy nhiên, với những ảnh chụp trên phông nền có mầu gần giống như mầu da thì hệ thống nhận dạng rất kém gần như không thể nhận dạng được KẾT LUẬN Luận văn nghiên cứu các kỹ thuật tiền xử lý ảnh và trích chọn đặc trưng cũng như một số mô hình, thuật toán trong việc nhận dạng hình Qua các thử nghiệm trên nhiều mẫu hình ảnh cử chỉ bàn. .. trưng cho vùng bàn tay cuối cùng được xác định gồm các thành phần sau: f1 số lượng kẽ tay; f2 độ sâu trung bình của các kẽ tay; f3 diện tích vùng bàn tay, f4 giá trị depthI x0 , y0 của tâm bàn tay; f5 khoảng cách trung bình giữa hai kẽ tay liên tiếp; f6 số đỉnh bao lồi; f7 độ dài cạnh lớn nhất của bao lồi, f8 độ dài cạnh nhỏ nhất của bao lồi bàn tay Kết thúc giai đoạn này mỗi tư thế của bàn tay có thể... trưng Để tiến hành nhận dạng cử chỉ của bàn tay, chúng tôi tiến hành trích chọn đặc trưng đường bao thu được ở phần phát 24 hiện vùng đối tượng Ở bước này có thể sử dụng các kỹ thuật phân tích hình dạng đối tượng khác nhau như: sử dụng các dạng moment, phân tích đường bao theo đặc trưng Fourier 2D, sử dụng curvefitting … tuy nhiên trong nghiên cứu của mình bước đầu tôi sử dụng kỹ thuật xấp xỉ đa giác... cử chỉ bàn tay khác nhau, tôi đã xác định được ngưỡng nhận dạng mầu da bàn tay, qua đó, trích chọn được đặc trưng để đưa vào huấn luyện theo mô hình SVM, hướng tới xây dựng một siêu phẳng để cực tiểu hoá độ phân lớp sai của một đối tượng dữ liệu mới, giúp cho SVM có khả năng mạnh mẽ ứng dụng tốt trong bài toán nhận dạng Tôi dự định sau đây sẽ tiếp tục nghiên các kỹ thuật huấn luyện máy tính để bổ sung... lọc hình thái học đã được áp dụng sử dụng chuỗi các sự giãn nở và xói mòn để có được một đường viền mịn, khép kín, và hoàn chỉnh của một cử chỉ CHƯƠNG 3: NHẬN DẠNG HÌNH ẢNH CỬ CHỈ BÀN TAY 3.1 Kỹ thuật trích chọn đặc trưng 3.1.1 Kỹ thuật phát hiện biên Biên là một trong những đặc trưng quan trọng của ảnh, nó được dùng để mô tả hình dạng của đối tượng khá hiệu quả 14 Để biểu diễn hình dạng đối tượng... tương phản giữa màu bàn tay và màu nền, ảnh bàn tay được chuyển thành ảnh nhị phân trong đó mỗi điểm ảnh chỉ được biểu diễn một trong hai giá trị 0 (màu đen) hoặc 1 (màu trắng) Sau khi xác định vùng bày tay, chúng tôi tiếp tục xử lý ảnh và xóa nhiễu, tách các thành phần liên thông trong nhận dạng bàn tay ra khỏi môi trường xung quanh thành từng ảnh riêng biệt trước đi đưa vào nhận dạng Phép Erosion thì... kết quả vùng bàn tay trên ảnh là vùng các điểm ảnh có màu da, phát hiện các điểm ảnh màu da có vẻ như khá dễ dàng, tuy nhiên, do phương pháp này chỉ dựa vào thông tin về màu sắc nên các vùng ảnh không phải là bàn tay như khuôn mặt hay các vùng da khác trên cơ thể con người, thậm chí là các đối tượng khác có màu giống với màu da cũng bị nhận diện như là bàn tay Do đó, việc phát hiện bàn tay dựa trên... Chuyển đồi không gian mầu RGB sang SHL Xác định ngưỡng mầu da bàn tay Nhị phân ảnh Trích chọn đặc trưng Tìm đường biên bàn tay qua ảnh nhị phân Xấp xỉ đa giác qua đường biên tìm được Tìm và xác đinh các điểm khuyết Phân loại cử động bằng phương pháp học máy SVM Tạo bộ dữ liệu huấn luyện dựa trên các đặc trưng Huấn luyện và phân loại cử chỉ bàn tay 23 4.3 Thực nghiệm tiền xử lý Ở phần này đầu tiên chúng... ngoài vùng bàn tay thì không chứa thêm các đối tượng khác có màu da và vùng bàn tay phải có sự tách biệt với nền Quy trình phát hiện da gồm 2 giai đoạn: Huấn luyện và phát hiện Huấn luyện để nhận dạng được màu da dựa trên 3 bước cơ bản sau:  Thu thập dữ liệu về da từ nhiều ảnh khác nhau của nhiều người khác nhau và ảnh chụp trong các điều kiện khác nhau  Lựa chọn một không gian màu thích hợp  Học các... , f 2 ,  f8  4.5 Thực nghiệm nhận dạng hình ảnh cử chỉ bàn tay Từ bộ ảnh thu thập được, chúng tôi chia ra thành nhiều nhóm con theo mỗi loại cử chỉ, và đưa vào tập huấn luyện, qua bước huấn luyện, chúng tôi tạo ra 01 file để ghi lại dữ liệu của 8 đặc trưng đã trích chọn ở phần trên Kết quả thử nghiệm Trong quá trình thực nhiệm nhận dạng trên nhiều mẫu ảnh, chúng tôi nhận thấy với những ảnh chụp có . HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG LÊ VIỆT DŨNG NGHIÊN CỨU KỸ THUẬT NHẬN DẠNG BÀN TAY NGƯỜI Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 TÓM TẮT LUẬN VĂN THẠC. phép con người tương tác với máy rất dễ dàng và thuận tiện mà không cần phải mang thêm bất kỳ thiết bị ngoại vi nào. Với mục đích nghiên cứu kỹ thuật nhận dạng cử chỉ bàn tay người, luận văn sẽ. nhận dạng cử động của bàn tay. Các cử động của bàn tay được phát hiện dựa trên tập dữ liệu về bàn tay được thu thập từ trước. Hai 5 hướng tiếp cận chính để thu nhận thông tin về bàn tay người