HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG NGUYỄN VĂN HẠT NGHIÊN CỨU MỘT SỐ KỸ THUẬT NỘI SUY ẢNH Chuyên ngành: Truyền liệu Mạng máy tính Mã số: 60.48.15 Người hướng dẫn khoa học: PGS TS ĐỖ NĂNG TOÀN TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT HÀ NỘI – 2012 PHẦN MỞ ĐẦU Trong năm gần công nghệ thông tin phát triển với tốc độ chóng mặt phần cứng phần mềm Sự phát triển công nghệ thông tin thúc đẩy phát triển nhiều lĩnh vực xã hội khác nhƣ y học, giáo dục, giải trí, kinh tế,… Sự phát triển phần cứng phƣơng diện thu nhận, hiển thị, với tốc độ xử lý mở nhiều hƣớng cho phát triển phần mềm, đặt biệt lĩnh vực xử lý ảnh thâm nhập mạnh mẽ vào đời sống thực tế ngƣời Ảnh thu đƣợc sau trình thu nhận ảnh phép biến đổi không tránh khỏi nhiễu, khuyết thiếu xử lý đƣợc trƣờng hợp có độ phức tạp cao, hay không đƣa liệu bề mặt vào định dạng làm cho gọn thích hợp để mô phỏng, hiển thị định vị Sự sai sót phần phần cứng, thiết bị quang học điện tử, kỹ sử dụng thiết bị chƣa tốt, phần khác thân phép biến đổi toàn ánh, nên có ánh xạ thiếu hụt đến điểm ảnh kết Việc khắc phục nhƣợc điểm vấn đề đặt cho hệ thống xử lý ảnh Xuất phát hoàn ảnh luận văn lựa chọn đề tài: Nghiên cứu số kỹ thuật nội suy ảnh có ý nghĩa khoa học mang tính thực tiễn cao hoàn cảnh Việt Nam chƣa có nhiều hệ thống xử lý ảnh mà thực tế đặt yêu cầu ứng dụng đối tƣơng ảnh Mục đích đề tài Thứ nhất, tìm hiểu khái quát xử lý ảnh, kỹ thuật khâu xử lý ảnh Nghiên cứu kỹ thuật nội suy ảnh việc xử lý ảnh, trợ giúp cho việc nâng cao chất lƣợng ảnh, làm biến đổi, xử lý đƣợc ảnh có độ phức tạp cao Phục vụ cho hoạt cảnh ứng dụng chuyển động tƣơng tác xử lý ảnh Thứ hai, sở kiến thức thu thập nghiên cứu, tổng hợp kỹ thuật để hƣớng đến ứng dụng thực tế cho kỹ thuật tìm hiểu Căn vào vấn đề tìm hiểu nghiên cửu đề tài luận văn đƣợc chia làm chƣơng: CHƢƠNG 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ NỘI SUY ẢNH Khái quát xử lý ảnh , tìm hiểu vấn đề xử lý ảnh khái niệm nội suy ảnh, nghiên cứu vấn đề với nội suy ảnh CHƢƠNG 2: MỘT SỐ KỸ THUẬT NỘI SUY ẢNH Nghiên cứu kỹ thuật nội suy ảnh: Kỹ thuật nội suy ảnh dựa vào điểm láng giềng, nội suy tuyến tính nội suy sử dụng hàm sở bán kính CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM Sử dụng kỹ thuật nội suy để chuyển hóa hình ảnh khuôn mặt 3D từ trạng thái cân sang trạng thái tâm lý đích lựa chọn đầu vào 3 CHƢƠNG 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ NỘI SUY ẢNH 1.1 Khái quát xử lý ảnh Quá trình xử lý ảnh trình thao tác biến đổi ảnh đầu vào nhằm cho kế t quả ảnh nhƣ mong muốn Kế t quả đầ u của mô ̣t quá triǹ h xƣ̉ lý ảnh ảnh “tốt hơn” kết luâ ̣n Ảnh “Tốt hơn” Ảnh đầu vào Xƣ̉ lý ảnh Kế t luâ ̣n Hình 1.1 Quá trình xử lý ảnh Nhƣ vâ ̣y mu ̣c tiêu của xƣ̉ lý ảnh có thể chia làm ba hƣớng nhƣ sau: Xƣ̉ lý ảnh ban đầ u để cho mô ̣t ảnh mới tôt theo mon g muốn ngƣời dùng, ví dụ ảnh mờ cầ n xƣ̉ lý để rõ nét Phân tích ảnh để thu đƣơ ̣c thông tin nào đó giúp cho viê ̣c phân loa ̣i và nhâ ̣n biế t ảnh Ví dụ phân tích ảnh vân tay để trích chọn đặc trƣng vân tay Tƣ̀ ảnh đầ u vào mà có mức nhận xét, kế t luâ ̣n ở mƣ́c cao hơn, sâu Ví dụ ảnh vụ tai nạn giao thông phác họa trƣờng vụ tai nạn Ảnh xem tập hợp điểm ảnh mỗi điểm ảnh đƣợc xem nhƣ đặc trƣng cƣờng độ sáng hay dấu hiệu vị trí đối tƣơ ̣ng không gian Sơ đồ tổng quát của mô ̣t ̣ thống xƣ̉ lý ảnh: Hệ định Thu nhận ảnh Tiền xử lý Trích chọn đặc điểm Đối sánh rút kết luận Hậu xử lý Lƣu trữ Hình 1.2 Các bƣớc hệ thống xử lý ảnh 1.2 Những vấn đề xử lý ảnh 1.2.1 Ảnh điểm ảnh Điểm ảnh (pixel) đƣợc xem dấu hiệu hay cƣờng độ sáng tọa độ không gian đối tƣợng Mỗi pixel gồm cặp tọa độ (x,y) màu Ảnh tập hợp điểm ảnh Khi đƣợc số hóa, thƣờng đƣợc biểu diễn mảng hai chiều I(n,p), n dòng p cột Ta nói ảnh gồm n×p pixels Ngƣời ta thƣờng kí hiệu I(x,y) để pixel 1.2.2 Độ Phân giải ảnh Định nghĩa: Độ phân giải ảnh mật độ điểm ảnh đƣợc ấn định ảnh số đƣợc hiển thị 1.2.3 Mức xám ảnh Mức xám điểm ảnh cƣờng độ sáng điểm ảnh đƣợc gán giá trị số điểm Trong biểu diễn số ảnh đa mức xám, ảnh đƣợc biểu diễn dƣới dạng ma trận hai chiều Mỗi phần tử ma trận biểu diễn cho mức xám hay cƣờng độ sáng ảnh vị trí Mỗi phần tử ma trận đƣợc gọi phần tử ảnh điểm ảnh Một điểm ảnh có hai đặc trƣng vị trí (x,y) điểm ảnh độ xám 1.2.4 Nắn chỉnh biến dạng Nắn chỉnh biến dạng việc biến đổi hình học hai ảnh: ảnh nguồn ảnh đích Sự biến đổi hình học đƣợc định nghĩa mối quan hệ điểm ảnh nguồn điểm ảnh đích Thuật toán nắn chỉnh ảnh có hai khuynh hƣớng: tác động toàn cục tác động cục Tác động toàn cục ta áp dụng thuật toán, tiêu chí nhƣ điểm ảnh toàn ảnh Còn tác động cục ta tác động điểm ảnh số vùng ảnh, vùng khác ảnh ta giữ nguyên Các thuật toán nắn chỉnh toàn cục có tốc độ xử lý tƣơng đối nhanh nhƣng áp dụng đƣợc với yêu cầu đơn giản nhƣ co, giãn ảnh, bóp méo ảnh thành tứ giác hay số hiệu ứng khác nhƣ mắt cá, kính núp,… Thuật toán nắn chỉnh cục cho kết ấn tƣợng Tuy nhiên để nắn chỉnh vùng, ta phải xác định thêm tập đặc trƣng Trong trƣờng hợp việc xây dựng thuật toán tƣơng đối phức tạp a) Ảnh gốc b) Ảnh qua xử lý Hình 1.3 Ví dụ nắn chỉnh hình biến dạng Nắn chỉnh biến dạng khâu xử lý ảnh Với mỗi ảnh tùy theo mức độ, trạng, chủng loại ảnh mà ngƣời ta sử dụng ứng dụng cho phù hợp xử lý ảnh 1.2.5 Các kiểu ảnh a Ảnh số Ảnh số sử dụng ánh xạ trực tiếp giá trị pixel ảnh tới giá trị đồ màu Màu sắc mỗi pixel ảnh đƣợc tính toán cách sử dụng giá trị tƣơng ứng X ánh xạ tới giá trị số đồ màu b Ảnh cường độ Một ảnh cƣờng độ ma trận dự liệu ảnh mà giá trị đại diện cho cƣờng độ số vùng ảnh c Ảnh nhi phân Trong ảnh nhi phân, mỗi pixel chứa hai giá trị nhị phân Hai giá trị tƣơng ứng với bật tắt (on off) d Ảnh RGB Một ảnh RGB đƣợc lƣu trữ dƣới dạng mảng liệu có kích thƣớc chiều m×n×3 định nghĩa giá trị màu red, green blue cho mỗi pixel riêng biệt 6 1.2.6 Quan hệ điểm ảnh Khi nội suy ảnh ta thƣờng tìm lân cận điểm ảnh để xác định giá trị màu, phục vụ cho công việc nội suy tô màu hay lấp lỗ hổng Giả sử ảnh số đƣợc biểu diễn hàm ƒ(x,y) Tập điểm ảnh s, cặp điểm ảnh có quan hệ với p, q 1.2.7 Một số thuộc tính ảnh a Đường viền: Đƣờng viền vùng ảnh R tập hợp điểm ảnh vùng mà có hay nhiều lân cận bên vùng R b Biên ảnh: Một điểm ảnh đƣợc coi biên có thay đổi đột ngột mức xám Tập hợp điểm biên tạo thành đƣờng bao ảnh 1.2.8 Toạ độ ảnh a Toạ độ pixel Phƣơng pháp thuận tiện cho việc biểu diễn vị trí ảnh sử dụng toạ độ pixel Ở hệ toạ độ này, ảnh đƣợc xử lý nhƣ lƣới phần tử riêng biệt đƣợc đánh thứ tự từ đỉnh tới đáy từ trái sang phải b Toạ độ không gian Trong toạ độ không gian vị trí ảnh đƣợc định vị mặt phẳng, chúng đƣợc mô tả cặp x y (không phải r(hàng) c(cột) nhƣ toạ độ pixel) 1.3 Nội suy ảnh 1.3.1 Khái niệm nội suy ảnh Trong toán học, nội suy phƣơng pháp xây dựng điểm dự liệu phạm vi tập hợp điểm rời rạc liệu biết Trong kỹ thuật khoa học có số điểm thu đƣợc việc lấy mẫu hay thí nghiệm, sau ta xây dựng chức cho gần gũi phù hợp với điểm Nội suy giải thuật phần mềm dùng để thêm vào (hoặc bỏ bớt) số điểm ảnh ảnh, làm thay đổi dung lƣợng tập tin, nhƣng không thêm thông tin cho ảnh Trong xử lý ảnh phép nội suy ảnh thƣờng đƣợc sử dụng công đoạn nhƣ bóp méo, nắn chỉnh, lấp lỗ hổng hay phóng to ảnh 7 Các ứng dụng nội suy bao gồm hình ảnh luân chuyển, mở rộng quy mô, độ phóng đại, nén tái tạo ảnh Tiến trình nội suy dựa màu sắc điểm ảnh cũ để xác định màu cho điểm ảnh gần Trong xử lý ảnh, ảnh đƣợc mở rộng để chỉnh sửa tiết 1.3.2 Các vấn đề với nội suy ảnh Để nhận đƣợc ảnh cỡ lớn mà chất lƣợng đảm bảo cần tạo nhiều điểm ảnh (pixel) Quá trình tạo nhiều điểm ảnh đƣợc gọi nội suy Điều đƣợc thực phần mềm nội suy ảnh Phần mềm nội suy ảnh phân tích điểm ảnh ảnh thêm điểm ảnh nhiều dựa phân tích 1.3.2.1 Nội suy không tạo dự liệu Khi phóng to ảnh, nội suy chèn thêm điểm ảnh (pixel) vào ảnh, số lƣợng điểm ảnh (pixel) lớn không tạo dự liệu 1.3.2.2 Nội suy khắc phục tƣợng cƣa Răng cƣa thuật ngữ dùng để mô tả đƣờng thẳng hay đƣờng cong không trơn tru, lởm chởm Do chất ảnh, mỗi ảnh đƣợc tạo mạng lƣới điểm ảnh Nên đƣờng thẳng đƣờng cong ảnh không thực đƣờng thẳng hay đƣờng cong trơn mà mô hình cƣa điểm ảnh 1.3.2.3 Nội suy nguyên nhân làm độ sắc nét ảnh Một hình ảnh có cạnh sắc nét, đẹp có chuyển đổi ngẫu nhiên màu đen trắng Khi nội suy việc chuyển đổi màu đen/trắng thành màu đen/xám/trắng cách mềm mại Điều làm giảm độ sắc nét ảnh 1.3.2.4 Nội suy có tính ƣớc lƣợng Nội suy hoạt động cách sử dụng dự liệu đƣợc biết đến để ƣớc tính giá trị điểm chƣa rõ 8 1.3.2.5 Nội suy xảy quay ảnh, bóp méo ảnh Phép nội suy ảnh xuất ảnh số giai đoạn nhƣ bóp méo, nắn chỉnh, lấp lỗ hổng hay phóng to ảnh Nó xuất thay đổi kích thƣớc hay làm méo ảnh Thay đổi kích cỡ Ảnh ban đầu Bóp méo Sau nội suy Hình 1.15 Minh họa ảnh phóng to bóp méo sau nội suy Ngay hình ảnh thay đổi kích cỡ bóp méo đƣợc thực hiện, kết khác đáng kể tùy thuộc vào thuật toán nội suy 1.3.3 Một số hướng tiếp cận nội suy ảnh Trong xử lý ảnh để có ảnh nhƣ mong muốn ta cần phải hiểu ảnh cần xử lý thuộc loại áp dụng phƣơng pháp nội suy ảnh cho phù hợp Trong chƣơng nghiên cứu khái quát xử lý ảnh nội suy ảnh.Chƣơng nghiên cứu cụ thể kỹ thuật nội suy láng giềng, nội suy tuyến tính nội suy sử dụng hàm sở bán kính 9 CHƢƠNG 2: MỘT SỐ KỸ THUẬT NỘI SUY ẢNH Hầu hết phần mềm xử lý ảnh sử dụng nhiều phƣơng pháp nội suy trình biến đổi ảnh Kết sau trình biến đổi ảnh thƣơng cho ảnh nhƣ mong muốn Ảnh thƣờng mịn màng, trơn chu không bị vỡ hạt phóng to, thu nhỏ hay bóp méo ảnh Kết ảnh sau xử lý phụ thuộc vào đối tƣợng xử lý giải thuật nội suy Điều quan trọng giải thuật nội suy không thêm thông tin cho ảnh mà thêm điểm ảnh (pixel) làm tăng dung lƣợng tập tin Khi phóng to ảnh thƣờng ảnh bị vỡ hạt nên ta in hay chỉnh sửa đƣợc Khi muốn phóng to ảnh ngƣời ta thƣờng dùng phƣơng pháp chụp, rửa hình, dùng máy quét để quét ảnh với độ phân giải cao nhƣng làm nhƣ thời gian lại không kinh tế Đến có nhiều nhà sản xuất phần mềm xử lý ảnh khắc phục đƣợc vấn đề cách dùng phƣơng pháp nội suy ảnh trình biến đổi ảnh Nhiều phần mềm nội suy ảnh cho phép phóng to ảnh, bóp méo ảnh hay biến đổi ảnh, sinh ảnh trung gian mà ảnh trơn chu rõ nét Mặc dù nội suy ảnh có hạn chế nhƣng để khắc phục nhƣợc điểm ảnh ta nên thực nội suy ảnh để có đƣợc ảnh tốt Chất lƣợng hình ảnh phụ thuộc nhiều vào việc sử dụng giải thuật nội suy giải thuật nội suy thuật toán xác định giá trị màu sắc điểm ảnh đƣợc tính toán 2.1 Nội suy ảnh dựa vào các điểm láng giềng 2.1.1 Khái quát nội suy ảnh dựa vào điểm láng giềng Trong số phƣơng pháp thông thƣờng để cải thiện độ phân giải hình ảnh, nội suy láng giềng gần phƣơng pháp nội suy không gian phân bổ giá trị điểm ảnh hình ảnh ban đầu, gần để điểm ảnh mục tiêu giá trị điểm đƣợc phân bổ 2.1.2 Phương pháp nội suy ảnh dựa vào điểm láng giềng Phƣơng pháp nội suy hình ảnh dựa kết hợp hai thủ tục khác Đầu tiên, thuật toán thích nghi đƣợc áp dụng nội suy giá trị điểm 10 ảnh địa phƣơng theo hƣớng thứ hai phát sinh để hình ảnh thấp Giá trị sau nội suy đƣợc sửa đổi cách sử dụng sàng lọc lặp lặp lại giảm thiểu khác biệt dẫn xuất hình ảnh thứ hai để tối đa hóa giá trị để hàm bậc hai đƣờng cong làm mịn Các thuật toán cung cấp hình ảnh cạnh bảo quản đo đƣợc tốt Phƣơng pháp đầy đủ cung cấp nội suy hình ảnh với diện mạo "tự nhiên" mà không trình bày vật ảnh hƣởng đến phƣơng pháp tuyến tính phi tuyến Kiểm tra khách quan chủ quan loạt hình ảnh tự nhiên rõ ràng cho thấy ƣu điểm kỹ thuật đề xuất phƣơng pháp tiếp cận có Hình ảnh mở rộng thƣờng cần thiết cho loạt ứng dụng, chẳng hạn nhƣ in ấn, video, xử lý ảnh, lập đồ kết cấu cho mô hình, kỹ thuật đơn giản nhƣ nhân rộng pixel suy tuyến tính không thỏa đáng việc tạo vật trực quan nhƣ điểm ảnh, đƣờng nét lởm chởm Để khắc phục vấn đề này, thuật toán tạo hình ảnh với cạnh sắc nét Một phƣơng pháp tối ƣu cung cấp hình ảnh hợp lý tự nhiên tạo tác Mục đích phƣơng pháp hình ảnh mở rộng sử dụng thông tin địa phƣơng thứ hai để thích ứng sàng lọc, lặp lặp lại để loại bỏ vật giữ tính hình ảnh có liên quan kết cấu tự nhiên 2.1.2.1 Kỹ thuật nội suy điểm láng giềng xét lại Một số phƣơng pháp đƣợc đề xuất để đoán hợp lý mô hình độ phân giải cao từ hình ảnh độ phân giải thấp ban đầu Vấn đề phức tạp, nói chung, gợi ý tín hiệu độ phân giải cao thực có sẵn Các phƣơng pháp nội suy tinh vi cố gắng để trích xuất thông tin thống kê mối quan hệ hình ảnh độ phân giải cao thấp từ tập hợp đào tạo hình ảnh tự nhiên (hoặc hình ảnh quan tâm) Trong phƣơng pháp lặp lặp lại dựa mức độ tập hợp đƣờng cong, cƣờng độ liên tục làm mịn đƣợc áp dụng, với số quy tắc quảng cáo đặc biệt để ngăn chặn thay đổi cấu trúc liên kết tác dụng phụ khác Phƣơng pháp sử dụng chẩn đoán đơn giản để xác định hƣớng cạnh từ điểm lân cận độ phân giải hình ảnh thấp sau thêm nội suy điểm ảnh 11 thu đƣợc trung bình có trọng số ngƣời hàng xóm, với trọng lƣợng tùy thuộc vào hƣớng cạnh Một cách tiếp cận tƣơng tự sở kỹ thuật sử dụng miếng vá lớn xung quanh điểm để ƣớc tính trọng lƣợng 2.1.2.2 Nội suy láng giềng dựa dẫn xuất hình ảnh thứ hai Phƣơng pháp phóng to hình ảnh xấp xỉ hệ số cách chép pixel gốc (lập mục i, j) vào mạng lƣới mở rộng (lập mục 2i, 2j) sau điền khoảng cách với quy tắc dựa địa phƣơng cạnh thủ tục phân tích Thủ tục thƣờng đƣợc thực theo hai bƣớc: Bước 1: Điểm ảnh lập mục hai giá trị lẻ (tối điểm ảnh hình 2.1.A) đƣợc tính nhƣ trung bình có trọng số Bước 2: Các lỗ lại (ví dụ nhƣ màu đen điểm ảnh hình 2.1.B) đƣợc làm đầy với quy tắc, nhƣ trung bình có trọng số gần hàng xóm (theo hƣớng ngang dọc) Hình 2.1 Hai bƣớc nội suy dựa vào cấu hình bốn nƣớc láng giềng Phƣơng pháp sử dụng nhanh chóng cách nhân rộng điểm ảnh tƣơng tự lỗ điền phƣơng pháp tiếp cận hiệu quả, chí chất lƣợng kết tốt Các điểm trung tâm thu đƣợc nội suy hai đối diện theo hƣớng mà khác biệt điểm ảnh thấp Phƣơng pháp nội suy gồm hai thủ tục, phƣơng pháp dựa quy tắc lỗ điền đơn giản mà tính mẫu cách nội suy theo hƣớng thứ tự hình ảnh thứ hai phái sinh thấp FCBI (Fast Curvature Based Interpolation) Thứ hai lọc giá trị điểm ảnh nội suy thông qua thuật toán lặp cố gắng để buộc phái sinh để thứ hai liên tục với số hạn chế 12 bổ sung để bảo quản cạnh Kết thuật toán nội suy mà gọi ICBI (Iterative Curvature Based Interpolation) nội suy dựa độ cong lặp lặp lại 2.1.2.3 Nội suy láng giềng dựa độ cong FCBI Phƣơng pháp tƣơng tự nhƣ tam giác phụ thuộc liệu, nhƣng thay có đƣợc giá trị điểm ảnh cách trung bình hai nƣớc láng giềng đối diện với khác biệt thấp hơn, ta tính toán dẫn xuất thứ tự thứ hai hai hƣớng đƣờng chéo nội suy hai điểm đối diện hàng xóm theo hƣớng nơi phái sinh thấp Bƣớc thứ hai đƣợc thực cách, tính toán xấp xỉ dẫn xuất bậc hai hƣớng ngang dọc Ta tránh việc sử dụng quy tắc đơn giản dẫn xuất cƣờng độ lớn hơn, dẫn xuất lớn thứ hai đƣờng chéo để xác định hƣớng nội suy Hình 2.2 Nội suy dựa khu phố 12-pixel Hình ảnh thu đƣợc với phƣơng pháp nhanh tốt so với phƣơng pháp có tốc độ tƣơng tự Do đó, ta cải thiện thuật toán cách thêm sàng lọc lặp lặp lại để nâng cao chất lƣợng cạnh mỗi bƣớc nội suy cách làm mịn dẫn xuất thứ hai hƣớng giữ giá trị pixel 13 2.1.2.4 Nội suy láng giềng lặp lặp lại ICBI Trong phần sau đây, mô tả thủ tục điều kiện lƣợng đƣợc sử dụng cho bƣớc nội suy lấp đầy khoảng trống lƣới mở rộng địa điểm (2i + 1; 2j + 1) Sau bƣớc thứ hai lỗ điền (gán giá trị cho tất pixel trống lại), thủ tục lặp lặp lại đƣợc lặp lặp lại cách tƣơng tự, cần thay theo chiều ngang chiều dọc lặp lặp lại sửa đổi giá trị điểm ảnh đƣợc thêm vào 2.1.2.5 Nội suy láng giềng tự nhiên NN(Natural Neighbor Interpolation) Xây dựng mô hình độ cao (DEM) kỹ thuật số từ điểm dày đặc trở nên ngày quan trọng Nội suy láng giềng tự nhiên NNI (Natural Neighbor Interpolation) phƣơng pháp phổ biến để DEM xây dựng từ liệu điểm nhƣng tính toán chuyên sâu Mô hình số độ cao (DEM) cần phải đƣợc tạo dựa điểm quét qua DEM nội suy Kết thƣờng đƣợc biểu diễn nhƣ lƣới, nơi giá trị chiều cao (độ cao) đƣợc kết hợp với mỗi ô lƣới a Sơ đồ Voronoi nội suy láng giềng tự nhiên Sơ đồ Voronoi không gian phân hủy không gian dựa tập hợp điểm cách sử dụng khoảng cách Ta xem xét sơ đồ Voronoi 2D, với 2D không gian R2 tập hợp điểm S = {p1,…,pn} không gian đƣợc chia thành tập hợp không gian VorS (p) cho mỗi p ϵ S b Phương pháp nội suy láng giềng tự nhiên Nội suy láng giềng tự nhiên không gian nội suy đƣợc sử dụng rộng rãi NNI dựa điểm ảnh mặt phẳng 2D Định nghĩa thức nội suy láng giềng tự nhiên nhƣ sau, cho điểm truy vấn q không gian R2, tập hợp hữu hạn điểm S R2 láng giềng tự nhiên q Sau đó, nội suy láng giềng tự nhiên truy vấn q đƣợc định nghĩa là: v (q) =∑ wpv(p) (2.14) pϵ s Wp trọng lƣợng p, v giá trị điểm tƣơng ứng (trong trƣờng hợp nâng cao giá trị) Đề xuất xây dựng DEM dựa NNI cách tiếp 14 cận có hai thành phần Các thành phần để tạo sơ đồ Voronoi rời rạc từ điểm cách sử dụng đại diện thành phần thứ hai để truy vấn sơ đồ Voronoi cho mỗi điểm ảnh lƣới tạo DEM c Cột chuyển nhượng nội suy láng giềng tự nhiên Thiết kế hoạt động điểm ảnh cách sử dụng quét song song trực tiếp Chúng ta tiếp tục phân chia giao cột thành hai giai đoạn Giai đoạn để tạo tập hợp cho mỗi cột Và giai đoạn thứ hai gán mỗi điểm với Voronoi tƣơng ứng 2D phối hợp sử dụng ứng cử viên mỗi cột, đƣợc độc lập với nhau, mà không làm tính tổng quát xem xét trƣờng hợp cột d Xây dựng lưới DEM nội suy láng giềng tự nhiên Lƣới DEM đƣợc xây dựng dựa nội suy láng giềng tự nhiên cho mỗi điểm lƣới Quá trình gán giá trị cho mỗi điểm lƣới nhƣ lƣới truy vấn Để xem xét chất lƣợng DEM, nên xem xét khoảng trống liệu gốc Những khoảng trống đƣợc đánh dấu "NO_DATA" Thay đổi phƣơng pháp đƣợc sử dụng để chế biến khoảng trống này, tiền xử lý, chế biến sau trình nội suy Kết luận nội suy láng riềng tự nhiên Trong mô tả thuật toán phƣơng trình đƣợc viết cho màu xám, tất nhiên, hình ảnh màu sắc đƣợc mở rộng cách cách lặp lại thủ tục cách độc lập cho mỗi thành phần màu hệ số nội suy tính toán độ sáng hình ảnh sử dụng chúng cho tất kênh, giảm cách này, chi phí tính toán đồ tạo tác màu tránh đặt màu nguyên gốc lƣới mở rộng địa điểm (2i, 2j) Chèn điểm ảnh địa điểm (2i +1, 2j+1) với phƣơng pháp FCBI áp dụng lặp lặp lại điều chỉnh thay đổi hình ảnh ngƣỡng số lần lặp lại tối đa đạt đƣợc Chèn điểm ảnh địa điểm lại với phƣơng pháp FCBI áp dụng lặp lặp lại điều chỉnh để điểm ảnh tăng Lặp lại toàn thủ tục hình ảnh cho to 15 Vậy việc xây dựng DEM lƣới, hai phần giải pháp đề xuất bao gồm hệ sơ đồ Voronoi truy vấn lƣới, đáng kể tốt NNI cho lƣới điện dựa NNI DEM xây dựng 2.2 Nội suy tuyến tính (Linear interpolation) Nội suy phƣơng pháp xác định giá trị điểm liệu không rõ dựa giá trị điểm liệu đƣợc biết xung quanh Nội suy tuyến tính phƣơng pháp nội suy đơn giản, cho đƣờng thẳng (tuyến tính) mối quan hệ điểm biết, có nghĩa trung bình hai tỷ lệ Nội suy tuyến tính Có nhiều ứng dụng cần thiết phải phóng đại vùng ảnh Có nghĩa lấy vùng ảnh cho cho lên nhƣ ảnh lớn Có phƣơng pháp đƣợc dùng lặp (Replication) nội suy tuyến tính (linear interpolation) 2.2.1 Nội suy theo phương pháp lặp Ngƣời ta lấy vùng ảnh kích thƣớc M × N quét theo hàng Mỗi điểm ảnh nằm đƣờng quét đƣợc lặp lại lần hàng quét đƣợc lặp lại lần 2.2.2 Thuật toán nội suy tuyến tính Thực nội suy tuyến tính hai điểm biết Trƣớc tiên, điểm ảnh theo hàng Tiếp theo, mỗi điểm ảnh dọc theo cột đƣợc nội suy theo đƣờng thẳng Nếu biết trƣớc hai điểm nội suy tuyến tính đƣờng thẳng nối hai điểm đó, điểm nội suy điểm hai điểm biết 2.2.3 Nội suy tuyến tính hàm bậc Nội suy tuyến tính sử dụng đa thức tuyến tính nhƣ chức nội suy Giữa hai điểm, (x[1], y[1]) (x[2], y[2]) với x[1] < x[2], ta suy đa thức tuyến tính biểu mẫu ƒ(x)=β2x + β1 (2.21) 2.2.4 Nội suy tuyến tính hàm bậc hai Nội suy bậc hai sử dụng đa thức bậc hai nhƣ chức nội suy Giả sử muốn nội suy đa thức bậc hai điểm K (x1 [k] 16 ,x2[k]) y[k] (1,1) 2 (2,3) (2,5) (4,2) (5,5) Bảng điểm thông qua để suy đa thức bậc hai Hình thức chung đa thức bậc hai từ R2 đến R ƒ(x1,x2) = β6x1x2 + β5x21 + β4x22 + β3x1 + β2x2 + β1 (2.25) Giải (2.25) số βj dựa năm điểm (x[k],x[k]) bảng đòi hỏi hệ thống phƣơng trình ẩn số 2.2.5 Nội suy tuyến tính hai đường Hãy xem xét chức hai chiều y (x, z), giả sử giá trị cố định z có mối quan hệ tuyến tính x y Nói cách khác, chức đƣợc viết dƣới dạng: Y(x,z) = a(z)x + b(z) (2.35) Cho số chức chiều a(z) b(z), đại diện cho giá trị z "độ dốc" "đánh chặn" y chức x Kết luận nội suy tuyến tính Phƣơng pháp nội suy tuyến tinh phƣơng pháp đơn giản tính toán nhanh, tốc độ phụ thuộc vào số lƣợng quét, nhƣng thƣờng không đủ tinh vi để có hiệu nội suy trạm liệu vào lƣới Nhƣợc điểm phƣơng pháp nội suy tuyến tính không ổn định mật độ lƣới điện cao Nội suy tuyến tính thƣờng đƣợc dùng để tập hợp liệu đồng khoảng cách 2.3 Nội suy sử dụng hàm sở bán kính Hàm sở bán kính RBF hàm có giá trị phụ thuộc vào khoảng cách d điểm p trung tâm c Hầu hết hàm sở bán kính thêm tham số, ví dụ hàm Gaussian có chiều rộng đƣờng cong nhƣ tham số Số lƣợng lớn RBF có sẵn thông số khác họ, làm cho nội suy RBF linh hoạt 17 2.3.1 Khái quát hàm sở bán kính RBF Muốn khắc phục hạn chế ma trận khoảng cách nội suy, nhƣng giữ cấu trúc tổng thể ta kết hợp tính toán ma trận khoảng cách với hàm tốt Định nghĩa: Hàm Φ: Rs  R đƣợc gọi hàm bán kính tồn hàm đơn biến φ: [0, +∞)  R Thỏa mãn: ( X )   (r ) (2.47) Với r x Và ||.|| số tiêu Rs, thƣờng tiêu Euclide Hàm φ tƣơng ứng gọi hàm sở bán kính Nhƣ cho hàm bán kính ||X1|| = ||X2||  (X1) = (X2), X1, X2  RS (2.48) 2.3.2 Các thuộc tính hàm sở bán kính RBF Bất biến theo tất biến đổi Euclide (tức là, dịch, quay, phản xạ) Nó không quan trọng cho dù lần tính toán RBF sau áp dụng cách chuyển Euclide, lần chuyển đổi liệu Thật kể từ chuyển đổi Euclide đƣợc đặc trƣng ma trận chuyển đổi trực giao tiêu chuẩn bất biến Bất biến theo luân chuyển, dịch thuật phản ánh thƣờng mong muốn ứng dụng 2.3.3 Nội suy sử dụng hàm bán kính sở RBF Thay ma trận khoảng cách sử dụng hàm sở xuyên tâm mở rộng để giải vấn đề nội suy liệu phân tán giả định N  Pf ( x)   Ck x  xk k 1 , x  RS (2.60) 18 Sử dụng điều kiện nội suy pƒ(xi) = f(xi), i= 1, , N, nhận đƣợc ck từ   x  x   x  x    x  x   x  x      x N  x   x N  x 2         x  x N  x  x N   x N  x N     C1   f ( x )   C   f (x )              C N   f (x N )   (2.61) 2.3.4 Phép nội suy thời gian bù chuyển động Phép nội suy có bù chuyển động có ứng dụng việc thay đổi nhịp khung Sự thay đổi nhịp khung phối hợp với việc thay đổi thang thời gian âm để thay đổi độ dài ảnh động chƣơng trình Với số cảnh điển hình thay đổi nhịp khung video qua phép nội suy bù chuyển động tạo tín hiệu video có chất lƣợng so sánh đƣợc với tín hiệu gốc Kết luận nội suy sử dụng hàm sở bán kính RBF Hàm sở bán kính khôi phục lại bề mặt nhẵn, đa tạp từ tập điểm liệu tập trung phục hồi lƣới điểm không đầy đủ Sự hỗ trợ sinh lƣới thấy biểu diễn RBF có lợi ích cho việc rút gọn lƣới áp dụng lại lƣới Bản chất hàm số biểu diễn hàm RBF cung cấp triển vọng cho thuật toán cân chỉnh bề mặt, rút gon lƣới, nén thuật toán làm nhẵn 19 CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM 3.1 Bài toán Biểu diễn khuôn mặt có nhiều ứng dụng sống Đây toán có tính tƣơng tác ngƣời máy, tính hoạt ảnh đóng vai trò tích cực ứng dụng cài đặt Bài toán sử dụng phƣơng pháp nội suy ảnh để biểu diễn trạng thái hoạt hóa khuôn mặt Biểu diễn khuôn mặt quan trọng cần thiết cho hệ thống xử lý tƣơng tác nhƣ chƣơng trình huấn luyện, biểu thị thông tin, chữa bệnh, giáo dục, giải trí…Nhiệm vụ hệ thống thể khuôn mặt nhằm biểu thị sinh động tính hoạt ảnh, từ mô xác, sinh động giới thực, rút trích tri thức hữu ích phục vụ thực tiến  Đầu vào: Mô hình mặt 3D trạng thái mặt cân trạng thái tâm lý đích cần biểu diễn  Đầu ra: Hình ảnh chuyển hóa khuôn mặt 3D từ trạng thái cân sang trạng thái tâm lý đích lựa chọn đầu vào 3.2 Phân tích toán Thực chất trình hoạt hóa mặt, hoạt hóa thành phần mô khuôn mặt Chúng ta áp dụng để xây dựng khung hình cho mặt, trình hoạt hóa khuôn mặt trình biến đổi khung hình phù hợp theo thời gian, cách làm cho phép tạo nên thể đa dạng trạng thái cảm xúc, trình quan sát biến đổi thực tế Quá trình hoạt hóa mặt đƣợc biến đổi từ trạng thái tự nhiên sang trạng thái đích, đứng phƣơng diện trạng thái làm trơn coi trạng thái đích phù hợp với đa dạng nét mặt thực tế Bài toán biểu diễn trạng thái khuôn mặt dựa bao gồm vấn đề là: Bƣớc 1: Xây dựng mô hình hóa khuôn mặt mô hình 3D Bƣớc 2: Hoạt hóa khuôn mặt thể trạng thái biểu cảm, cử động vùng đặc trƣng Nhƣ đầu vào toán mô hình khuôn mặt 3D chƣơng trình có nhiệm vụ tác động lên mô hình để tạo nên hoạt ảnh 3D thể đƣợc nét mặt dựa đặt trƣng rõ cảm xúc nét mặt 20 3.3 Chƣơng trình biểu diễn trạng thái khuôn mặt Khi chạy chƣơng trình cửa sổ ban đầu xuất với giao diện sau: Hình 3.1 Cửa sổ ban đầu phần mềm biểu diễn trạng thái khuôn mặt 3D Sau nạp xong liệu, cửa sổ chƣơng trình mô hình mặt 3D đƣợc bao phủ Ở trạng thái sẵn sàng hoạt ảnh, mô hình mặt 3D trạng thái bình thƣờng Hình 3.2 Khung hình khuôn mặt nhìn nghiêng 21 Trạng thái ngạc nhiên, hoạt ảnh mặt nhƣ sau: Hình 3.3 Trạng thái ngạc nhiên khuôn mặt Bằng cách thức tƣơng tự chọn trạng thái mimẻ cƣời, khung hình đƣợc hoạt hóa nhƣ sau: Hình 3.4 Trạng thái mỉm cƣời khuôn mặt Các mô hình cảm xúc đƣợc tập hợp menu Dieukhien, menu có chức hoạt hóa khuôn hình thể cảm xúc hạnh phúc, cƣời, tức giận,…là trạng thái cảm xúc mà đề cập Quá trình hoạt hóa mặt đƣợc thể tập lệnh chức 22 Để thoát ứng dụng ta chọn chức Exit Quá trình thực lại chƣơng trình tuân thủ yêu cầu đề cập 23 KẾT LUẬN Kỹ thuật nội suy ảnh xử dụng nhiều lĩnh vực công nghệ thông tin để thúc đẩy phát triển nhiều lĩnh vực xã hội nhƣ y học, giáo dục, quân sự, giải trí, mô hình ảo, kỹ thuật số, Mà nhu cầu xử lý ảnh ngày cao Trên giới, kỹ thuật nội suy ảnh xử dụng nhiều việc tiến hành xây dựng mô hình nhân vật ảo tạo tiền đề cho phát triển đáp ứng nhu cầu sống ngƣời ngày cao Tuy nhiên, Việt Nam vấn đề mẻ Xuất phát hoàn cảnh đó, luận văn lựa chọn đề tài ''Nghiên cứu số kỹ thuật nội suy ảnh'' có ý nghĩa khoa học mang tính thực tiễn cao hoàn cảnh Việt Nam chƣa có nhiều hệ thống xử lý ảnh mà thực tế đặt Luận Văn đạt đƣợc kết sau:  Khái quát xử lý ảnh nội suy ảnh  Một số kỹ thuật nội suy ảnh  Cài đặt thử nghiệm chƣơng trình thể trạng thái khuôn mặt dựa vào kỹ thuật nội suy ảnh