Đang tải... (xem toàn văn)
Nhận dạng ảnh sử dụng thuật toán PCA
ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BÁO CÁO Project2 NHẬN DẠNG ẢNH SỬ DỤNG THUẬT TOÁN PCA Nhóm Giảng viên hướng dẩn : ThS Đỗ Văn Uy Hà Nội: 04-2013 Nhận dạng ảnh sử dụng thuật toán PCA MỤC LỤC Project2 – GVHD : Đỗ Văn Uy Page Nhận dạng ảnh sử dụng thuật toán PCA LỜI MỞ ĐẦU Hiện , với phát triển xã hội , vấn đề an ninh, bảo mật yêu cầu khắt khe quốc gia giới Các hệ thống nhận dạng người, đồ vật đời phát triển với độ tin cậy ngày cao Với cách tiếp cận đối tượng nhận dạng theo phương pháp , thu nhận nhiều thông tin từ đối tượng hơn, mà không cần tác động nhiều đến đối tượng đảm bảo tính xác , an toàn , thuận tiện Một toán xã hội quan tâm nhận dạng khuôn mặt Chúng ta liệt kê số thuật toán cụ thể để giải vấn đề nhận dạng : PCA, LDA, ICA, EP, EBGM Tuy nhiên điều kiện thời gian nên nhóm em tập trung vào tìm hiểu làm ứng dụng nhỏ sử dụng thuật toán tiếng thông dụng thuật toán PCA (Principal component analysis) – phân tích thành phần Nội dung trình bày báo cáo ,nhóm em sâu khai thác thuật toán PCA để giải hai vấn đề : Thứ : Xác định vị trí khuôn mặt ảnh Thứ hai : Tìm khuôn mặt giống với khuôn mặt cho trước Project2 – GVHD : Đỗ Văn Uy Page Nhận dạng ảnh sử dụng thuật toán PCA CHƯƠNG I : THƯ VIỆN OPENCV I Giới Thiệu Về Thư Viện Mã Nguồn Mở OpenCV OpenCV (Open Computer Vision library) Intel phát triển, giới thiệu năm 1999 hoàn thiện thành phiên 1.0 năm 2006 Thư viện OpenCV - gồm khoảng 500 hàm – viết ngôn ngữ lập trình C tương thích với hệ điều hành Windows, Linux, Mac OS đóng vai trò xác lập chuẩn giao tiếp, liệu, thuật toán cho lĩnh vực CV tạo điều kiện cho người tham gia nghiên cứu phát triển ứng dụng Trước OpenCV công cụ chuẩn cho lĩnh vực xử lý ảnh Các đoạn code đơn lẻ nhà nghiên cứu tự viết thường không thống không ổn định Các công cụ thương mại Matlab, Simulink, Halcon, v.v lại có giá cao thích hợp cho công ty phát triển ứng dụng lớn Ngoài có giải pháp kèm theo thiết bị phần cứng mà phần lớn mã đóng thiết kế riêng cho thiết bị, khó khăn cho việc mở rộng ứng dụng OpenCV công cụ hữu ích cho người bước đầu làm quen với xử lý ảnh số ưu điểm sau: - OpenCV công cụ chuyên dụng: Được Intel phát triển theo hướng tối ưu hóa cho ứng dụng xử lí phân tích ảnh, với cấu trúc Project2 – GVHD : Đỗ Văn Uy Page Nhận dạng ảnh sử dụng thuật toán PCA liệu hợp lý, thư viện tạo giao diện, truy xuất thiết bị phần cứng tích hợp sẵn OpenCV thích hợp để phát triển nhanh ứng dụng - OpenCV công cụ mã nguồn mở: Không công cụ miễn phí (với BSD license), việc xây dựng mã nguồn mở giúp OpenCV trở thành công cụ thích hợp cho nghiên cứu phát triển, với khả thay đổi mở rộng mô hình, thuật toán - OpenCV sử dụng rộng rãi: Từ năm 1999 đến nay, OpenCV thu hút lượng lớn người dùng, có công ty lớn Microsoft, IBM, Sony, Siemens, Google nhóm nghiên cứu Standford, MIT, CMU, Cambridge Nhiều forum hỗ trợ cộng đồng người dùng thành lập, tạo nên kênh thông tin rộng lớn hữu ích cho việc tham khảo tra cứu Hình 1.8 Nhận dạng khuôn mặt với Haar classifier Project2 – GVHD : Đỗ Văn Uy Page Nhận dạng ảnh sử dụng thuật toán PCA II Tổ chức thư viện OpenCV Hình 1.7 Tổ chức thư viện OpenCV - CXCORE chứa định nghĩa kiểu liệu sở Ví dụ, cấu trúc liệu cho ảnh, điểm hình chữ nhật định nghĩa cxtypes.h CXCORE chứa đại số tuyến tính phương pháp thống kê, chức trì điều khiển chuỗi Một số ít, chức đồ họa để vẽ ảnh đặt - CV chứa thuật toán xử lý ảnh định kích cỡ camera Các chức hình họa máy tính đặt Project2 – GVHD : Đỗ Văn Uy Page Nhận dạng ảnh sử dụng thuật toán PCA - CVAUX mô tả tài liệu OpenCV chứa mã cũ thứ nghiệm Tuy nhiên, giao diện đơn cho nhận diện ảnh module Code sau chúng chuyên dụng cho nhận diện mặt chúng ứng dụng rộng rãi cho mục đích - HIGHGUI CVCAM đặt thư mục “otherlibs” + HIGHGUI : chứa giao diện vào bản, chứa khả cửa sổ mở rộng vào video + CVCAM : chứa giao diện cho video truy cập qua DirectX Windows 32 bits Kèm theo thư viện tài liệu hướng dẫn ví dụ mẫu thể phần chức công cụ OpenCV Các chức openCV tập trung vào thu thập ảnh, xử lí ảnh thuật toán phân tích liệu ảnh, bao gồm: - Truy xuất ảnh phim: đọc ảnh số từ camera, từ file, ghi ảnh phim - Cấu trúc liệu ảnh số liệu hỗ trợ cần thiết: ma trận, vector, chuỗi, xâu - Xử lí ảnh bản: lọc có sẵn, tìm chi tiết cạnh, góc, chỉnh đổi màu, phóng to thu nhỏ, hiệu chỉnh histograms - Xử lí cấu trúc: tìm viền, nhận chuyển động, thay đổi không gian 3D, đối chiếu mẫu, xấp xỉ đơn vị hình học sở - mặt phẳng, đa giác, ellipse, đường thẳng Project2 – GVHD : Đỗ Văn Uy Page Nhận dạng ảnh sử dụng thuật toán PCA - Phân tích liệu ảnh: nhận dạng thực thể, theo dõi chi tiết phân tích chuyển động - Tạo giao diện đơn giản: hiển thị ảnh, thao tác bàn phím, chuột, trượt để chỉnh thông số (nếu cần thiết bạn tự tạo thêm phím điều khiển thông qua thao tác chuột, tích hợp thêm thư viện giao diện wxWidgets) - Chức vẽ, thích lên ảnh III Hàm cho số chức cụ thể 1.1 Load ảnh IplImage: kiểu cấu trúc lưu giữthông tin file ảnh cần load, như: định dạng, kích thước, dung lượng, màu sắc,… cvLoadImage(): Hàm load ảnh cvNamedWindow():Thiết lập cửa sổ để thị ảnh cvShowImage():Hiển thi ảnh cvWaitKey(0):Chờ bấm phím để kết thúc chương trình cvReleaseImage( ):Xóa ảnh cvDestroyWindow( ):Xóa cửa sổ Project2 – GVHD : Đỗ Văn Uy Page Nhận dạng ảnh sử dụng thuật toán PCA 1.2 Chức Lọc Nhiễu cvCreateImage():Tạo ảnh có thông số tương ưng với ảnh gốc cvSmooth():Thưc lọc trung bình cvNamedWindow():Tạo cửa sổ hiển thị ảnh Project2 – GVHD : Đỗ Văn Uy Page Nhận dạng ảnh sử dụng thuật toán PCA Project2 – GVHD : Đỗ Văn Uy Page 10 Nhận dạng ảnh sử dụng thuật toán PCA H(x, y) vùng hình chũ nhật có tâm (x, y) ảnh có kích thước 18 x 27 pixel Hình map ảnh ban đầu Ta thấy vị trí khuân mặt vùng cực tiểu địa phương ảnh (là đốm đen vùng trắng hình chữ nhật) Project2 – GVHD : Đỗ Văn Uy Page 20 Nhận dạng ảnh sử dụng thuật toán PCA Bây ta có sở liệu ảnh khuân mặt (ta thường tập trung vào hình ảnh xung quanh khuân mặt cổ áo , phần khuôn mặt ) Tìm face map ảnh ban đầu với không gian khuôn mặt , ta thu kết sau Hình giống với face map ứng không gian khuôn mặt vùng sáng hình chữ nhật tâm Thực từ face map ứng với không gian khuôn mặt , ta có thuật toán tốt để tìm vị trí cực tiểu địa phương xác định vị trí khuôn mặt Face map ứng với không gian khuôn mặt cách đơn giản giúp ta tìm xác Tất điều thu kết hoàn toàn dựa lý thuyết , thực tế thuật toán nhận dạng mặt người phát triển lên nhiều từ ý tưởng thuật toán PCA có độ xác yêu cầu Project2 – GVHD : Đỗ Văn Uy Page 21 Nhận dạng ảnh sử dụng thuật toán PCA CHƯƠNG III : MÔ PHỎNG CHƯƠNG TRÌNH I Công cụ sử dụng số file liên quan 1.1 Thư viện Opencv 2.4.3 - Là thư viện hỗ trợ xử lý hình ảnh Project2 – GVHD : Đỗ Văn Uy Page 22 Nhận dạng ảnh sử dụng thuật toán PCA 1.2 Công cụ Visual studio C++ 2010 Express - Chúng ta sử dụng công cụ để viết ứng dụng C - Công cụ cần cộng thêm thư viện opencv 2.4.3 1.3 Bộ liệu sử dụng - Hai file : + train.txt : lưu thông tin ảnh đưa để huấn luyện (bao gồm số ảnh đường dẫn đến ảnh) + test.txt : Lưu số đường dẫn ảnh dùng để kiểm tra Project2 – GVHD : Đỗ Văn Uy Page 23 Nhận dạng ảnh sử dụng thuật toán PCA - - File facedata.xml chứa liệu trình nhận dạng số ảnh huấn luyện , vector ảnh trung bình Các thư mục ảnh S1 , S2 , S3 , S40 , thư mục có chứa 10 ảnh người trạng thái khác chương trình lấy số ảnh thư mục để làm đầu vào việc huấn luyện tìm khuôn mặt giống với khuôn mặt cho trước Các ảnh để tìm đánh dấu khuôn mặt có test1.jpg, test2.jpg Project2 – GVHD : Đỗ Văn Uy Page 24 Nhận dạng ảnh sử dụng thuật toán PCA II Các biến , hàm sử dụng chương trình 2.1 Chức tìm khuôn mặt giống với khuôn mặt cho trước Sử dụng biến toàn cục : - int nTrainFaces : số ảnh đưa để huấn luyện int nEigens : số giá trị riêng IplImage **faceImgArr : mảng chứa ảnh IplImage *pAvgTrainImg : ảnh trung bình IplImage **eigenVecArr : vector riêng CvMat *personNumTruthMat : mảng chứa số ảnh Cv *projectedTrainFaceMat : lưu trữ khuôn mặt huấn luyện sau chiếu lên không gian PCA Sử dụng hàm : - - learn() : thực công việc + load liệu (chỉ số đường dẫn ảnh để huấn luyện file train.txt) + thực thuật toán PCA để tìm không gian + chiếu liệu huấn luyện lên không gian + lưu lại tất thông tin (giá trị riêng, vector riêng, ảnh trung bình, số ảnh , khuôn mặt chiếu) recognize() : thực công việc : + load liệu (chỉ số đường dẫn ảnh để kiểm tra file “test.txt”) + chiếu ảnh cần kiểm tra lên không gian PCA (dùng hàm cvEigenDecomposite( )) + đưa kết số ảnh nhận dạng theo chương trình ảnh thực Project2 – GVHD : Đỗ Văn Uy Page 25 Nhận dạng ảnh sử dụng thuật toán PCA - - - doPCA() : khởi tạo biến số , ma trận để làm đầu vào nhận kết đầu gọi hàm xử lý theo thuật toán PCA (cvCalcEigenObjects( )) storeTrainingData() : lưu tất liệu vào file “facedata.xml” loadTrainingData( Cv **pTrainPersonNumMat) : load liệu file “facedata.xml” findNearestNeighbor ( float *projectedTestFace ) : so sánh ảnh test với ảnh train , tìm trả lại số ảnh train có khoảng cách nhỏ với loadFaceImgArray(char *filename) : load ảnh sổ lưu trữ vào mảng 2.2 Chức tìm đánh dấu khuôn mặt có ảnh Sử dụng biến toàn cục: - CvHaarClassifierCascade *pCascade : load liệu từ file XML opencv - CvMemStorage *pStorage : Bộ nhớ đệm tự động - CvSeq *pFaceRectSeq : Lưu danh sách khuôn mặt xác định ảnh - IplImage *pInpImg : lưu ảnh dùng để xác định khuôn mặt Sử dụng hàm : - cvHaarDetectObjects() : tìm kiếm khuôn mặt có ảnh III Chạy thử chương trình Project2 – GVHD : Đỗ Văn Uy Page 26 Nhận dạng ảnh sử dụng thuật toán PCA Sau chạy chương trình , hình xuất Ta chọn chức 1, hình yêu cầu nhập tên file ảnh Project2 – GVHD : Đỗ Văn Uy Page 27 Nhận dạng ảnh sử dụng thuật toán PCA Nhập tên file ảnh , chương trình cho kết Project2 – GVHD : Đỗ Văn Uy Page 28 Nhận dạng ảnh sử dụng thuật toán PCA Tắt cửa sổ ảnh , chương trình hỏi bạn có muốn tiếp tục tìm kiếm khuôn mặt không , bạn chọn “y” nhập tên file ảnh lặp lại trình Nếu không muốn thực thao tác ta chọn “n” , chương trình hỏi bạn có muốn tiếp tục với chức khác không , chon “n” chương trình dừng , chọn “y” chương trình trở menu ban đầu Project2 – GVHD : Đỗ Văn Uy Page 29 Nhận dạng ảnh sử dụng thuật toán PCA Ta chọn chức Project2 – GVHD : Đỗ Văn Uy Page 30 Nhận dạng ảnh sử dụng thuật toán PCA Chọn tiếp chức Chương trình hỏi tiếp ta nhập “n” sau nhập “y” để đồng ý nhận dạng ảnh, chương trình hiển thị kết Chức Mục lựa chọn tiếp cho kết tương tự Project2 – GVHD : Đỗ Văn Uy Page 31 Nhận dạng ảnh sử dụng thuật toán PCA Project2 – GVHD : Đỗ Văn Uy Page 32 Nhận dạng ảnh sử dụng thuật toán PCA KẾT LUẬN PCA phương pháp dùng để xây dựng đặc trưng khuôn mặt , tảng đẻ phát triển thuật toán khác Thực tế có nhiều tác giả áp dụng thuật toán PCA , kết hợp với phương pháp mạng neuralb , xác xuất thông kê để xây dựng thuật toán có độ xác cao Ưu điểm thuật toán PCA dễ cài đặt , ta xét toàn tìm khuôn mặt giống cần áp dụng hoàn toàn vào lý thuyết có độ xác cao, áp dụng cho toán tìm vị trí khuôn mặt cần phải có thuật toán để sử dụng face map thu theo lý thuyết Khuyết điểm PCA mẫu khuôn mặt luân phụ thuộc vào tập huấn luyện , có nghĩa khuôn mặt ảnh kiểm tra phải giống với ảnh huấn luyện kích thước , tư , độ sáng Thực tế tập huấn luyện gồm nhiều nhóm hình , nhóm hình hình người với tư độ sáng khác Có nhiều thuật toán nhận dạng mặt người dựa chi tiết khuôn mặt đôi mắt , lông mày, cấu trúc khuôn mặt, hay màu da Khác hoàn toàn với thuật toán , PCA nhận dạng dựa nét tổng thể khuôn mặt Còn thuật toán , PCA cung cấp sở đễ dàng cho việc mô tả đặc trưng khuôn mặt , để từ phát triển thuật toán nhận dạng khác Vì có Project2 – GVHD : Đỗ Văn Uy Page 33 Nhận dạng ảnh sử dụng thuật toán PCA thể PCA tốt , thuật toán phổ biến áp dụng toán nhận dạng mặt người TÀI LIỆU THAM KHẢO https://en.wikipedia.org/wiki/Principal_component_analysis http://www.cognotics.com/opencv/servo_2007_series/part_2/index.html http://www.bytefish.de/blog/pca_in_opencv/ http://www.pages.drexel.edu/~nk752/tutorials.html http://dphtuan.uphero.com/dphtuannews/posts Project2 – GVHD : Đỗ Văn Uy Page 34 [...]... Page 29 Nhận dạng ảnh sử dụng thuật toán PCA Ta chọn chức năng 2 Project2 – GVHD : Đỗ Văn Uy Page 30 Nhận dạng ảnh sử dụng thuật toán PCA Chọn tiếp chức năng 1 Chương trình hỏi tiếp ta nhập “n” sau đó nhập “y” để đồng ý nhận dạng ảnh, chương trình hiển thị kết quả Chức năng 2 trong Mục lựa chọn tiếp cũng cho kết quả tương tự Project2 – GVHD : Đỗ Văn Uy Page 31 Nhận dạng ảnh sử dụng thuật toán PCA Project2... Project2 – GVHD : Đỗ Văn Uy Page 21 Nhận dạng ảnh sử dụng thuật toán PCA CHƯƠNG III : MÔ PHỎNG CHƯƠNG TRÌNH I Công cụ sử dụng và một số file liên quan 1.1 Thư viện Opencv 2.4.3 - Là thư viện hỗ trợ xử lý hình ảnh Project2 – GVHD : Đỗ Văn Uy Page 22 Nhận dạng ảnh sử dụng thuật toán PCA 1.2 Công cụ Visual studio C++ 2010 Express - Chúng ta sẽ sử dụng công cụ này để viết ứng dụng bằng C - Công cụ này cần được.. .Nhận dạng ảnh sử dụng thuật toán PCA 1.3 Đổi màu ảnh cvCvtColor():Đổi màu ảnh 1.4 Đọc ảnh từ VIDEO cvNamedWindow( ):Tạo cửa sổ để hiển thị ảnh CvCapture:cấu trúc chứa thông tin của File AVI cvCreateFileCapture(): Lấy thông số từ File Avi được Load Project2 – GVHD : Đỗ Văn Uy Page 11 Nhận dạng ảnh sử dụng thuật toán PCA hệ thống sẽ đọc các ảnh từ đoạn VIDEO và xếp chúng thành một dãy các ảnh động... trong ảnh - IplImage *pInpImg : lưu ảnh dùng để xác định khuôn mặt Sử dụng các hàm : - cvHaarDetectObjects() : tìm kiếm khuôn mặt có trong ảnh III Chạy thử chương trình Project2 – GVHD : Đỗ Văn Uy Page 26 Nhận dạng ảnh sử dụng thuật toán PCA Sau khi chạy chương trình , màn hình xuất hiện Ta chọn chức năng 1, màn hình yêu cầu nhập tên file ảnh Project2 – GVHD : Đỗ Văn Uy Page 27 Nhận dạng ảnh sử dụng thuật. .. GVHD : Đỗ Văn Uy Page 32 Nhận dạng ảnh sử dụng thuật toán PCA KẾT LUẬN PCA là phương pháp dùng để xây dựng đặc trưng khuôn mặt , nó là một nền tảng đẻ phát triển các thuật toán khác Thực tế có rất nhiều tác giả đã áp dụng thuật toán PCA , kết hợp với những phương pháp như mạng neuralb , xác xuất thông kê để xây dựng những thuật toán có độ chính xác cao Ưu điểm của thuật toán PCA là nó dễ cài đặt ,... dữ liệu sử dụng - Hai file : + train.txt : lưu thông tin những ảnh được đưa ra để huấn luyện (bao gồm chỉ số ảnh và đường dẫn đến ảnh) + test.txt : Lưu chỉ số và đường dẫn các ảnh dùng để kiểm tra Project2 – GVHD : Đỗ Văn Uy Page 23 Nhận dạng ảnh sử dụng thuật toán PCA - - File facedata.xml chứa các dữ liệu trong quá trình nhận dạng như số ảnh huấn luyện , vector ảnh trung bình Các thư mục ảnh S1 ,... “test.txt”) + chiếu ảnh cần kiểm tra lên không gian con PCA (dùng hàm cvEigenDecomposite( )) + đưa ra kết quả là chỉ số ảnh nhận dạng được theo chương trình và ảnh thực Project2 – GVHD : Đỗ Văn Uy Page 25 Nhận dạng ảnh sử dụng thuật toán PCA - - - doPCA() : khởi tạo các biến số , ma trận để làm đầu vào và nhận kết quả đầu ra khi gọi hàm xử lý theo thuật toán PCA (cvCalcEigenObjects( )) storeTrainingData()... một VIDEO 1.5 Đọc ảnh từ Camara cvCreateCameraCapture(0): hoạt động tương tự như hàm cvCreateFileCapture() Webcam máy tính sẽ bật lên,hệ thống sẽ nhận ảnh từ CAMERA Project2 – GVHD : Đỗ Văn Uy Page 12 Nhận dạng ảnh sử dụng thuật toán PCA CHƯƠNG II : THUẬT TOÁN PCA I Ý tưởng Khuôn mặt người có rất nhiều nét để nhận biết , nếu như ta gặp một người bạn sau một thời gian dài, ta có thể nhận ra ngay người... Có rất nhiều thuật toán nhận dạng mặt người dựa trên những chi tiết của khuôn mặt như đôi mắt , lông mày, cấu trúc của khuôn mặt, hay màu da Khác hoàn toàn với những thuật toán trên , PCA nhận dạng dựa trên những nét tổng thể của khuôn mặt Còn hơn một thuật toán , PCA đã cung cấp một cơ sở rất đễ dàng cho việc mô tả đặc trưng khuôn mặt , để từ đó có thể phát triển những thuật toán nhận dạng khác Vì... có Project2 – GVHD : Đỗ Văn Uy Page 33 Nhận dạng ảnh sử dụng thuật toán PCA thể PCA không phải là tốt nhất , nhưng là thuật toán phổ biến nhất được áp dụng trong bài toán nhận dạng mặt người TÀI LIỆU THAM KHẢO https://en.wikipedia.org/wiki/Principal_component_analysis http://www.cognotics.com/opencv/servo_2007_series/part_2/index.html http://www.bytefish.de/blog /pca_ in_opencv/ http://www.pages.drexel.edu/~nk752/tutorials.html ... : Đỗ Văn Uy Page Nhận dạng ảnh sử dụng thuật toán PCA Project2 – GVHD : Đỗ Văn Uy Page 10 Nhận dạng ảnh sử dụng thuật toán PCA 1.3 Đổi màu ảnh cvCvtColor():Đổi màu ảnh 1.4 Đọc ảnh từ VIDEO cvNamedWindow(... file ảnh Project2 – GVHD : Đỗ Văn Uy Page 27 Nhận dạng ảnh sử dụng thuật toán PCA Nhập tên file ảnh , chương trình cho kết Project2 – GVHD : Đỗ Văn Uy Page 28 Nhận dạng ảnh sử dụng thuật toán PCA. . .Nhận dạng ảnh sử dụng thuật toán PCA MỤC LỤC Project2 – GVHD : Đỗ Văn Uy Page Nhận dạng ảnh sử dụng thuật toán PCA LỜI MỞ ĐẦU Hiện , với phát triển xã