BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI HOÀNG THỊ MAI NHẬN DẠNG LÁ NGÓN SỬ DỤNG MẠNG NƠRON LAN TRUYỀN NGƯỢC LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Chuyên nghành: Khoa học máy tính Người hướng dẫn khoa học PGS.TS ĐỖ NĂNG TOÀN Hà nội/2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI HOÀNG THỊ MAI NHẬN DẠNG LÁ NGÓN SỬ DỤNG MẠNG NƠRON LAN TRUYỀN NGƯỢC LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Chuyên nghành: Khoa học máy tính Mã số chuyên ngành: 60.48.01.01 Người hướng dẫn khoa học PGS.TS ĐỖ NĂNG TOÀN Hà nội/2015 LỜI CẢM ƠN Để hoàn thành chương trình cao học viết luận văn này, em nhận hướng dẫn, giúp đỡ góp ý nhiệt tình quý Thầy, Cô Khoa Công nghệ thông tin trường Đại học Sư phạm Hà Nội Trước hết, xin chân thành cảm ơn đến quý Thầy, Cô Khoa Công nghệ thông tin trường Đại học Sư phạm Hà Nội, đặc biệt Thầy Cô tận tình dạy bảo em suốt thời gian học tập Đồng thời, xin chân thành cảm ơn Thầy, Cô trường Đại học Tây Bắc tạo điều kiện sở vật chất để hoàn thành chương trình học tập trường Em xin gửi lời biết ơn sâu sắc chân thành đến PGS.TS Đỗ Năng Toàn dành nhiều thời gian tâm huyết hướng dẫn nghiên cứu giúp hoàn thành luận văn tốt nghiệp Cuối cùng, em xin gửi lời cảm ơn tới quan, bạn bè đồng nghiệp, gia đình người thân chia sẻ giúp đỡ, động viên, tạo điều kiện thuận lợi để hoàn thành nhiệm vụ học tập nghiên cứu Mặc dù có nhiều cố gắng hoàn thiện luận văn tất nhiệt tình lực mình, nhiên tránh khỏi thiếu sót, mong nhận đóng góp quý báu quý Thầy Cô bạn Hà Nội, tháng 10 năm 2015 Học viên Hoàng Thị Mai LỜI CAM ĐOAN Tôi xin cam đoan số liệu kết nghiên cứu luận văn trung thực không chép Các thông tin trích dẫn luận văn rõ nguồn gốc tham khảo Tác giả luận văn Hoàng Thị Mai MỤC LỤC Nội dung Trang MỞ ĐẦU Chương 1: KHÁI QUÁT VỀ NHẬN DẠNG MẪU VÀ BÀI TOÁN NHẬN DẠNG LÁ NGÓN 1.1 Khái quát nhận dạng mẫu 1.1.1 Khái niệm nhận dạng mẫu 1.1.1.1 Mẫu gì? 1.1.1.2 Nhận dạng mẫu gì? 1.1.1.3 Lịch sử lĩnh vực nhận dạng mẫu 1.1.1.4 Ứng dụng nhận dạng mẫu 1.1.1.5 Các toán nhận dạng mẫu 1.1.2 Quy trình hoạt động hệ thống nhận dạng mẫu 1.1.2.1 Thu nhận tín hiệu 1.1.2.2 Phân đoạn (segmentation) 1.1.2.3 Trích chọn đặc trưng 1.1.2.4 Nhận dạng 1.1.2.5 Hậu xử lý 1.2 Bài toán nhận dạng ngón 1.2.1 Đặc điểm ngón 1.2.2 Đặt toán 1.2.3 Các khó khăn giải toán 10 Chương 2: NHẬN DẠNG LÁ NGÓN SỬ DỤNG MẠNG NƠRON LAN TRUYỀN NGƯỢC 2.1 Trích chọn đặc trưng ngón 2.2 Mạng nơron lan truyền ngược hệ thống nhận dạng ngón 11 11 12 2.2.1 Lan truyền ngược độ nhậy cảm 12 2.2.1.1 Sử dụng thuật toán lan truyền ngược 15 2.2.1.2 Chon lựa cấu trúc mạng 16 2.2.1.3 Sự hội tụ 18 2.2.1.4 Sự tổng quát hóa (Generalization): 19 2.2.2 Một số biến thể mạng nơron lan truyền ngược 20 2.2.2.1 Sử dụng tham số bước đà (Momentum) 20 2.2.2.2 Sử dụng hệ số học biến đổi 21 2.2.2.3 Sử dụng phương pháp Gradient kết hợp: 22 Chương 3: CHƯƠNG TRÌNH THỬ NGHIỆM 31 3.1 Giới thiệu toán 31 3.2 Thu thập, phân tích xử lý liệu 32 3.2.1 Thu thập liệu 32 3.2.2 Tiền xử lý liệu 34 3.2.3 Xử lý liệu 35 3.2.4 Hậu xử lý 36 3.3 Thuật toán xử lý ảnh trích chọn đặc trưng mẫu 36 3.4 Mạng nơron hệ thống nhận dạng 37 3.5 Một số kết thử nghiệm và đánh giá hệ thống nhận dạng 38 3.5.1 Thử nghiệm hệ thống nhận dạng 38 3.5.2 Đánh giá hệ thống 52 3.5.2.1 Độ xác 52 3.5.2.2 Ưu điểm hạn chế 54 KẾT LUẬN 56 DANH MỤC HÌNH VẼ Hình Trang Hình 1.1 bước xử lý hệ thống nhận dạng mẫu Hình 1.2 Cây ngón Hình 2.1 Hoa ngón 12 Hình 3.1 Các loại dùng để nhận dạng 33 Hình 3.2 Một phần tập ảnh huấn luyện 33 Hình 3.3 Một phần tập ảnh thử nghiệm 34 Hình 3.4 Đặc trưng 35 Hình 3.5 Mô hình rron toán nhận dạng mẫu 37 Hình 3.6 Giao diện hệ thống nhận dạng 39 Hình 3.7 Giao diện nhận dạng đặc trưng ảnh 40 Hình 3.8 Giao diện chức huấn luyện mạng nơron 41 Hình 3.9 Giao diện chức nhận dạng ảnh 42 Hình 3.10 Kết nhận dạng tham số khoảng cách điểm lớn Hình 3.11 Kết nhận dạng tham số khoảng cách điểm nhỏ 53 54 DANH MỤC BẢNG BIỂU Bảng Bảng 3.1 Số lượng ảnh tập huấn luyện tập thử Trang 43 nghiệm loài Bảng 3.2 Kết thử nghiệm nhận dạng 44 PHẦN MỞ ĐẦU Lý chọn đề tài Cây ngón, tên khoa học Gelsemium elegans, thuộc họ Hoàng đằng (Gelsemiaceae) loại leo, thân quấn, màu xanh dài tới 12 m, mọc hoang phổ biến vùng rừng núi nước ta Đây bốn có độc tố cao (thuốc độc bảng A) Người ta cho cần ăn đủ gây chết người với triệu chứng ngộ độc: Khát nước, đau họng, chóng mặt, hoa mắt, buồn nôn… sau bị mỏi cơ, thân nhiệt hạ, huyết áp hạ, cắn chặt, sùi bọt mép, đau bụng dội, tim đập yếu, khó thở, đồng tử giãn chết nhanh ngừng hô hấp Mức độ độc giảm theo thứ tự: rễ, lá, hoa, quả, thân Các nhà khoa học tìm thấy 17 đơn phân ancaloit gây độc chiết từ ngón Hàng năm nước ta xảy nhiều vụ ngộ độc Lá ngón sử dụng nhầm lẫn, đầu độc, tự sát Qua nhận thấy có không người dân nhầm lẫn ngón với loại thuốc khác Vì mức độ nguy hiểm loài này, học viên tham gia học công nghệ thông tin, muốn đóng góp kiến thức chuyên ngành để giúp người phân biệt ngón Trong khuôn khổ luận văn thạc sĩ chọn đề tài: “Nhận dạng Ngón sử dụng mạng nơron lan truyền ngược” nhằm nghiên cứu phương pháp nhận dạng mẫu xử lý ảnh xây dựng toán nhận dạng giúp Mục đích, nhiệm vụ nghiên cứu Mục đích luận văn trình bày phương pháp nhận dạng vật mẫu dựa mạng nơron lan truyền ngược Theo đó, trình bày sở lý thuyết việc nhận dạng mẫu xử lý ảnh, quy trình hoạt động hệ thống nhận dạng mẫu Bởi thời gian hạn hẹp nhiều hạn chế kiến thức lĩnh vực mẻ này, mong luận văn trình bày hiểu biết tương đối xử lý ảnh nói chung nhận dạng ngón nói riêng Đồng thời, hy vọng tương lai không xa có điều kiện ứng dụng nghiên cứu đạt luận văn vào thực tế Đối tượng nghiên cứu Trong luận văn này, tìm hiểu phần lý thuyết nhận dạng mẫu xử lý ảnh sâu vào việc nhận dạng Ngón sử dụng mạng nơron lan truyền ngược Nội dung nghiên cứu Giới thiệu phương pháp chung nhận dạng mẫu mạng nơron lan truyền ngược Tìm hiểu tổng quan lý thuyết xử lý ảnh Cài đặt toán nhận dạng mẫu mạng nơron lan truyền ngược Phạm vi nghiên cứu Lý thuyết xử lý ảnh–nhận dạng mẫu mạng nơron lan truyền ngược Một số thuật toán Phương pháp nghiên cứu Dự kiến luận văn sử dụng hai phương pháp nghiên cứu là: Phương pháp đọc tài liệu, phân tích, tổng hợp Phương pháp thực nghiệm, kiểm tra, đánh giá Ảnh Cây khế Chính rừng xác Ảnh Chính xác Ảnh Chính xác 44 Ảnh Cây Chính bỏng xác Ảnh Không xác Ảnh Không xác Ảnh Chính xác 45 Ảnh Chính xác Ảnh Chính xác Ảnh Chính xác Ảnh Chính xác Cây bạc hà 46 Ảnh Chính xác Ảnh Chính xác Ảnh Chính Cây bưởi xác Ảnh Không xác 47 Ảnh Chính xác Ảnh Không Cây dâu tằm xác Ảnh Không xác Ảnh Chính xác 48 Ảnh Chính xác Ảnh Chính xác Ảnh Không xác Ảnh Chính xác Cây hoa giấy 49 Ảnh Chính xác Ảnh Chính xác Ảnh Chính xác Cây khế 50 Ảnh Chính xác Ảnh Chính xác Ảnh Không Cây xác lốt 51 Ảnh Không xác Tổng số ảnh test 30 có 23 trường hợp nhận dạng xác trường hợp nhận dạng chưa xác Tỉ lệ nhận dạng xác 76, 67% 3.5.2 Đánh giá hệ thống 3.5.2.1 Độ xác Qua trình chạy thử kiểm tra hệ thống cho kết nhận dạng tốt Tỉ lệ nhận dạng 76,67% Một điều cần ý để hệ thống cho kết tốt việc chọn tham số trình xử lý chất lượng ảnh đầu vào yếu tố quan trọng Trong lấy đặc trưng có sử dụng tham số khoảng cách điểm viền lấy Nếu để khoảng cách điểm nhỏ số điểm viền tăng lên Số điểm viền nhiều lên đặc trưng ảnh rõ ràng Khi khả phân biệt đặc trăng tăng lên Tuy nhiên số điểm nhiều khó xác định đặc trưng loài Theo kết thử nghiệm hệ thống số đặc trưng từ 30-60 cho kết xác Bây xem xét ví dụ: Giả sử tập ảnh đầu vào giống nhau, ảnh cần nhận dạng giống Chúng ta thay đổi tham số 52 khoảng cách điểm ảnh viền Khi số khoảng cách giảm số điểm ảnh viền tăng lên so sánh kết đạt Hình 3.10 Kết nhận dạng tham số khoảng cách điểm lớn Ảnh đầu vào ảnh bỏng với số khoảng cách điểm lớn, hệ thống lại cho kết không xác Bây giảm khoảng cách điểm: 53 Hình 3.11 Kết nhận dạng tham số khoảng cách điểm nhỏ Khi giảm khoảng cách điểm kết hệ thống nhận dạng xác bỏng 3.5.2.2 Ưu điểm hạn chế Ưu điểm: Hệ thống nhận dạng tốt với mẫu đặc trưng có độ xác cao Thời gian xử lý ảnh nhận dạng tương đối nhanh Nhược điểm: Hệ thống phụ thuộc nhiều đầu vào ảnh Đối với số ảnh không rõ nét việc tìm đặc trưng ảnh tương đối khó khăn cho kết không tốt phần nhận dạng ảnh Hệ thống triển khai môi trường desktop nên chưa thật tiện lợi cho người sử dụng 54 KẾT LUẬN Những kết thu luận văn: 55 Sau trình nghiên cứu thực luận văn tập trung vào vấn đề sau: Trình bày khái quát nhận dạng mẫu toán nhận dạng ngón Hệ thống hóa số vấn đề nhận dạng ngón, sử dụng mạng nơron lan truyền ngược Trên sở kiến thức tìm hiểu được, cài đặt chương trình, thử nghiệm chương trình nhận dạng ngón dựa đặc trưng hình dạng Những hạn chế: Hệ thống phụ thuộc nhiều đầu vào ảnh Đối với số ảnh không rõ nét việc tìm đặc trưng ảnh tương đối khó khăn cho kết không tốt phần nhận dạng ảnh Hệ thống triển khai môi trường Desktop nên chưa thật tiện lợi cho người sử dụng Hướng phát triển cho tương lai: Hệ thống dành cho Desktop tương lai em hy vọng triển khai hệ thống thiết bị mobile Ngoài hệ thống tương lai cần bổ sung số tính hệ thống sau: Hiển thị thêm thông tin lá: Vùng hay xuất hiện, tuổi đời trung bình, tác dụng (hoặc có chứa độc tố không) Nâng cao thuật toán xử lý ảnh việc trích chọn đặc trưng việc sử dụng viền sử dụng thêm số đặc trưng để nhận dạng gân Có thể mở rộng toán không nhận dạng ảnh mà sử dụng để nhận dạng loại sâu bệnh 56 TÀI LIỆU THAM KHẢO Tiếng việt 57 [1] Bùi Hoàng Khánh, Lê Duy Hưng, Hoàng Mạnh Khơi: “ Báo cáo mạng rron ứng dụng” [2] Lại Khắc Lãi: “ Giáo trình mạng nơron “ [3] Phạm Thị Hoàng Nhung, Hà Quabng Thuy (2007) nghiên cứu “ Sử dụng mạng rron nhân tạo dự báo” [4] Nguyễn Đình Phúc, Hoàng Đức Hải: “ Trí tuệ nhân tạo – Mạng rron, phương pháp ứng dụng” [5] Nguyễn Trường Tân (2010): “ Ứng dụng mạng rron để phân loại khuôn mặt” luận văn thạc sỹ - Đại học Đà Nẵng [6] Lê Văn Hoàng Vũ (2011): “ Mạng nơron nhận dạng ảnh vân tay” luận văn thạc sĩ, Đại học Đà Nẵng Tiếng anh [7] Genevieve Orr, Nici Schraudolph and Fred Cummins [8] Christos Stergiou and Dimitrios Siganos Neural Networks [9] Nikola K Kasabov Foundations of Neural Networks, Fuzzy Systems, and Knowledge Engineering Massachusetts Institute of Technology [10] Somloj, lantosb, Pham Thương Cat- Advance – robot control akademai 58 [...]... toán lan truyền ngược dựa trên kỹ thuật giảm nhanh nhất Thuật toán lan truyền ngược cập nhật các tham số của mạng bằng cách cộng thêm vào một lượng thay đổi là: Khi áp dụng mạng nơron lan truyền ngược có sử dụng bước đà, phương trình trên thay đổi như sau: Người ta đã chứng tỏ rằng khi sử dụng tham số bước đà thì hệ số học có thể lớn hơn rất nhiều so với mạng nơron lan truyền ngược chuẩn không sử dụng. .. sau các lần huấn luyện 2.2.2 Một số biến thể của mạng nơron lan truyền ngược Ta đã xem xét một số đặc điểm của thuật toán lan truyền ngược sử dụng kỹ thuật giảm theo hướng Mạng sử dụng thuật toán này tồn tại nhược điểm: rơi vào điểm cực tiểu địa phương đối với mạng nơron truyền thẳng nhiều lớp sử dụng các hàm chuyển phi tuyến Hơn nữa, khi thực hiện luyện mạng bằng cách đưa từng mẫu vào, sau đó thực hiện... ta cần phải lan truyền ngược độ nhậy cảm từ các lớp sau về các lớp trước như đã nêu trên Bây giờ ta cần biết điểm bắt đầu lan truyền ngược, xét độ nhậy cảm sM tại lớp cuối cùng: Bởi vì: nên ta có thể viết: Ở dạng ma trận sẽ là: 2.2.1.1 Sử dụng thuật toán lan truyền ngược Trên đây là thuật toán lan truyền ngược cơ bản, sau đây ta sẽ bàn về các khía cạnh ứng dụng của thuật toán lan truyền ngược như chọn... đứng không vững, tim đập yếu, khó thở, đồng tử giãn và chết nhanh 2.2 Mạng nơron lan truyền ngược trong hệ thống nhận dạng lá ngón 2.2.1 Lan truyền ngược độ nhậy cảm Bây giờ ta cần tính nốt ma trận độ nhậy cảm s m Để thực hiện điều này chỉ cần sử dụng một áp dụng khác của luật xích Quá trình này cho ta khái niệm về sự lan truyền ngược bởi vì nó mô tả mối quan hệ hồi quy trong đó độ nhậy cảm sm được... khó khăn do cây lá ngón giống một số cây khác như cây chè vằng 2 Nhận diện về mặt độc tính hóa học cũng gây ra nhiều khó khăn vì độc tính của loại cây này giống độc tính của một số cây địa phương khác Một khó khăn thách thức nữa khi nhận dạng lá ngón bằng mạng nơron lan truyền ngược là: khi dùng mạng nơron chưa có phương pháp luận chung khi thiết kế cấu trúc mạng cho các bài toán nhận dạng mà phải cần... độc phải lập tức áp dụng kinh nghiệm dân gian như giã thật nhiều cây rau má hoặc rau muống, vắt lấy nước cốt uống để làm giảm độc tính của lá ngón, sau đó đưa đến bệnh viện cấp cứu Hình 1.2 Cây lá ngón 1.2.2 Đặt bài toán Để nhận dạng lá ngón bằng nơron lan truyền ngược trước hết ta phải phân biệt được đặc điểm thực vật học và thành phần hóa học của cây lá ngón từ mạng đó sẽ áp dụng các phương pháp...Chương 1: KHÁI QUÁT VỀ NHẬN DẠNG MẪU VÀ BÀI TOÁN NHẬN DẠNG LÁ NGÓN 1.1 Khái quát về nhận dạng mẫu 1.1.1 Khái niệm nhận dạng mẫu 1.1.1.1 Mẫu là gì? Mẫu (pattern) có thể phân thành 2 loại: mẫu trừu tượng và mẫu cụ thể Các ý tưởng, lập luận và khái niệm… là những ví dụ về mẫu trừu tượng, nhận dạng các mẫu như vậy thuộc về lĩnh vực nhận dạng khái niệm Các mẫu cụ thể bao gồm các đối... mọc trong cùng một bụi với lá ngón Chỉ cần nhầm lẫn bứt vài lá ngón cho vào gói lá thuốc cũng đủ dẫn đến chết người bởi lá ngón cực độc Theo nhóm tác giả thuộc Khoa Sinh, Đại học Đà Lạt, “9 phút sau khi uống 3 giọt dung dịch (10g lá ngón tươi/10ml nước cất), chuột đã lăn ra chết” Với con người, chỉ cần ăn 3 lá ngón hoặc 1 lá ngón với một chút rượu sẽ bị thiệt mạng Không chỉ lá mà tất cả các bộ phận rễ,... lại hiệu quả tốt Nhận dạng lá ngón dùng PCA kết hợp với mạng nơron là phương pháp mang lại hiệu quả nhận dạng cao bởi nó phát huy được ưu điểm của PCA và mạng nơron 1.2.3 Các khó khăn trong giải quyết bài toán Dựa vào đặc điểm nhận dạng cũng như các thành phần độc tính hóa học trong cây lá ngón đôi khi thực nghiệm sẽ gây ra nhiều khó khăn bất cập trong việc xử lý vật phẩm như: 1 Nhận diện về mặt thực... Nhận dạng alcaloid phân lập được Có hai phương pháp nhận dạng phổ biến hiện nay là nhận dạng dựa trên đặc trưng của các phần tử trên bề mặt lá ngón như biến đổi Gabor Wavelet và mạng Neural, SVM,… và nhận dạng dựa trên xét tổng thể toàn bộ cây lá ngón như phương pháp PCA, LDA, LFA Trong đó, PCA là phương pháp trích rút đặc trưng nhằm giảm số chiều của ảnh tuy đơn giản nhưng lại mang lại hiệu quả tốt Nhận ... 3.4 Mạng nơron hệ thống nhận dạng Mô hình mạng nơron toán Hình 3.5 Mô hình Nơron toán nhận dạng mẫu 37 Mạng nơron toán sử dụng thuật toán lan truyền ngược nói Hình 3.5 mô tả ý tưởng mạng nơron. .. mạng nơron lan truyền ngược Tìm hiểu tổng quan lý thuyết xử lý ảnh Cài đặt toán nhận dạng mẫu mạng nơron lan truyền ngược Phạm vi nghiên cứu Lý thuyết xử lý ảnh nhận dạng mẫu mạng nơron lan truyền. .. Trong luận văn này, tìm hiểu phần lý thuyết nhận dạng mẫu xử lý ảnh sâu vào việc nhận dạng Ngón sử dụng mạng nơron lan truyền ngược Nội dung nghiên cứu Giới thiệu phương pháp chung nhận dạng mẫu mạng