1 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNGLỜI NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG CAM ĐOAN Sau trình học tập Trƣờng Đại học công nghệ thông tin & truyền thông, với kiến thức lý thuyết thực hành tích lũy đƣợc, với việc vận dụng kiến thức vào thực tế, em tự nghiên cứu tài liệu, công trình nghiên cứu, đồng thời có phân tích, VŨ tổng hợp, đúc kết phát triển để hoàn thành TRẦN MINH luận văn thạc sĩ Em xin cam đoan luận văn công trình thân em tự tìm hiểu, nghiên cứu hoàn thành dƣới hƣớng dẫn thầy giáo TS Vũ Vinh Quang THUẬT TOÁN DI TRUYỀN VÀtháng MỘT SỐ Thái Nguyên, năm 2012 Sinh viên ỨNG DỤNG VỚI LỚP CÁC BÀI TOÁN NP LUẬN VĂN THẠC SỸ CÔNG NGHỆ TrầnTHÔNG Vũ Minh TIN Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 60.48.01 Ngƣời hƣớng dẫn khoa học: TS Vũ Vinh Quang Thái Nguyên - 2012 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI CẢM ƠN Trong thời gian hai năm chƣơng trình đào tạo thạc sỹ, gần nửa thời gian dành cho môn học, thời gian lại dành cho việc lựa chọn đề tài, giáo viên hƣớng dẫn, tập trung vào nghiên cứu, viết, chỉnh sửa hoàn thiện đề tài Với quỹ thời gian nhƣ với vị trí công việc phải đảm nhận, không riêng thân em mà hầu hết sinh viên cao học muốn hoàn thành tốt luận văn trƣớc hết phải có xếp thời gian hợp lý, có tập trung học tập nghiên cứu với tinh thần nghiêm túc, nỗ lực hết mình; tiếp đến cần có ủng hộ tinh thần, giúp đỡ chuyên môn điều kiện thiếu định đến việc thành công đề tài Để hoàn thành đƣợc đề tài trƣớc tiên em xin gửi lời cảm ơn đến thầy giáo hƣớng dẫn TS Vũ Vinh Quang, ngƣời có định hƣớng cho em nội dung hƣớng phát triển đề tài, ngƣời có đóng góp quý báu cho em vấn đề chuyên môn đề tài, giúp em tháo gỡ kịp thời vƣớng mắc trình làm luận văn Em xin cám ơn thầy cô giáo Trƣờng Đại học Công nghệ thông tin Truyền thông nhƣ bạn bè lớp có ý kiến đóng góp bổ sung cho đề tài luận văn em Xin cảm ơn gia đình, ngƣời thân nhƣ đồng nghiệp quan tâm, ủng hộ hỗ trợ mặt tinh thần suốt thời gian từ nhận đề tài đến hoàn thiện đề tài Em xin hứa cố gắng nữa, tự trau dồi thân, tích cực nâng cao lực chuyên môn để sau hoàn thành đề tài có hƣớng tập trung nghiên cứu sâu hơn, không ngừng hoàn thiện đề tài để có ứng dụng thực tiễn cao thực tế Thái Nguyên, tháng năm 2012 Sinh viên Trần Vũ Minh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỤC LỤC Lời cam đoan .i Lời cảm ơn ii Mục lục iii Danh mục ký hiệu, chữ viết tắt vi Danh mục bảng vii Danh mục hình viii LỜI MỞ ĐẦU .1 CHƢƠNG GIẢI THUẬT DI TRUYỀN .3 1.1 Giới thiệu GA 1.2 Các khái niệm 1.2.1 Cá thể, nhiễm sắc thể 1.2.2 Quần thể 1.2.3 Chọn lọc (Selection) .4 1.2.4 Lai ghép (Cross-over) 1.2.5 Đột biến (Mutation) .5 1.3 Mô hình GA 1.4 Các tham số GA 1.4.1 Kích thƣớc quần thể .7 1.4.2 Xác suất lai ghép 1.4.3 Xác suất đột biến 1.5 Cơ chế thực GA .8 1.5.1 Mã hóa 1.5.2 Khởi tạo quần thể ban đầu 1.5.3 Xác định hàm thích nghi 1.5.4 Cơ chế lựa chọn .10 1.5.5 Các toán tử di truyền 11 1.6 Thuật toán di truyền kinh điển 13 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1.6.1 Mã hóa 13 1.6.2 Toán tử chọn lọc 13 1.6.3 Toán tử lai ghép 14 1.6.4 Toán tử đột biến 16 1.6.5 Thuật toán di truyền mã hóa số thực (RCGA) .18 CHƢƠNG 25 CƠ SỞ TOÁN HỌC CỦA GIẢI THUẬT DI TRUYỀN 25 2.1 Định lý sơ đồ Holland 25 2.1.1 Một số khái niệm 25 2.1.2 Định lý sơ đồ (Holland 1975) 26 2.2 Mô hình Markov GA 27 2.2.1 Tính Markov 28 2.2.2 Xích Markov GA 29 2.2.3 Sự hội tụ thuật toán di truyền 29 CHƢƠNG 32 GIẢI THUẬT DI TRUYỀN ĐỐI VỚI MỘT SỐ BÀI TOÁN THUỘC LỚP NP 3.1 Khái niệm lớp toán NP 32 3.2 Thuật toán di truyền với toán TSP .33 3.2.1 Giới thiệu toán 33 3.2.2 Mô tả toán 34 3.2.3 Giải thuật GA toán TSP .36 3.3 Thuật toán GA giải toán TSP 39 3.3.1 Biểu diễn NST 39 3.3.2 Khởi tạo quần thể ban đầu 39 3.3.3 Chọn hàm thích nghi 39 3.3.4 Các toán tử di truyền 39 3.3.5 Toán tử đột biến .39 3.4 Thuật toán di truyền với toán tách từ văn 48 3.4.1 Một số thuật toán tách từ tiếng Việt .50 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3.4.2 Công cụ tách từ dùng GA 52 3.4.3 Công cụ Opensource tách từ tiếng việt 59 KẾT LUẬN .67 TÀI LIỆU THAM KHẢO 68 NHẬN XÉT CỦA GIÁO VIÊN HƢỚNG DẪN 69 NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN 70 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT GA – Genetic Algorithm: giải thuật di truyền TSP - Travelling Salesman Problems: toán ngƣời du lịch EC - Evolutionary computation: tính toán tiến hóa EP - Evolutionary Programming: quy hoạch tiến hóa ES - Evolutionary Strategies: chiến lƣợc tiến hóa GP - Genetic Programming: lập trình di truyền CS - Classifier Systems: hệ thống phân loại NST – nhiễm sắc thể Selection: chọn lọc Cross-over: lai ghép Mutation: đột biến Reproduction: sinh sản pop-size: kích cỡ quần thể RCGA: thuật toán di truyền mã hóa số thực BLX-α - Blend Crossover: lai ghép BLX-α CMX - Center of Mass Crossover: lai ghép CMX NP-hard: toán NP khó NP-complete: toán NP đầy đủ WFST - Weighted finit-state Transducer: mô hình mạng chuyển dịch trạng thái hữu hạn có trọng số IGATEC - Internet and Genetics Algorithm-based Text Categorization for Documents in Vietnamese: Phƣơng pháp tách từ tiếng Việt dựa thống kê từ Internet thuật toán di truyền df - document frequency: tần số tài liệu fitness: độ thích nghi Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn DANH MỤC CÁC BẢNG Bảng 1: Các tham số điều khiển hoạt động thuật giải di truyền Bảng Thống kê độ dài từ từ điển Bảng Tham số thực GA Bảng Gói vn.hus.mim, tokenizer gói Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn DANH MỤC CÁC HÌNH Hình 1: Sơ đồ mô tả GA Hình 2: Lai ghép CMX Hình 3: Phân bố xjci Hình 4: Toán tử lai ghép SX Hình 5: Sự phân lớp toán Hình 6: Giao diện chương trình TSP Hình 7: Giao diện nhập liệu chương trình TSP Hình 8: Giao diện kết chương trình TSP Hình Biểu diễn cá thể bit 0,1 Hình 10 Thang tỉ lệ phát sinh loại từ Hình 11 Quá trình lai ghép Hình 12 Quá trình đột biến Hình 13 Quá trình sinh sản Hình 14 Quá trình chọn cá thể Hình 15 Giao diện vnToolkit 3.0.0 Hình 16 Kết tách từ Hình 17 Kết thống kê từ Hình 18 Kết gỡ rối tách từ Hình 19 Kết tách câu Hình 20 Kết gán nhãn Hình 21 Bộ dán nhãn sử dụng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI MỞ ĐẦU Hiện ngành khoa học máy tính, việc tìm kiếm lời giải tối ƣu cho toán vấn đề đƣợc nhà khoa học đặc biệt quan tâm Mục đích thuật toán tìm kiếm lời giải tìm lời giải tối ƣu cho toán thời gian nhỏ Các thuật toán nhƣ tìm kiếm thông tin, vét cạn (tìm kiếm danh sách, đồ thị ) thuật toán tìm kiếm có thông tin đƣợc sử dụng nhiều không gian tìm kiếm nhỏ Đối với không gian tìm kiếm lớn, việc tìm kiếm lời giải tối ƣu cho toán gặp nhiều khó khăn Do đó, cần thiết phải có thuật giải tốt sử dụng kỹ thuật trí tuệ nhân tạo giải toán có không gian tìm kiếm lớn Thuật giải di truyền (Genetic Algorithm GA) kỹ thuật tìm kiếm lời giải tối ƣu đáp ứng đƣợc yêu cầu nhiều toán ứng dụng Cùng với logic mờ, GA đƣợc ứng dụng rộng rãi lĩnh vực phức tạp Sự kết hợp GA logic mờ chứng tỏ đƣợc hiệu vấn đề khó mà trƣớc thƣờng đƣợc giải phƣơng pháp thông thƣờng hay phƣơng pháp cổ điển, toán cần có lƣợng giá, đánh giá tối ƣu kết thu đƣợc Chính vậy, GA trở thành đề tài nghiên cứu thu hút đƣợc nhiều quan tâm và đem đến nhiều ứng dụng thực tiễn Xuất phát từ thuyết tiến hóa muôn loài Darwin, GA kỹ thuật chung giúp giải vấn đề toán cách mô tiến hóa ngƣời hay sinh vật nói chung điều kiện đƣợc qui định sẵn môi trƣờng GA thuật giải mục tiêu GA không nhằm đƣa lời giải xác tối ƣu mà đƣa lời giải tƣơng đối tối ƣu John Holland (1975) Goldberg (1989) đề xuất phát triển GA, thuật giải tìm kiếm dựa chế chọn lọc di truyền tự nhiên Thuật giải sử dụng nguyên lý di truyền thích nghi sống cá thể thích nghi tự nhiên Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 10 Ngày nay, GA đƣợc ứng dụng nhiều lĩnh vực nhƣ khoa học, kinh doanh giải trí Đầu tiên phải kể đến toán tối ƣu bao gồm: tối ƣu số tối ƣu tổ hợp; sử dụng GA để tìm lời giải nhƣ toán ngƣời du lịch (Travelling Salesman Problems - TSP) Một ứng dụng khác đƣợc ứng dụng rộng rãi GA giải vấn đề bùng nổ lƣợng thông tin mạng internet bao gồm: thƣ viện điện tử, thông tin điện tử dẫn đến phát sinh số lƣợng lớn văn với tốc độ tăng chóng mặt Vấn đề để tổ chức tìm kiếm lƣợng thông tin lớn nhƣ cách có hiệu quả? GA đƣợc ứng dụng hiệu việc phân loại thông tin phục vụ cho việc tìm kiếm văn Với lý trên, em chọn đề tài: “Thuật toán di truyền số ứng dụng với lớp toán NP” làm luận văn tốt nghiệp Nội dung luận văn gồm chƣơng: Chương trình bày khái niệm bản, mô hình, tham số bản, phép toán, chế thực tổng quát thuật toán di truyền, thuật toán di truyền mã hóa số thực Chương trình bày sở toán học hội tụ thuật toán di tuyền thông qua mô hình Markov định lý sơ đồ Holland Chương trình bày hai nội dung chính: + Giới thiệu toán ngƣời du lịch (Travelling Salesman Problems – TSP) toán thuộc lớp NP phƣơng pháp giải toán thuật toán di truyền + Giới thiệu toán tách từ văn bản, ứng dụng GA toán tách từ văn thông qua công cụ tách từ dùng thuật giải di truyền vnToolkit 3.0 Các kết lý thuyết toán TSP toán tách từ văn đƣợc kiểm nghiệm thông qua chƣơng trình thực nghiệm viết ngôn ngữ C# Java Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read ... hội tụ thuật toán di truyền 29 CHƢƠNG 32 GIẢI THUẬT DI TRUYỀN ĐỐI VỚI MỘT SỐ BÀI TOÁN THUỘC LỚP NP 3.1 Khái niệm lớp toán NP 32 3.2 Thuật toán di truyền với toán TSP... 3.3.4 Các toán tử di truyền 39 3.3.5 Toán tử đột biến .39 3.4 Thuật toán di truyền với toán tách từ văn 48 3.4.1 Một số thuật toán tách từ tiếng Việt .50 Số hóa... tin lớn nhƣ cách có hiệu quả? GA đƣợc ứng dụng hiệu việc phân loại thông tin phục vụ cho việc tìm kiếm văn Với lý trên, em chọn đề tài: Thuật toán di truyền số ứng dụng với lớp toán NP làm luận