MỤC LỤC MỤC LỤC DANH MỤC CÁC BẢNG 11 DANH MỤC CÁC HÌNH 12 MỞ ĐẦU Mục tiêu nhiệm vụ Đối tượng phạm vi nghiên cứu .3 Phương pháp nghiên cứu .3 Ý nghĩa khoa học thực tiễn đề tài .3 Bố cục luận văn .3 CHƯƠNG CƠ SỞ LÝ THUYẾT 1.1 GIỚI THIỆU VỀ KHAI PHÁ TRI THỨC .5 1.2 ĐỊNH NGHĨA KHAI PHÁ TRI THỨC 1.3 CÁC GIAI ĐOẠN QUÁ TRÌNH KHAI PHÁ TRI THỨC 1.7.1 Khái niệm mạng Nơ-ron 17 1.7.4 Giải pháp kỹ thuật mạng Nơ-ron 19 1.8 Q TRÌNH TÍNH TỐN CỦA MẠNG NƠ-RON .19 1.8.3 Sự chuẩn bị học liệu 22 1.9 MỢT SỚ TḤT TỐN ÁP DỤNG TRONG VIỆC HỌC CỦA MẠNG NƠ-RON .27 1.10 SỰ KẾT HỢP CỦA CÁC KỸ THUẬT .47 Kết luận chương 48 Bảng 2.1 Một số tiêu hoạt động VCB Quảng Bình 51 Bảng 2.2 Một số hoạt động tín dụng năm 2010 – 2011 - 2012 52 Bảng 2.3 Kết thị phần hoạt động cho vay tỉnh Quảng Bình .52 Hình 2.1 khai báo mã vay 56 Hình 2.3 khai báo số hợp đồng vay 57 Hình 2.4 khai báo số tiền vay phải trả .58 Hình 2.5 Màn hình hạch tốn tiền vay cho khách hàng 58 2.5 SỰ CẦN THIẾT PHẢI SỬ DỤNG KỸ THUẬT MẠNG NƠ -RON 59 Kết luận chương 61 CHƯƠNG 62 xây dỰng hỆ thỐng trỢ giúp THẨM ĐỊNH VAY VỐN tẠi NGÂN HÀNG 62 3.1 CHỌN MÔI TRƯỜNG CÔNG CỤ .64 3.2 TẠO DỮ LIỆU MẪU CHO ỨNG DỤNG .64 Bảng 3.1: Tập dữ liệu đầu vào (300 ghi) 67 Bảng 3.2: Tập dữ liệu Huấn luyện (180 ghi) 68 Bảng 3.3: Tập dữ liệu Kiểm thử (55 ghi) 68 Bảng 3.4: Tập dữ liệu kết 68 3.3 CÀI ĐẶT THUẬT TOÁN 69 3.4 HUẤN LUYỆN, KIỂM THỬ VÀ KẾT QUẢ .74 Bảng 3.5: Tập dữ liệu kết 74 3.5 ĐÁNH GIÁ VỀ GIẢI PHÁP 75 Kết luận chương 75 TÀI LIỆU THAM KHẢO 78 DANH MỤC CÁC TỪ VIẾT TẮT CHỮ VIẾT TẮT GỐC TIẾNG ANH DỊCH RA TIẾNG VIỆT Giao diện chương trình ứng API Application Program Interface SQL Structure Query Language Ngôn ngữ hỏi cấu trúc DM Data Mining Khai mỏ liệu dụng BI Business Intelligent RBF Radial Basic Funtion Hàm SVL Support Vector Learning Hỗ trợ học véc tơ ERM Empirical Risk Minimization Cực tiểu hoá thực nghiệm SRM Structural Risk Minimization Cực tiểu hoá cấu trúc PL Perceptron Learning Học có tri thức MP Multilayer Perceptron Tri thức đa lớp BA Backpropagation algorithm Thuật toán Lan truyền ngược DANH MỤC CÁC BẢNG Bảng 2.1 Một số tiêu hoạt động VCB Quảng Bình 51 Bảng 2.2 Một số hoạt động tín dụng năm 2010 – 2011 - 2012 52 Bảng 2.3 Kết thị phần hoạt động cho vay tỉnh Quảng Bình .52 Bảng 3.1: Tập dữ liệu đầu vào (300 ghi) 67 Bảng 3.2: Tập dữ liệu Huấn luyện (180 ghi) 68 Bảng 3.3: Tập dữ liệu Kiểm thử (55 ghi) 68 Bảng 3.4: Tập dữ liệu kết 68 Bảng 3.5: Tập dữ liệu kết 74 DANH MỤC CÁC HÌNH Hình 1.5 Mơ hình mạng Nơ-ron lớp .33 với lớp vào X = Rn = R2, lớp ẩn Rr = R3 lớp Y = Rm = R1 Ở đây, không xem lớp vào lớp tính tốn 33 Hình 1.6: Kết hợp kỹ thuật để đưa giải pháp mới 48 MỞ ĐẦU Giới thiệu lý chọn đề tài Sự phát triển công nghệ thông tin đã mang lại cho nhân loại nhiều tiện lợi giúp giải quyết công việc tưởng chừng người giải quyết Trong đó, khai phá tri thức sở liệu xu hướng quan trọng Công nghệ thông tin thế giới Nó có khả ứng dụng vào nhiều lớp toán thực tế khác Bước quan trình khai phá tri thức từ liệu, giúp người thu tri thức hữu ích từ sở liệu nguồn liệu khổng lồ khác Một số ngân hàng thương mại, doanh nghiệp tổ chức thế giới đã ứng dụng kỹ thuật khai phá tri thức từ liệu vào hoạt động tín dụng để phát triển sản xuất kinh doanh, đã thu lợi ích to lớn Hiện nay, việc ứng dụng công nghệ thông tin nhiều lĩnh vực đời sống, kinh tế xã hội nhiều năm qua đồng nghĩa với lượng liệu đã quan, tổ chức tín dụng thu thập lưu trữ ngày tích luỹ nhiều lên Người ta lưu trữ liệu cho nó ẩn chứa giá trị định đó Tuy nhiên, theo thống kê có lượng nhỏ liệu (khoảng từ 20% đến 25%) ln phân tích, số lại người ta khơng biết phải làm có thể làm với chúng phải tiếp tục thu thập tốn với ý nghĩ lo sợ có đó quan trọng đã bị bỏ qua sau có lúc cần đến nó Mặt khác, môi trường cạnh tranh khốc liệt xuất nhiều nhiều ngân hàng thương mại kinh tế có chuyển biến xấu đầy phức tạp, nhân viên ngân hàng ngày cần có nhiều thông tin với tốc độ nhanh để trợ giúp việc quyết định ngày có nhiều câu hỏi mang tính chất định tính cần phải trả lời dựa khối lượng liệu khổng lồ đã có Việc ứng dụng công nghệ thông tin ngân hàng cần thiết, đặc biệt ứng dụng khai phá tri thức từ liệu Đem lại hiệu cao công việc công tác điều hành quản lý quyết định Xuất phát từ thực tế nhu cầu nắm bắt, trang bị hạ tầng công nghệ thông tin quan, tổ chức để đại hố cơng việc, giúp giải quyết nhanh chóng, nâng cao hiệu dự báo xác cơng việc lĩnh vực kinh doanh, thương mại điện tử vấn đề trợ giúp thẩm định vay vốn ngân hàng Từ lý đó, chọn đề tài: ỨNG DỤNG KHAI PHÁ TRI THỨC XÂY DỰNG HỆ THỐNG TRỢ GIÚP THẨM ĐỊNH VAY VỚN TẠI NGÂN HÀNG VIETCOMBANK QUẢNG BÌNH để nghiên cứu làm luận văn tốt nghiệp cao học ngành Khoa học máy tính Trong đó, tập trung vào nghiên cứu kỹ thuật mạng Nơ-ron, áp dụng việc khai phá tri thức từ liệu để giải quyết toán Mục tiêu nhiệm vụ Mục tiêu đề tài tìm hiểu khai phá tri thức lĩnh vực hoạt động thẩm định vay vốn ngân hàng, đặc biệt vấn đề quyết định hoạt động thẩm định tín dụng đạt kết Nhiệm vụ nghiên cứu (1) Thu thập phân tích liệu tri trức tình hình khách hàng thẩm định (2) Tìm hiểu toán thực tế: Thẩm định hoạt động vay vốn ngân hàng (3) Tìm hiểu tổng tổng quan kỷ thuật khai phá tri thức (4) Tìm hiểu sở lý thuyết khai phá luật kết hợp, kỷ tḥt mạng Nơ-ron (5) Xây dựng mơ hình phân tích thiết kế hệ thống trợ giúp dự báo thẩm định vay vốn ngân hàng Đối tượng phạm vi nghiên cứu Đối tượng chủ yếu để nghiên cứu luật kết hợp kỹ thuật mạng Nơ-ron, thuật toán học mạng Nơ-ron, đặc biệt thuật toán lan truyền ngược (Back propagation algorithm) Bên cạnh đó, tơi tìm hiểu chiến lược, hoạt động kinh doanh ngành ngân hàng thực tế Từ đó, phục vụ cho việc xem xét tính tốn độ rủi ro việc phê duyệt đơn vay tín dụng ngân hàng đến quyết định có cho vay đối với đơn vay đó từ chối cho vay Ngoài ra, cần phải nắm kỹ thuật lập trình Window Phương pháp nghiên cứu Thu thập, phân tích tài liệu thông tin liên quan đến đề tài Xem xét, lựa chọn phương hướng giải quyết vấn đề Xây dựng mơ hình theo lý thút Triển khai xây dựng chương trình ứng dụng máy tính Kiểm tra, thử nghiệm đánh giá kết Ý nghĩa khoa học thực tiễn đề tài Ý nghĩa khoa học đề tài nghiên cứu phát triển mơ hình khai phá liệu nhằm dự báo độ rủi ro việc phê duyệt đơn vay tín dụng ngân hàng, dựa kỹ thuật mạng Nơ-ron Việc dự báo kết hỗ trợ, trợ giúp cho nhà quản lý việc quyết định tối ưu Bố cục luận văn Luận văn bao gồm phần sau: Mở đầu Chương 1: Nêu tổng quan khai phá tri thức từ liệu Chương tập trung trình bày khái quát khai phá tri thức, kỹ thuật mạng Nơ-ron khai phá liệu, thuật toán mạng Nơ-ron kết hợp kỹ thuật để khai phá liệu nhằm phát tri thức từ sở liệu đặc biệt phương pháp khai phá tri thức lĩnh vực ứng dụng Chương 2: Phân tích tốn Giới thiệu toán, nêu lên toán cụ thể xây dựng mơ hình tổng qt cho tốn, giải pháp giải quyết toán Chương 3: Xây dựng hệ thống trợ giúp thẩm định vay vốn ngân hàng Tạo liệu mẫu liệu đầu vào, liệu tập huấn luyện, tập kiểm thử, vận hành mạng cho kết thử nghiệm Trên sở đó đưa đánh giá giải pháp đề tài việc ứng dụng thực tiễn vấn đề có so sánh với giải pháp khác Kết luận đề tài mặt làm được, khả ứng dụng, ưu nhược điểm hướng phát triển tương lai CHƯƠNG CƠ SỞ LÝ THUYẾT 1.1 GIỚI THIỆU VỀ KHAI PHÁ TRI THỨC Phát tri thức khái niệm đời vào năm cuối thập kỷ 80 đã trở thành lĩnh vực nguyên cứu rộng rãi toàn cầu Sự đời phát tri thức kết hợp kết nguyên cứu nhiều ngành khoa học khác lại với như: Quản trị sở liệu, học máy, thống kê … 1.2 ĐỊNH NGHĨA KHAI PHÁ TRI THỨC Khai phá tri thức (Khai phá tri thức-Knowledge Discovery in Databases) sở liệu trình phát tri thức tiềm ẩn, khơng biết trước, có ích trong sở liệu Thực chất đó q trình tìm kiếm thơng tin có sở liệu bị che giấu khối liệu Tri thức ở có thể hiểu biểu thức ngôn ngữ đó diễn tả nhiều mối quan hệ thuộc tính liệu đó Các ngôn ngữ thường dùng để diễn tả tri thức việc biểu diễn tri thức trình phát tri thức từ sở dư liệu khung (frames), đồ thị, luật, công thức logic mệnh đề logic tân từ cấp Việc khai phá tri thức thường áp dụng để giải quyết loạt yều cầu phục vụ mục đích định Do vậy nên q trình phát tri thức mang tính chất hướng nhiệm vụ, phát tri thức mà phát tri thức phục vụ tốt nhiệm vụ đề Vì vậy, trình phát tri thức hoạt động tương tác người sử dụng chuyên gia phân tích với công cụ tin học 67 Bảng 3.1: Tập liệu đầu vào (300 ghi) Tinh Tgian HonNhan NgheNghiep LViec Tuoi TK TrangTK Han 27,17 LapGD Cong nhan LD 25,92 LapGD thong LD 58,67 LapGD thong Khong Co Cong nhan LD 36,5 LapGD 30,58 Docthan thong LD 39,58 LapGD thong 17,67 Docthan Cong nhan LD 16,5 LapGD 52,42 LapGD 20 LapGD …… …… thong Cong nhan LD thong ……… Dung SoHuu Khong Co Nha TinhTrang TinhTrang TC TC RuiRoTD NhaThue 92 300 Cao NhaRieng 174 Cao 11 NhaThue 0 Cao Khong Co NhaThue 17 Cao 0,125 Khong Khong NhaRieng 80 Cao 0,04 Khong Khong NhaRieng 160 40 Cao Khong Khong NhaThue 86 Cao 0,165 Khong Khong NhaThue 132 Cao Khong Co NhaThue 96 19 Cao NhaThue 0 Cao 0,375 Khong Co 0,5 Khong Khong 68 Bảng 3.2: Tập liệu Huấn luyện (180 ghi) Row Target Output KQ Kha nang TRN Thap Thap OK 0,843217 TRN Cao Cao OK 0,896477 TRN Cao Cao OK 0,945922 TRN Cao Cao OK 0,962313 TRN 11 Cao Cao OK 0,957753 TRN 12 Cao Cao OK 0,904797 TRN 13 Cao Cao OK 0,941682 TRN 20 Cao Cao OK 0,954777 TRN 21 Cao Cao OK 0,953853 Bảng 3.3: Tập liệu Kiểm thử (55 ghi) Row Target Output KQ Kha nang TST 28 Cao Cao OK 0,771011 TST 35 Cao Cao OK 0,93936 TST 37 Cao Cao OK 0,926171 TST 48 Thap Thap OK 0,554932 TST 51 Thap Cao Wrong 0,925529 TST 60 Thap Thap OK 0,898062 TST 71 Thap Thap OK 0,850724 TST 74 Thap Thap OK 0,542566 TST 91 Thap Thap OK 0,668325 Bảng 3.4: Tập liệu kết 69 Row Target Output KQ Kha nang VLD 10 Cao Cao OK 0,942945 VLD 55 Thap Thap OK 0,862145 VLD Cao Cao OK 0,913677 VLD 15 Cao Cao OK 0,945331 VLD 27 Cao Cao OK 0,871408 VLD 33 Cao Cao OK 0,940374 VLD 75 Thap Thap OK 0,840438 VLD 93 Thap Thap OK 0,571666 VLD 66 Thap Thap OK 0,881787 VLD 93 Thap Thap OK 0,571666 VLD 98 Thap Thap OK 0,711042 VLD 38 Cao Cao OK 0,941743 … … … … … … Chú thích: VLD: ghi huấn luyện qua mạng TRN: ghi thuộc tập mẫu huấn luyện TST: ghi thuộc tập mẫu kiểm thử Các ghi ở hoàn toàn có thể thay đổi tính chất từ TRN sang TST ghi liệu đầu vào Các giá trị ở có thể thay đổi tùy theo toán Số lượng mẫu tập huấn luyện kiểm thử có thể thay đổi lúc 3.3 CÀI ĐẶT THUẬT TOÁN Mục tiêu xác định độ rủi ro việc cho vay đơn vay tín dụng Việc xác định độ rủi ro dựa thông tin cung cấp kèm theo với đơn vay 70 Việc cho vay khoản tiền hay toàn số tiền đơn vay đó việc phân lớp ứng dụng mạng Nơ-ron Để giải quyết vấn đề này, mạng Nơ-ron huấn luyện để thực việc phân lớp cách xác đơn vay Sau mạng Nơ-ron đã huấn luyện, nó có thể sử dụng để hỗ trợ việc quyết định cho vay toàn phần hay từ chối đơn vay theo kết mà mạng Nơ-ron đã huấn luyện Dữ liệu lấy từ sở liệu chứa thông tin chọn lọc từ mẫu đơn vay vốn Trong ứng dụng này, thuật toán Lan truyền ngược (Backpropagation algorithm) sử dụng để cài đặt Đây thuật toán thuộc nhóm “học có thầy” kiến trúc tri thức đa lớp (Multilayer Perceptron) đã sử dụng thành công nhiều lĩnh vực khác Quá trình giải quyết toán tối ưu gọi lan truyền ngược, nó bao hàm việc tính tốn lỗi mạng Nơ-ron lan truyền ngược lỗi thông qua mạng để cập nhật lại trọng số Quá trình bao gồm bước sau: Thuật toán huấn luyện cho mẫu tập liệu huấn luyện Thuật toán huấn luyện cho tất mẫu tập liệu huấn luyện Tḥt tốn tính trọng số cho lớp Tḥt tốn tính trọng số cho lớp ẩn Thuật toán cập nhật trọng số Sau chi tiết bước: 3.3.1 Xử lý mẫu Thuật toán Lan truyền ngược (Trường hợp cho mẫu tập liệu huấn luyện) 71 Các trọng số {ws} khởi tạo ngẫu nhiên giới hạn nhỏ (kể số dương số âm) để đảm bảo chắc chắn mạng hoạt động không thiên hướng trọng số có giá trị lớn Chọn trường hợp t, véc tơ {xk(t)}, i = 1, ,Ninp} (một cặp mẫu đầu vào đầu ra) từ tập liệu huấn luyện Áp dụng véc tơ mạng đầu vào để làm đầu vào cho mạng Tính tốn véc tơ đầu mạng {zk(t)}, k = 1, ,Nout} Tính tốn lỗi cho đầu k, k=1, ,Nout, độ sai lệch giá trị đầu định trước giá trị đầu mạng Ek(t ) = ( f k(t ) − z k(t ) ) (để đơn giản, ta gọi E) Tính tốn giá trị cập nhật trọng số -ws theo hướng cực tiểu lỗi Đặt lại trọng số mạng theo giá trị -ws vừa tính tốn Lặp lại bước – cho trường hợp (các cặp véc tơ đầu vào – đầu ra) tập huấn luyện cho đến lỗi {lỗi E đề cập ở bước lỗi tập liệu tham số tiền định} toàn hệ thống hạ xuống thấp đến mức chấp nhận đạt đến giá trị tham số định trước cho mạng Thường việc cập nhật tức trọng số mạng cho trường hợp tập huấn luyện không hợp lý, việc thực sau đã có đầy đủ giá trị cập nhật trọng số mẫu huấn luyện (gọi epoch) Với cách làm này, độ hội tụ mạng nhanh (Smith 1993) Epoch ở có thể phận toàn tập huấn luyện Sau toàn tập liệu huấn luyện đã xử lý (trình tự bước gọi phép lặp), tồn q trình lặp lại phép lặp cho đến lỗi đạt mức thấp chấp nhận Số phép lặp có nhiều đến hàng vài ngàn lần Đây lý khiến cho việc học mạng kéo dài 72 Do vậy, trường hợp cập nhật trọng số sau toàn epoch đã xử lý, tḥt tốn lan truyền ngược áp dụng cho tồn mẫu tập liệu huấn luyện phần trình bày sau 3.3.2 Cài đặt tḥt tốn lan truyền ngược xử lý tập huấn luyện Thuật toán Lan truyền ngược (Trường hợp cho mẫu toàn tập liệu huấn luyện) - Giống trình bày phần 4.2.1 (instance-based) Thêm trọng số cập nhật vừa tính tốn {-ws} vào tham số trọng số tổng {ΔWs} Lặp lại bước – cho mẫu epoch Điều chỉnh trọng số {ws} mạng giá trị cập nhật {Ws} 10 Lặp lại bước – cho đến tất mẫu tập liệu huấn luyện xử lý Đây bước lặp 11 Lặp lại bước – 10 tập huấn luyện cho đến lỗi {lỗi E đề cập ở bước lỗi tập liệu tham số tiền định} toàn hệ thống hạ xuống thấp đến mức chấp nhận đạt đến giá trị tham số định trước cho mạng Vấn đề bây giờ việc tính tốn giá trị cập nhật trọng số {-ws} thế Kể từ việc huấn luyện vấn đề tối ưu tḥt tốn để giải qút vấn đề có thể đơn giản thuật toán phát triển cho vấn đề tối ưu phi tuyến theo ý tưởng hạ độ dốc (steepest descent, hay gọi gradient descent, hay hill climbing) Theo ý tưởng này, “các bước” 73 tạo không gian biến (trường hợp ở trọng số) theo hướng ngược với hướng độ dốc hàm cực tiểu (ở E): w (N+1) = w (N) – η ∇ E(w(N)) với w véc tơ biến độc lập {ws}, dấu (-) quyết định độ lớn bước mà ta thực hiện, N số bước lặp Điều có nghĩa việc thay đổi biến riêng lẻ sau: ws ( N + 1) = ws ( N ) − η ∂E ∂ws ws − ws ( N ) hay theo cách khác, bước cập nhật cho biến s là, ∆ws = − η ∂E ∂ws Widrow Hoff (1960) sử dụng cách tiếp cận (gọi luật Delta) để định trọng số tri thức phi tuyến đơn (single linear perceptron) Cách tiếp cận sử dụng tốt cho tri thức đa lớp 3.3.3 Cập nhật trọng số Lưu ý lỗi mạng Nơ-ron fk(t) – zk(t) kết hợp -k vậy lỗi lan truyền ngược lại toàn mạng sử dụng để cập nhật cho trọng số Phép đạo hàm mô tả cho trường hợp t Như mô tả thuật toán lan truyền ngược ở trên, trường hợp instance-based epoch-based, sau trọng số cập nhật, mẫu tiếp theo sử dụng để tính tốn đầu ra, tính tốn lỗi, tính tốn cập nhật trọng số Và sau đó, trọng số cập nhật cập nhật cho toàn epoch Quá trình huấn luyện kết thúc lỗi (hoặc lỗi bình phương tổng quát Etot lỗi tập giá trị bản) hạ đến mức đủ thấp, hay đạt tham số tiền định mạng 74 3.4 HUẤN LUYỆN, KIỂM THỬ VÀ KẾT QUẢ Dữ liệu cho tập huấn luyện kiểm thử đã trình bày bảng 4.1 Sau chạy thử cho chương trình huấn luyện mạng Kết ta có sau: Bảng 3.5: Tập liệu kết Row Target Output KQ Kha nang VLD 10 Cao Cao OK 0,942945 VLD 55 Thap Thap OK 0,862145 VLD Cao Cao OK 0,913677 VLD 15 Cao Cao OK 0,945331 VLD 27 Cao Cao OK 0,871408 VLD 33 Cao Cao OK 0,940374 VLD 75 Thap Thap OK 0,840438 VLD 93 Thap Thap OK 0,571666 VLD 66 Thap Thap OK 0,881787 VLD 93 Thap Thap OK 0,571666 VLD 98 Thap Thap OK 0,711042 VLD 38 Cao Cao OK 0,941743 … … … … … … Trong lần thử nghiệm này, ta có thông tin liệu sau: - Dữ liệu vào: 300 ghi - Dữ liệu tập mẫu huấn luyện: 180 ghi - Dữ liệu tập mẫu kiểm thử: 65 ghi - Dữ liệu huấn luyện: 55 ghi Kết huấn luyện mạng cho ở trường RuiRoTD Trường có hai khả rủi ro CAO hay THẤP 75 3.5 ĐÁNH GIÁ VỀ GIẢI PHÁP Như vậy, sở thuật toán lan truyền ngược, chúng tơi đề xuất cải tiến tḥt tốn cách sử dụng hàm logic hàm kernel nhằm đạt mục tiêu sau: Giảm thời gian học mạng Tăng tốc độ hội tụ mạng Mở rộng phạm vi áp dụng thuật toán cho hàm quyết định phi tuyến Tăng số lượng lớp ẩn lên > Với mục tiêu vậy, thuật toán lan truyền ngược cải tiến vận hành mà khơng đòi hỏi cấu hình phấn cứng cao, thời gian tiêu tốn cho việc học chấp nhận Trong ví dụ trên, thời gian việc học mạng < 30 giây Đây kết đáng khích lệ có triển vọng Hơn nữa, việc gia tăng số lượng lớp ẩn tăng độ tin cậy kết dự báo Tuy nhiên, giải pháp vấn đề chưa giải quyết Đó là: Chỉ áp dụng cho toán dự báo rủi ro phê duyệt đơn vay vốn tín dụng Cài đặt thuật toán lan truyền ngược cải tiến Chưa cài đặt thuật toán học khác mạng Nơ-ron Chưa xác định sử dụng lớp ẩn Kết luận chương Trong chương này, đã tìm hiểu bước cần thiết để xây dựng ứng dụng mạng Nơ-ron Theo đó, ta phải chọn kiến trúc mạng, thuật toán học phù hợp với yêu cầu toán Tiếp theo chọn số lớp ẩn mạng (điều phụ thuộc vào việc ta chọn thuật toán học nào) Bên cạnh đó, ta xác định hàm truyền cho mạng tham số cần thiết khác 76 Chương trình bày trình xây dựng ứng dụng Ứng dụng xây dựng sở cải tiến thuật toán lan truyền ngược nhằm rút ngắn thời gian học mạng, tăng tốc độ hội tụ mạng mở rộng phạm vi áp dụng cho hàm phi tuyến Bằng kỹ thuật lập trình Dot.net tảng Windows, chạy ở máy đơn, khai thác sở liệu quan hệ ở mức độ vừa phải hệ quản trị (Sql Server, Fpxpro) Mục tiêu ứng dụng nhằm thể nghiệm kiến thức đã tìm hiểu phần lý thuyết Qua đó xem xét khả mở rộng ứng dụng sau Ứng dụng đã thể cụ thể nguyên tắc lý thuyết để triển khai mạng Nơ-ron cho công việc cụ thể, đó tìm đơn vay tín dụng có thể cho vay khơng cho vay nhằm hỗ trợ lãnh đạo việc quyết định KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 77 Luận văn đã trình bày tổng quan nét đặc trưng lĩnh vực khai phá tri thức liệu bao gồm vấn đề cần khám phá tri thức, hướng tiếp cận nghiên cứu tiêu biểu Về mặt lý thuyết, khai phá tri thức bao gồm bước: Hình thành, xác định định nghĩa tốn; thu thập tiền xử lý liệu; khai phá liệu, rút tri thức luật; sử dụng tri thức phát nhằm trợ giúp cho việc quyết định xây dựng chiến lược kinh doanh Các kỹ thuật khai phá tri thức liệu sử dụng luận văn tham khảo từ nhiều nguồn tài liệu khác Tuy nhiên, chúng có nét tương đồng với nhau, thể ở việc kỹ thuật cần tập trọng số phù hợp * Kết nghiên cứu luận văn cho phép rút những kết luận sau đây: Việc ứng dụng kỹ thuật mạng Nơ-ron Khai phá liệu đã nâng cao hiệu mơ hình, giảm chi phí trao đổi hệ thống Các tḥt tốn mạng Nơ-ron có thể áp dụng cho nhiều lĩnh vực kinh tế, kỹ thuật, văn hoá khác nhau, tùy theo yêu cầu, mức độ lĩnh vực mà áp dụng thuật toán, phương pháp khác cho phù hợp Như vậy, giúp mang lại hiệu công việc cao Về mặt cài đặt thử nghiệm, luận văn giới thiệu kỹ thuật khai phá tri thức từ liệu theo thuật toán lan truyền ngược để áp dụng vào toán trợ giúp thẩm định vay vốn ngân hàng Trong trình thực luận văn, tơi đã cố gắng tập trung tìm hiểu tham khảo tài liệu liên quan Tuy nhiên, với thời gian trình độ có hạn nên khơng tránh khỏi hạn chế thiếu sót Tôi mong nhận xét góp ý thầy cô giáo bạn bè, đồng nghiệp người quan tâm để hoàn thiện kết nghiên cứu * Hướng phát triển: 78 - Nghiên cứu sâu thuật toán khai phá liệu, tiếp tục hồn thiện mở rộng chương trình ḷn văn để có thể áp dụng vào thực tế cách triệt để - Xây dựng thuật toán khác kỹ thuật mạng Nơ-ron để tăng mức độ phạm vi ứng dụng chương trình - Xây dựng phương pháp, thuật toán khác theo hướng mơ đun thành phần tích hợp vào ứng dụng Theo đó, tùy theo lĩnh vực mà có thể khai thác mơ đun tương ứng, giúp cho chương trình ngày mở rộng tính ứng dụng thực tế tăng lên TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt: 79 [1] Phan Phu Dien, Luận văn cao học chuyên ngành KHMT, Đại học Đà Nẵng [2] Phan Huy Khánh (2000), Hệ Chuyên gia, Đại học Đà Nẵng (Lưu hành nội bộ) [3] Khoa CNTT, Đại Học Hàng Hải, Giáo Trình Khai Phá Dữ liệu, (Lưu hành nội bộ) [4] Lê Minh Trung (1999), Mạng Nơ-ron nhân tạo, NXB Thống Kê [5] Lê Mạnh Thạnh (2001), Cơ sở liệu nâng cao, Huế [6] Nguyễn Thanh Thuỷ (2001), Khai phá liệu - kỹ thuật ứng dụng, Hà Nội Tài liệu tiếng Anh: [7] Data Mining with Neural Networks [8] R Agrawal, T Imielinski, and A Swami, “Mining association rules between sets of items in large databases,” In Proc of the ACM SIGMOD Conference on Management of Data, pages 207–216, 1993 [9] R Agrawal, H Mannila, R Srikant, H Toivonen, A I.Verkamo, “Fast discovery of association rules,” In Advances in Knowledge Discovery and Data Mining, npages 307–328, 1996 [10] Ralf Herbrich, Max Keilbach, Thore Graepel, Peter BollmannSdorra, Klaus Obermayer - Neural Networks In Economics Tài liệu Internet: [11] http://www.netnam.vn/unescocourse/knowlegde/know_frm.htm http://en.wikipedia.org/wiki/Datamining [12] http://www.neuralware.com [13] http://jstock.sourceforge.net/download.html [14] http://www.cs.Waikato.ac.nz/ml/weka/ [15] Các nguồn Internet 80 Nguồn số liệu: [16] Dữ liệu Ngân hàng Vietcombank [17] Số liệu Ngân hàng Vietcombank [18] Số liệu liên quan đến Ngân hàng 81 PHỤ LỤC Bảng 2.1 Thống kê tình hình vay vốn Ngân hàng Ngoại Thương Quảng Bình Đvt: tr đồng TT Nghành Nông lâm ngư nghiệp Thương mại, dịch vụ Năm 2009 Năm 2010 Năm 2011 Năm 2012 0 16.300 356.556 410.512 512.085 655.000 Thuỷ sản 900 1.700 13.528 24.000 Xây dựng 119.441 311.124 340.841 207.097 Công nghiệp chế biến 209.859 179.630 157.334 162.900 Khai thác mỏ 16.500 27.000 30.244 35.000 Khác 69.411 130.699 42.000 703.256 6,63% 999.377 7,15% 1.184.731 7,49% 1.142.297 6,80% Tổng Thị phần tín dụng Bảng 2.2 Thống kê tình hình thu hồi nợ Đvt: tr đồng TT Nghành Năm 2009 Năm 2010 Năm 2011 Năm 2012 Nông lâm ngư nghiệp 0 16.300 Thương mại, dịch vụ 280.000 410.512 150.000 555.000 Thuỷ sản 300 903 13.528 24.000 Xây dựng 109.000 111.124 180.841 107.097 Công nghiệp chế biến 110.000 100.630 157.334 162.900 Khai thác mỏ 15.700 27.000 30.244 35.000 Khác 64.011 127.321 42.000 515.000 714.180 659.268 942.297 515.000 714.180 Tổng 659.268 942.297 ... vấn đề trợ giúp thẩm định vay vốn ngân hàng Từ lý đó, chọn đề tài: ỨNG DỤNG KHAI PHÁ TRI THỨC XÂY DỰNG HỆ THỐNG TRỢ GIÚP THẨM ĐỊNH VAY VỚN TẠI NGÂN HÀNG VIETCOMBANK QUẢNG BÌNH để nghiên... Quản trị sở liệu, học máy, thống kê … 1.2 ĐỊNH NGHĨA KHAI PHÁ TRI THỨC Khai phá tri thức (Khai phá tri thức- Knowledge Discovery in Databases) sở liệu trình phát tri thức tiềm ẩn, khơng biết... thuật khai phá tri thức 3 (4) Tìm hiểu sở lý thuyết khai phá luật kết hợp, kỷ thuật mạng Nơ-ron (5) Xây dựng mơ hình phân tích thiết kế hệ thống trợ giúp dự báo thẩm định vay vốn ngân hàng