1 MỞ ĐẦU 1. Giới thiệu và lý do chọn đề tài Sự phát triển của công nghệ thông tin đã mang lại cho nhân loại nhiều tiện lợi và giúp giải quyết những công việc tưởng chừng như con người không thể giải quyết được. Trong đó, khai phá tri thức trong cơ sở dữ liệu đang là một xu hướng quan trọng của nền Công nghệ thông tin thế giới. Nó có khả năng ứng dụng vào rất nhiều lớp bài toán thực tế khác nhau. Bước quan trong nhất của quá trình này là khai phá tri thức từ dữ liệu, giúp con người thu được những tri thức hữu ích từ những cơ sở dữ liệu hoặc các nguồn dữ liệu khổng lồ khác. Một số ít ngân hàng thương mại, doanh nghiệp và tổ chức trên thế giới đã ứng dụng kỹ thuật khai phá tri thức từ dữ liệu vào các hoạt động tín dụng để phát triển sản xuất và kinh doanh, đã và đang thu được những lợi ích to lớn. Hiện nay, việc ứng dụng công nghệ thông tin trong nhiều lĩnh vực của đời sống, kinh tế xã hội trong nhiều năm qua cũng đồng nghĩa với lượng dữ liệu đã được các cơ quan, các tổ chức tín dụng thu thập và lưu trữ ngày một tích luỹ nhiều lên. Người ta lưu trữ các dữ liệu này vì cho rằng trong nó ẩn chứa những giá trị nhất định nào đó. Tuy nhiên, theo thống kê thì chỉ có một lượng nhỏ của những dữ liệu này (khoảng từ 20% đến 25%) là luôn được phân tích, số còn lại người ta không biết sẽ phải làm gì hoặc có thể làm gì với chúng nhưng vẫn phải tiếp tục thu thập rất tốn kém với ý nghĩ lo sợ rằng sẽ có cái gì đó quan trọng đã bị bỏ qua sau này có lúc cần đến nó. Mặt khác, trong môi trường cạnh tranh khốc liệt như hiện nay và sự xuất hiện nhiều nhiều ngân hàng thương mại và nền kinh tế đang có chuyển biến xấu và đầy phức tạp, nhân viên ngân hàng ngày càng cần có nhiều thông tin với tốc độ nhanh để trợ giúp việc ra quyết định và ngày càng có nhiều câu hỏi mang tính chất định tính cần phải 2 trả lời dựa trên một khối lượng dữ liệu khổng lồ đã có. Việc ứng dụng công nghệ thông tin trong ngân hàng đang rất cần thiết, đặc biệt là ứng dụng khai phá tri thức từ dữ liệu. Xuất phát từ thực tế và nhu cầu nắm bắt, trang bị hạ tầng về công nghệ thông tin của cơ quan, tổ chức để hiện đại hoá công việc, giúp giải quyết nhanh chóng, nâng cao hiệu quả và dự báo chính xác trong công việc nhất là trong lĩnh vực kinh doanh, thương mại điện tử trong vấn đề trợ giúp thẩm định vay vốn tại ngân hàng. Từ lý do đó, tôi chọn đề tài: Ứng dụng khai phá tri thức xây dựng hệ thống thẩm định vay vốn tại Ngân hàng Vietcombank Quảng Bình. Để nghiên cứu làm luận văn tốt nghiệp cao học ngành Khoa học máy tính. Trong đó, tập trung vào nghiên cứu kỹ thuật mạng Nơ- ron, áp dụng trong việc khai phá tri thức từ dữ liệu để giải quyết bài toán. 2. Mục tiêu và nhiệm vụ Mục tiêu của đề tài tìm hiểu các khai phá tri thức trong lĩnh vực hoạt động thẩm định vay vốn tại ngân hàng, đặc biệt là vấn đề ra quyết định trong hoạt động thẩm định tín dụng đạt kết quả ra sao. Nhiệm vụ cơ bản của nghiên cứu: (1) Thu thập và phân tích dữ liệu tri trức về tình hình khách hàng được thẩm định; (2) Tìm hiểu bài toán thực tế: Thẩm định hoạt động vay vốn ngân hàng; (3) Tìm hiểu tổng tổng quan về các kỷ thuật khai phá tri thức; (4) Tìm hiểu cơ sở lý thuyết khai phá luật kết hợp, kỷ thuật mạng Nơ-ron; (5) Xây dựng mô hình và phân tích thiết kế hệ thống trợ giúp dự báo thẩm định vay vốn trong ngân hàng. 3. Đối tượng và phạm vi nghiên cứu Đối tượng chủ yếu để nghiên cứu luật kết hợp và kỹ thuật mạng Nơ-ron, các thuật toán học của mạng Nơ-ron, đặc biệt là thuật 3 toán lan truyền ngược (Back propagation algorithm). Ngoài ra, cũng cần phải nắm được các kỹ thuật lập trình cơ bản trên nền Window. 4. Phương pháp nghiên cứu Thu thập, phân tích các tài liệu và thông tin liên quan đến đề tài; Xem xét, lựa chọn phương hướng giải quyết vấn đề; Xây dựng mô hình theo lý thuyết; Triển khai xây dựng chương trình ứng dụng trên máy tính; Kiểm tra, thử nghiệm và đánh giá kết quả. 5. Ý nghĩa khoa học và thực tiễn của đề tài Ý nghĩa khoa học của đề tài là nghiên cứu và phát triển một mô hình khai phá dữ liệu nhằm dự báo độ rủi ro trong việc phê duyệt đơn vay tín dụng của ngân hàng, dựa trên kỹ thuật mạng Nơ-ron. Việc dự báo các kết quả sẽ hỗ trợ, trợ giúp cho nhà quản lý trong việc ra các quyết định tối ưu. 6. Bố cục của luận văn Luận văn bao gồm các phần như sau: Mở đầu Chương 1: Nêu tổng quan về khai phá tri thức từ dữ liệu. Các kỹ thuật mạng Nơ-ron trong khai phá dữ liệu, các thuật toán trong mạng Nơ- ron, cũng như các lĩnh vực ứng dụng. Chương 2: Phân tích bài toán. Giới thiệu bài toán, nêu lên bài toán cụ thể và xây dựng mô hình tổng quát cho bài toán, giải pháp giải quyết bài toán. Chương 3: Xây dựng hệ thống trợ giúp thẩm định vay vốn ngân hàng. Tạo bộ dữ liệu mẫu về dữ liệu đầu vào, dữ liệu của tập huấn luyện, tập kiểm thử, vận hành mạng và cho ra kết quả thử nghiệm. Trên cơ sở đó đưa ra các đánh giá về giải pháp của đề tài trong việc ứng dụng 4 thực tiễn của vấn đề cũng như có những so sánh với các giải pháp khác. Kết luận của đề tài về các mặt làm được, khả năng ứng dụng, những ưu và nhược điểm và hướng phát triển trong tương lai. CHƯƠNG 1 CƠ SỞ LÝ THUYẾT 1.1. GIỚI THIỆU VỀ KHAI PHÁ TRI THỨC Phát hiện tri thức là khái niệm ra đời vào những năm cuối của thập kỷ 80 và đã trở thành một lĩnh vực được nguyên cứu rộng rãi trên toàn cầu. Sự ra đời của phát hiện tri thức là sự kết hợp kết quả nguyên cứu của nhiều ngành khoa học khác lại với nhau như: Quản trị cơ sở dữ liệu, học máy, thống kê … 1.2. ĐỊNH NGHĨA KHAI PHÁ TRI THỨC Thực chất đó là quá trình tìm kiếm những thông tin có trong cơ sở dữ liệu nhưng bị che giấu trong các khối dữ liệu. Tri thức ở đây có thể được hiểu là một biểu thức trong một ngôn ngữ. Các ngôn ngữ thường dùng để diễn tả tri thức trong việc biểu diễn tri thức trong quá trình phát hiện tri thức từ cơ sở dư liệu là các khung (frames), các cây và đồ thị, các luật, các công thức trong logic mệnh đề hoặc logic tân từ cấp một Việc khai phá tri thức thường được áp dụng để giải quyết một loạt những yều cầu phục vụ những mục đích nhất định. Vì vậy, quá trình phát hiện tri thức là một hoạt động tương tác giữa một người sử dụng hoặc một chuyên gia phân tích với các công cụ tin học. 1.3. CÁC GIAI ĐOẠN QUÁ TRÌNH KHAI PHÁ TRI THỨC Quá trình khai phá tri thức, từ những cơ sở dữ liệu thực tế sau một hoặc một số bước của quá trình sẽ rút ra được những tri thức mới. Các bước trong quá trình này có thể lặp đi lặp lại nhiều lần và được mô tả theo hình sau: 5 Hình 1.1 Sơ đồ mô tả quá trình khai phá tri thức 1.4. MÔ HÌNH KHAI PHÁ TRI THỨC Hình 1.2 Mô hình khai phá tri thức Hình thành và xác định vấn đề Khai phá dữ liệu, rút ra các tri thức Thu thập và tiền xử lý dữ liệu Giải thích kết quả và đánh giá Sử dụng các tri thức phát hiện được 1 2 3 4 5 6 1.5. KHO DỮ LIỆU (DATA WAREHOUSE) Là các cơ sở dữ liệu tích hợp, hướng theo các chủ đề nhất định, được thiết kế để hỗ trợ cho chức năng trợ giúp quyết định, mà mỗi đơn vị dữ liệu liên quan đến một khoảng thời gian cụ thể. Kho dữ liệu thường có dung lượng rất lớn, thường là hàng Gigabytes hay có khi tới hàng Terabytes. Kho dữ liệu được xây dựng để tiện lợi cho việc truy cập từ nhiều nguồn, nhiều kiểu dữ liệu khác nhau sao cho có thể kết hợp được cả những ứng dụng của các công nghệ hiện đại và vừa có thể kế thừa được từ các hệ thống đã có từ trước. Dữ liệu được phát sinh từ các hoạt động hàng ngày và được thu thập xử lý để phục vụ công việc nghiệp vụ cụ thể của một tổ chức, vì vậy thường được gọi là dữ liệu tác nghiệp và hoạt động xử lý dữ liệu này gọi là xử lý giao dịch trực tuyến (OLPT - On Line Transaction Processing). 1.6. LUẬT KẾT HỢP Nhằm phát hiện ra các Luật kết hợp giữa các thành phần dữ liệu trong cơ sở dữ liệu. Các luật kết hợp có thể là một cách hình thức hóa đơn giản. Chúng rất thích hợp cho việc tạo ra các kết quả có dữ liệu dạng nhị phân. Giới hạn cơ bản của phương pháp này là ở chỗ các quan hệ cần phải thưa theo nghĩa không có tập thường xuyên nào chứa nhiều hơn 15 thuộc tính. Giải thuật tìm kiếm các luật kết hợp tạo ra số luật ít nhất phải bằng với số các tập phổ biến và nếu như một tập phổ biến có kích thước K thì phải có ít nhất là 2K tập phổ biến. Thông tin về các tập phổ biến được sử dụng để ước lượng độ tin cậy của các tập luật kết hợp. 1.6.1. Lý thuyết về luật kết hợp 1.6.2. Định nghĩa luật kết hợp Mà các luật đều phải thoả mãn một ngưỡng hỗ trợ và tin cậy cụ thể. Thực vậy, cho một tập các giao dịch D, bài toán phát hiện luật 7 kết hợp là sinh ra tất cả các luật kết hợp mà có độ tin cậy conf lớn hơn độ tin cậy tối thiểu mincon và độ hỗ trợ sup lớn hơn độ hỗ trợ tối thiểu minsup tương ứng do người dùng xác định. Khai phá luật kết hợp được phân thành hai bài toán. 1.6.3. Một số tính chất liên quan đến các hạng mục phổ biến (frequent itemset) Tính chất 1: Độ hỗ trợ (support) cho tất cả các tập con (subset). Tính chất 2: Nếu một mục trong A không có độ hỗ trợ tối thiểu trên D nghĩa là support(A)< minsup thì một tập con B của A sẽ không phải là một tập phổ biến vì support(B) ≤ support(A) < minsup. Tính chất 3: Nếu mục B là mục phổ biến trên D, nghĩa là support(B) ≥ minsup thì mọi tập con A của B là tập phổ biến trên D vì support(A) ≥ support(B) > minsup. 1.6.4. Một số hướng tiếp cận trong khai phá luật kết hợp Luật kết hợp nhị phân (binary association rule hoặc boolean association rule); Luật kết hợp có thuộc tính số và thuộc tính hạng mục (quantitative and categorial association rule); Luật kết hợp tiếp cận theo hướng tập thô (mining association rules base on rough set): Tìm kiếm luật kết hợp dựa trên lý thuyết tập thô 1.6.5. Phát biểu bài toán phát hiện luật kết hợp Xét ví dụ đối tượng trong giao dịch cho vay khách hàng tại đơn vị . Tập các giao dịch (ở đây coi là tập các mục) I = {khá, tốt, trung bình, xấu} và số các đối tượng cho vay là 4 giao dịch (|T| = 4), trong đó T = {1, 2, 3, 4} – ký hiệu các giao dịch TID. 1.6.6. Phát hiện luật kết hợp dựa trên hệ thông tin nhị phân 8 Hệ thông tin nhị phân; Tập chỉ báo phổ biến nhị phân; Các luật kết hợp phổ biến nhị phân và hệ số tin cậy; Các vectơ chỉ báo nhị; phân và các phép toán; Tích vectơ chỉ báo nhị phân; Độ hỗ trợ các vectơ chỉ báo nhị phân 1.6.7. Thuật toán phát hiện tập chỉ báo và luật kết hợp nhị phân Thuật toán Apriori-Tid có hai pha 1.6.8. Khai phá luật kết hợp trên hệ thông tin mờ 1.7. MẠNG NEURON Kỹ thuật mạng Nơ-ron là kỹ thuật mới liên quan đến việc phát triển các cấu trúc toán học với khả năng học. Mạng Nơ-ron có thể đưa ra ý nghĩa từ dữ liệu phức tạp nhiều chiều và phát hiện xu hướng của dữ liệu mà các kỹ thuật khác không thể thực hiện được. Mạng Nơ-ron có khả năng mô hình hoá những dữ liệu phức tạp và nhiều chiều. Khi dữ liệu tăng lên, các kỹ thuật truyền thống khác có thể không giải quyết được, nhưng mạng Nơ-ron có khả năng giải quyết tốt. 1.7.1. Khái niệm mạng Nơ-ron 1.7.2. Mạng Nơ-ron truyền thẳng Cấu trúc của mạng Nơ-ron gồm các nút, mỗi nút đều có các trọng số và được bố trí trên các tầng như: Tầng vào; Tầng ẩn;Tầng ra. . . . . . . . . Tầng vào Các tầng ẩn Tầng ra . . Kết quảDữ liệu vào 9 Hình 1.3: Cầu trúc mạng Nơ-ron truyền thẳng. 1.7.3. Mạng Nơ-ron phản hồi Tùy sơ đồ kết nối mà mạng có thể là mạng truyền thẳng (feed forward) hoặc phản hồi (recurrent) các đường kết nối là đối xứng hoặc không đối xứng. Mạng phản hồi có đường nối phản hồi hoặc có chu trình giữa các nút. Sau đây là cấu trúc của một mạng phản hồi: Hình 1.4 Cấu trúc mạng Nơ-ron phản hồi 1.7.4. Giải pháp kỹ thuật của mạng Nơ-ron Mạng Nơ-ron được hiểu theo có hai khía cạnh: tính toán và học. Phần tính toán được thực hiện theo thứ tự. Phần học thì được thực hiện ngược lại: với số liệu tính toán đầu ra không khớp với mục tiêu, sai số này sẽ làm cơ sở để thay đổi các trọng số nút xuất, sau đó được lan truyền để thay đổi trọng số các nút ẩn. Quá trình này được thực hiện nhiều lần cho đến khi kết xuất của mạng tiến gần đến mục tiêu đề ra. 1.8. QUÁ TRÌNH TÍNH TOÁN CỦA MẠNG NƠ-RON 1.8.1. Hàm truyền Về mặt hình học, hàm truyền có dạng chữ S nên nó được gọi là hàm dạng S. 1.8.2. Tính toán của mạng Mạng Nơ-ron là một công cụ tính toán, theo nghĩa nào đó thì mạng Nơ-ron làm việc với tư cách là một bảng tra mà không biết phụ Tầng vào Tầng ẩn Tầng ra 10 thuộc hàm tường minh giữa x và y. Việc tính toán của mạng Nơ-ron số nút có trong mạng. Mạng một nút nhập, một nút xuất Mạng hai nút nhập Mạng nhiều nút nhập Lan truyền tiến Khi luyện mạng, lan truyền tiến được sử dụng lặp đi lặp lại từ mẫu này đến mẫu khác cho đến khi các trọng số đạt được giá trị thích hợp. Khi sử dụng, lan truyền tiến được sử dụng một lần cho từng trường hợp nhập vào. 1.8.3. Sự chuẩn bị và học dữ liệu Học là một trong những đặc tính quan trọng nhất của mạng. Nó chỉ ra cách điều chỉnh trọng số trong quá trình học. Trong quá trình học, ta cần biết mức tích cực thực tế so sánh với mức tích cực mong muốn để tính sai số. Sai số này sử dụng để điều chỉnh trọng số của mạng. Trong mô hình mạng Nơ-ron thì việc xác định sai số ít nhất là rất khó. Phương pháp giảm gradient thường được sử dụng trong các trường hợp này. Phương pháp xem E là một mặt lỗi và xác định các trọng số qua các bước chính như sau: (1) Chọn một điểm ngẫu nhiên x 0 trong không gian trọng số; (2) Tính độ dốc của mặt lỗi tại x 0; (3) Cập nhật các trọng số theo hướng dốc nhất của mặt lỗi; (4) Xem điểm này như điểm x 0 mới; (5) Lặp đi lặp lại quá trình từ (2) đến (4) thì đến một lúc nào đó các giá trị của bộ trọng số sẽ tiếp cận đến điểm thấp nhất trong mặt lỗi. Trọng số nút xuất Trọng số nút ẩn 1.9. MỘT SỐ THUẬT TOÁN ÁP DỤNG TRONG VIỆC HỌC CỦA MẠNG NƠ-RON [...]... tôi xây dựng chương trình hệ thống trợ giúp thẩm định vay vốn tại Ngân hàng TMCP Ngoại Thương Quảng Bình Chương trình xây dựng trên nền tảng Dot.net và cơ sở dữ liệu được thu thập tại Ngân hàng TMCP Ngoại Thương Quảng Bình 3.2 TẠO DỮ LIỆU MẪU CHO ỨNG DỤNG Tất cả các thông tin về khách hàng vay được lưu trữ trong hệ thống tập tin (Trong CSDL SQL, Fox) trong hệ chương trình giao dịch của Ngân hàng. .. PHÂN TÍCH BÀI TOÁN 2.1 GIỚI THIỆU Ngân hàng Ngân hàng Ngoại thương Quảng Bình và chính thức đi vào hoạt động từ 20/11/2006 Về phát tri n tín dụng Vietcombank Quảng Bình áp dụng nhiều biện pháp để vừa tăng trưởng tín dụng, xong còn nhiều rủi ro và phức tạp trong thẩm định khách hàng và doanh nghiệp, để đáp ứng được nhu cầu tín dụng của khách hàng, góp phần đẩy mạnh phát tri n kinh tế - xã hội trên địa... định vay vốn là một phương pháp mới nhằm nâng cao chất lượng thẩm định tín dụng của ngân hàng 2.2 THỐNG KÊ TÌNH HÌNH VAY VỐN THEO NGHÀNH KINH TẾ TRONG 3 NĂM QUA TẠI NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN NGOẠI THƯƠNG QUẢNG BÌNH Dựa trên số liệu tình hình vay vốn của ngân hàng thương mại cổ phần ngoại thương Việt Nam – chi nhánh Quảng Bình, trong ba năm qua ta thấy sự biến đổi phức tạp cho vay của các thành phần... Quản lý nợ Cán bộ quản lý nợ sẽ ứng dụng một phần mềm tin học được áp dụng tại hệ thống Ngân hàng TMCP Ngoại Thương Việt Nam Đối với khách hàng đã có thông tin trên hệ thống tin học thì bước đầu tiên là cán bộ quản lý nợ khai báo mã vay, lãi suất, thông tin ngày trả, trên chương trình cho vay của ngân hàng, bao gồm các bước: B1: Khai báo mã vay; B2: Khai số hợp đồng; B3: Khai báo thời gian trả gốc và... được sử dụng để xây dựng các báo cáo mang tính thống kê Được xem như một cách tiếp cận mới trong việc tìm kiếm tri thức từ dữ liệu Từ những tập dữ liệu khổng lồ và hỗn tạp, có thể tìm ra những quy luật chưa được biết đến 15 để giải thích hỗ trợ cho những hiện tượng thực tế trong việc thẩm định vay vốn Sử dụng phương pháp khai phá tri thức từ dữ liệu để dự đoán trong hoạt động thẩm định vay vốn là một... phương pháp tối ưu là dựa vào kỹ thuật mạng nơron để giải quyết bài toán và xác định các vấn đề cần nghiên cứu được chỉ ra CHƯƠNG 3 XÂY DỰNG HỆ THỐNG TRỢ GIÚP THẨM ĐỊNH VAY VỐN TẠI NGÂN HÀNG Trên cơ sở tìm hiểu kỹ thuật mạng Nơ-ron như đã tri nh bày, trong phần này, chúng ta sẽ tri nh bày giải pháp để xây dựng mạng Nơ-ron nhằm giải quyết bài toán đã đặt ra: Trợ giúp thẩm. .. khách hàng (Tuổi tác, nơi cư trú, thu nhập, tài sản…) Để giải quyết bài toán này là ngân hàng xác định đơn vay, khách hàng nào được vay, hay ngược lại, khách hàng, đơn vay nào không được duyệt vay Như vậy, giải quyết bài toán này, dữ liệu thu nhập đầu vào là các thông tin liên quan đến cá nhân hoặc tổ chức, công ty ứng đơn vay tín dụng, kết quả bài toán là quyết định cho vay hoặc không cho vay; thông... kỹ thuật khai phá tri thức từ dữ liệu theo thuật toán lan truyền ngược để áp dụng vào bài toán trợ giúp thẩm định vay vốn ngân hàng * Hướng phát tri n: Nghiên cứu sâu các thuật toán khai phá dữ liệu; Xây dựng các thuật toán khác của kỹ thuật mạng Nơ-ron để tăng mức độ và phạm vi ứng dụng của chương tri nh; Xây dựng các phương pháp, thuật toán khác nhau theo hướng mô đun thành phần... người vay điền vào mẫu có sẵn do ngân hàng phát hành (Bao gồm các thông tin: Nghề nghiệp, chức vụ, hệ số lương, năm công tác, tuổi tác, giới tính, sức khỏe…) Trên cơ sở các thông tin cụ thể cán bộ tín dụng, cán bộ tín dụng đề xuất biệ pháp cụ thể cho mỗi đơn vay 2.4.2 Phương pháp thủ công và tin học Đơn vay sau khi được xét duyệt cho vay, cán bộ tín dụng sẽ chuyển toàn bộ hồ sơ đầy đủ khi đã được thẩm định, ... của Ngân hàng TMCP Ngoại Thương Quảng Bình Tuy nhiên tất cả các thông tin này phải được lam sạch loại bỏ nhưng thông tin dư thừa cho việc kha phá dữ liệu, dữ liệu sẽ được tổ chức lại và khai phá theo qusy và năm từ đó áp dụng kỷ thuật mạng nơron xây dựng hệ thống trợ giúp dự báo độ rủi ro hoàn trả nợ của đơn vay tín dụng 22 Những thông tin sau là cần thiết cho việc khai phá dữ liệu: Tuổi, hôn nhân, gia . đề trợ giúp thẩm định vay vốn tại ngân hàng. Từ lý do đó, tôi chọn đề tài: Ứng dụng khai phá tri thức xây dựng hệ thống thẩm định vay vốn tại Ngân hàng Vietcombank Quảng Bình. Để nghiên. vay vốn. Sử dụng phương pháp khai phá tri thức từ dữ liệu để dự đoán trong hoạt động thẩm định vay vốn là một phương pháp mới nhằm nâng cao chất lượng thẩm định tín dụng của ngân hàng. 2.2. THỐNG. THIỆU Ngân hàng Ngân hàng Ngoại thương Quảng Bình và chính thức đi vào hoạt động từ 20/11/2006. Về phát tri n tín dụng Vietcombank Quảng Bình áp dụng nhiều biện pháp để vừa tăng trưởng tín dụng,