HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC Đề tài: “NGHIÊN CỨU CÂY QUYẾT ĐỊNH TRONG XẾP HẠNG TÍN DỤNG NỘI BỘ NGÂN HÀNG” Giảng viên hƣớng dẫn : ThS. Lê Quý Tài Sinh viên thực hiện: Nguyễn Thu Hƣơng Lớp : HTTTA Khoá : 11 (2008-2012) Hệ : Chính quy Hà Nội, tháng 6/2012 HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC Đề tài: “NGHIÊN CỨU CÂY QUYẾT ĐỊNH TRONG XẾP HẠNG TÍN DỤNG NỘI BỘ NGÂN HÀNG” Giảng viên hƣớng dẫn : ThS. Lê Quý Tài Sinh viên thực hiện: Nguyễn Thu Hƣơng Lớp : HTTTA Khoá : 11 (2008-2012) Hệ : Chính quy Hà Nội, tháng 6/2012 i HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự do – Hạnh phúc TÓM TẮT ĐỀ TÀI KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC Họ và tên sinh viên: Nguyễn Thu Hương Lớp: HTTTA Khoá: 11 (2008-2012) Ngành đào tạo: Hệ thống thông tin quản lý Hệ đào tạo: Chính quy 1/ Tên khoá luận tốt nghiệp: “Nghiên cứu cây quyết định trong xếp hạng tín dụng nội bộ ngân hàng”. 2/ Nội dung chính của khoá luận: Nội dung chính của khóa luận gồm 4 chương : 1/ Chương 1. Tổng quan về khai phá dữ liệu trình bày về những vấn đề tổng quan về khai phá dữ liệu, quy trình khai phá tri thức và các kĩ thuật thường được sử dụng để khai phá dữ liệu. 2/ Chương 2. Cây quyết định trình bày những vấn đề về cây quyết định bao gồm khái niệm, vai trò, các thuật toán xây dựng cây quyết định và ví dụ minh họa. 3/ Chương 3. Xếp hạng tín dụng nội bộ ngân hàng trình bày lý thuyết chung về xếp hạng tín dụng nội bộ tại ngân hàng thương mại cổ phần và giới thiệu một ngân hàng thương mại cổ phần tiêu biểu là ngân hàng thương mại cổ phần Quân Đội và quy trình xếp hạng tín dụng nội bộ của ngân hàng này. 4/ Chương 4. Áp dụng cây quyết định trong xếp hạng tín dụng nội bộ ngân hàng trình bày về việc sử dụng thuật toán C4.5 và công cụ Rapid Miner để xây dựng cây quyết định với cơ sở dữ liệu thực tế, từ đó hỗ trợ ra quyết định cho vay. 3/ Ngày nộp khoá luận: 06/06/2012 GIÁO VIÊN HƢỚNG DẪN (Ký, ghi rõ họ tên) CHỦ NHIỆM KHOA (Ký, ghi rõ họ tên) ii LỜI CAM ĐOAN Tôi xin cam đoan kết quả đạt được trong khóa luận là sản phẩm nghiên cứu, tìm hiểu của cá nhân tôi. Trong toàn bộ nội dung của khóa luận, những điều được trình bày hoặc là của cá nhân tôi, hoặc là được tổng hợp từ nhiều nguồn tài liệu. Tất cả các tài liệu tham khảo đều có xuất xứ rõ ràng và được trích dẫn hợp pháp Tôi xin hoàn toàn chịu trách nhiện và chịu mọi hình thức kỉ luật theo quy định cho lời cam đoan của mình Hà Nội, tháng 6 năm 2012 Sinh viên Nguyễn Thu Hương iii LỜI MỞ ĐẦU 1. Lý do chọn đề tài và mục đích nghiên cứu Ngân hàng thương mại là một tổ chức tài chính có vị trí đặc biệt trong nền kinh tế. Thu nhập của NHTM hiện nay chủ yếu là từ hoạt động tín dụng. Đây là một hoạt động tiềm ẩn rất nhiều rủi ro đối với ngân hàng. Có nhiều giải pháp để khắc phục điều này, một trong những giải pháp được áp dụng phổ biến và hiệu quả nhằm làm giảm rủi ro tín dụng cho Ngân hàng là sử dụng hệ thống xếp hạng tín dụng nội bộ. Trong thực tế, quy trình xếp hạng tín dụng là một nghiệp vụ gồm nhiều công đoạn và tương đối phức tạp. Một chuyên viên quan hệ khách hàng hay chuyên gia thẩm định sau khi thu thập thông tin, dữ liệu của khách hàng từ nhiều nguồn khác nhau, qua quá trình tính toán, thống kê, tổng hợp, đánh giá, …. thì mới có được một kết quả xếp hạng tín dụng của khách hàng đó. Do đó việc ứng dụng Công nghệ thông tin vào trong các hoạt động của ngân hàng là một việc làm quan trọng và cần thiết giúp đơn giản hóa các quy trình, nghiệp vụ phức tạp và giảm thiểu các yếu tố chủ quan của con người. Vì vậy, chúng tôi chọn đề tài “Nghiên cứu cây quyết định trong xếp hạng tín dụng nội bộ ngân hàng” nhằm nghiên cứu những vấn đề tổng quan về khai phá dữ liệu, nghiên cứu chi tiết về kĩ thuật cây quyết định, từ đó xây dựng lên được cây quyết định nhằm hỗ trợ cho việc xếp hạng tín dụng nội bộ ngân hàng. 2. Tình hình nghiên cứu Trên thế giới, có nhiều tác giả nghiên cứu các phương pháp ứng dụng trong xếp hạng tín dụng như k – nearest neighbor (Henley và Hand, 1996), mạng neuron (Jensen, 1992), Support vector machines (Basens , 2003), cây quyết định (Frydman, 1985 và Davis, 1992) [9]. Trong nước cũng nhiều tác giả nghiên cứu về thuật toán cây quyết định như Nguyễn Thị Hạnh Đại học Sư phạm Hà Nội nghiên cứu khoa học về thuật toán cây quyết định trong khai phá dữ liệu, Phạm Thùy Linh Đại học Công nghê - Đại học Quốc gia nghiên cứu về các thuật toán phân lớp dữ liệu dựa trên cây quyết định, …. Tuy nhiên nghiên cứu về cây quyết định trong lĩnh vực ngân hàng thì còn chưa phổ biến. 3. Phạm vi nghiên cứu Phạm vi nghiên cứu của đề tài là việc ứng dụng cây quyết định trong việc xếp hạng tín dụng trong một ngân hàng. Khóa luận nghiên cứu về tổng quan khai phá dữ liệu, kĩ thuật cây quyết đinh, lý thuyết về xếp hạng tín dụng và áp dụng cây quyết định trong việc xếp hạng tín dụng. iv 4. Phƣơng pháp nghiên cứu Với phương pháp nghiên cứu lý thuyết kết hợp với thực nghiệm trong khóa luận chúng tôi trình bày về phương pháp cây quyết định. Đây là hướng tiếp cận tiềm năng và hiện vẫn đang được các chuyên gia trên thế giới phát triển. 5. Nội dung khóa luận Nội dung khoá luận gồm 4 chương: Chƣơng 1. Tổng quan về khai phá dữ liệu: Chương này trình bày về những vấn đề tổng quan về khai phá dữ liệu, quy trình khai phá tri thức và các kĩ thuật thường được sử dụng để khai phá dữ liệu. Chƣơng 2. Cây quyết định: Chương này trình bày những vấn đề về Cây quyết định bao gồm: khái niệm, vai trò, các thuật toán xây dựng cây quyết định và ví dụ minh họa. Chƣơng 3. Xếp hạng tín dụng nội bộ tại ngân hàng thương mại cổ phần: Chương này trình bày lý thuyết chung về xếp hạng tín dụng nội bộ tại ngân hàng thương mại cổ phần và giới thiệu một ngân hàng thương mại cổ phần tiêu biểu là ngân hàng thương mại cổ phần Quân Đội và quy trình xếp hạng tín dụng nội bộ của ngân hàng này. Chƣơng 4. Áp dụng cây quyết định trong xếp hạng tín dụng nội bộ Ngân Hàng: Chương này trình bày về việc sử dụng thuật toán C4.5 và công cụ Rapid Miner để xây dựng cây quyết định với cơ sở dữ liệu thực tế, từ đó hỗ trợ ra quyết định cho vay. v LỜI CẢM ƠN Trước hết tôi xin gửi lời cảm ơn đặc biệt tới Ths Lê Quý Tài người đã định hướng đề tài và tận tình hướng dẫn chỉ bảo tôi trong suốt quá trình thực hiện khóa luận tốt nghiệp này. Tôi xin chân thành cảm ơn các thầy cô trong trường Học viện ngân hàng, đã tận tình giảng dạy và truyền đạt những kiến thức, những kinh nghiệm quý báu trong suốt 4 năm học đại học của tôi. Bên cạnh đó tôi cũng muốn gửi lời cảm ơn chân thành tới anh Đỗ Quang Tiến và các anh, chị tại phòng phát triển ứng dụng thuộc khối công nghệ thông tin của ngân hàng thương mại cổ phần Quân Đội, đã tạo điều kiện và nhiệt tình giúp đỡ tôi trong thời gian thực tập tại ngân hàng. Cuối cùng tôi xin dành một cảm biết ơn sâu sắc tới gia đình và những người thân đã luôn bên cạnh, động viên, chia sẻ cùng tôi trong suốt thời gian học đại học cũng như quá trình làm khóa luận tốt nghiệp. vi NHẬN XÉT CỦA GIẢNG VIÊN HƢỚNG DẪN ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… vii MỤC LỤC LỜI CAM ĐOAN ii LỜI MỞ ĐẦU iii DANH MỤC CÁC CHỮ VIẾT TẮT ix DANH MỤC CÁC HÌNH VẼ x DANH MỤC CÁC BẢNG BIỂU xi CHƢƠNG 1 TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 1 1.1 Khái niệm về khai phá dữ liệu 1 1.2 Quá trình phát hiện tri thức 1 1.3 Các kĩ thuật khai phá dữ liệu 3 1.3.1 Phân lớp dữ liệu 3 1.3.2 Phân cụm dữ liệu 4 1.3.3 Khai phá luật kết hợp 4 1.3.4 Hồi quy 5 1.3.5 Giải thuật di truyền 5 1.3.6 Mạng neuron 6 1.3.7 Cây quyết định 6 1.3.8 Mô hình học quan hệ 7 1.3.9 Khai phá dữ liệu văn bản (Text Mining) 7 1.3.10 Mô hình phụ thuộc dựa trên đồ thị xác suất 7 1.4 Ứng dụng của khai phá dữ liệu 8 1.5 Hƣớng phát triển của khai phá dữ liệu và một số khó khăn thách thức 8 CHƢƠNG 2 CÂY QUYẾT ĐỊNH 10 2.1 Khái niệm 10 2.1.2 Khái niệm cây quyết định 10 2.1.2 Những khái niệm liên quan 11 2.2 Vai trò của cây quyết định 12 2.2.1 Nén dữ liệu (Data Compression) 12 2.2.3 Dự đoán (Prediction) 13 2.3 Các thuật toán 14 2.3.1 Thuật toán xây dựng cây CLD 14 2.3.2 Thuật toán xây dựng cây ID3 14 2.3.3 Thuật toán xây dựng cây C4.5 16 2.4 Cắt tỉa cây 18 2.4.1 Tiền cắt tỉa 18 2.4.2 Hậu cắt tỉa 18 viii 2.4.3 Đánh giá cây quyết định 19 2.5 Ƣu, nhƣợc điểm của kỹ thuật cây quyết định 20 2.5.1 Ưu điểm 20 2.5.2 Nhược điểm 21 2.6 Ví dụ minh họa xây dựng cây quyết định 21 CHƢƠNG 3 XẾP HẠNG TÍN DỤNG NỘI BỘ NGÂN HÀNG 25 3.1 Tổng quan về xếp hạng tín dụng 25 3.1.1 Khái niệm về xếp hạng tín dụng 25 3.1.2 Đối tượng của xếp hạng tín dụng 25 3.1.3 Tầm quan trọng của xếp hạng tín dụng 25 3.1.4 Các nhân tố ảnh hưởng đến công tác xếp hạng tín dụng 26 3.1.5 Phương pháp xếp hạng tín dụng doanh nghiệp điển hình 27 3.2 Quy trình xếp hạng tín dụng ngân hàng thƣơng mại cổ phần Quân đội 31 3.2.1 Giới thiệu về ngân hàng thương mại cổ phần Quân Đội 31 3.2.2 Quy trình xếp hạng tín dụng tại ngân hàng thương mại cổ phần Quân đội 31 CHƢƠNG 4 ÁP DỤNG CÂY QUYẾT ĐỊNH TRONG XẾP HẠNG TÍN DỤNG NỘI BỘ CỦA NGÂN HÀNG 35 4.1 Quy trình xây dựng cây quyết định với cơ sở dữ liệu chuẩn 35 4.1.1 Mô tả cơ sở dữ liệu mẫu chuẩn 35 4.1.2 Xây dựng cây quyết định dựa trên bộ dữ liệu mẫu trên 36 4.1.3 Tính toán thực nghiệm 37 4.2 Quy trình xây dựng cây quyết định với cơ sở dữ liệu ngân hàng MB 42 4.2.1 Mô tả cơ sở dữ liệu 42 4.2.2 Cây quyết định với cơ sở dữ liệu của ngân hàng Quân đội 43 4.2.3 Đánh giá kết quả thực nghiệm 44 4.3 Nhận xét 45 KẾT LUẬN CHUNG 46 DANH MỤC TÀI LIỆU THAM KHẢO 47 [...]... máy dùng trong cây quyết định được gọi là học bằng cây quyết định, hay chỉ gọi với cái tên ngắn gọn là cây quyết định [4] Cây quyết định là một biểu đồ có cấu trúc dạng cây như sau [3]: Hình 2 1 Ví dụ về cây quyết định Sinh viên thực hiện: Nguyễn Thu Hương - Lớp HTTTA – K11 Trang 10 / 61 Khoá luận tốt nghiệp Nghiên cứu cây quyết định trong xếp hạng tín dụng nội bộ ngân hàng Trong cây quyết định : Gốc:... luận tốt nghiệp Nghiên cứu cây quyết định trong xếp hạng tín dụng nội bộ ngân hàng Hình 2.3 Cây quyết định được xây dựng dựa trên cơ sở dữ liệu ở bảng 2.1 2.2.3 Dự đoán (Prediction) Chức năng dự đoán [12] của cây quyết định là chức năng quan trọng giúp dự đoán kết quả của trường hợp chưa xảy ra Ví dụ với cây quyết định như sau : Hình 2.4 Cây quyết định cho bài toán playgolf Khi đưa vào bộ dữ liệu là... ban đầu được sử dụng để kiểm tra hiệu quả của cây quyết định vừa được xây dựng ở trên Sinh viên thực hiện: Nguyễn Thu Hương - Lớp HTTTA – K11 Trang 11 / 61 Khoá luận tốt nghiệp Nghiên cứu cây quyết định trong xếp hạng tín dụng nội bộ ngân hàng  Thuộc tính phân loại (Category attribute) là thuộc tính mà tập giá trị của nó là hữu hạn  Thuộc tính liên tục (Continous attribute) là thuộc tính mà tập giá... chuyên gia trong lĩnh vực thông tin mà nó vừa được học [9] 1.3.7 Cây quyết định Kỹ thuật cây quyết định là một công cụ mạnh và hiệu quả trong việc phân lớp và dự báo Các đối tượng dữ liệu được phân thành các lớp Các giá trị của đối tượng dữ Sinh viên thực hiện: Nguyễn Thu Hương - Lớp HTTTA – K11 Trang 6 / 61 Khoá luận tốt nghiệp Nghiên cứu cây quyết định trong xếp hạng tín dụng nội bộ ngân hàng liệu... HTTTA – K11 Trang 21 / 61 Khoá luận tốt nghiệp Nghiên cứu cây quyết định trong xếp hạng tín dụng nội bộ ngân hàng Bảng 2 2 Play Golf Dataset Thực hiện các bước để xây dựng nên cây quyết định cho bài toán trên: Cơ sở dữ liệu trên có 5 thuộc tính: OUTLOOK (thuộc tính rời rạc), TEMPERATURE (thuộc tính liên tục), HUMIDITY (thuộc tính liên tục), WINDY (thuộc tính rời rạc), PLAY (lớp)   PLAY(5 Play, 9 Don’t... tỉa cây Phương pháp này thành công hơn trong thực tế, vì nó cho phép các tương tác tiềm năng giữa Sinh viên thực hiện: Nguyễn Thu Hương - Lớp HTTTA – K11 Trang 18 / 61 Khoá luận tốt nghiệp Nghiên cứu cây quyết định trong xếp hạng tín dụng nội bộ ngân hàng các thuộc tính được khám phá trước khi quyết định xem kết quả nào được giữ lại Việc cắt tỉa cây theo phương pháp này đươc tiến hành thông qua việc tính... nghiệp Nghiên cứu cây quyết định trong xếp hạng tín dụng nội bộ ngân hàng Khi đó, ta sẽ được một phần của cây quyết định như sau : OUTLOOK Overcast Rain Sunny Yes Hình 2 6 Xây dựng cây quyết định cho bài toán Play Golf E(TEMPERATURE) = 1/5E( . tiêu biểu là ngân hàng thương mại cổ phần Quân Đội và quy trình xếp hạng tín dụng nội bộ của ngân hàng này. Chƣơng 4. Áp dụng cây quyết định trong xếp hạng tín dụng nội bộ Ngân Hàng: Chương. Quân Đội và quy trình xếp hạng tín dụng nội bộ của ngân hàng này. 4/ Chương 4. Áp dụng cây quyết định trong xếp hạng tín dụng nội bộ ngân hàng trình bày về việc sử dụng thuật toán C4.5 và. trình xếp hạng tín dụng tại ngân hàng thương mại cổ phần Quân đội 31 CHƢƠNG 4 ÁP DỤNG CÂY QUYẾT ĐỊNH TRONG XẾP HẠNG TÍN DỤNG NỘI BỘ CỦA NGÂN HÀNG 35 4.1 Quy trình xây dựng cây quyết định với