ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN PHƯƠNG CHÍNH GIẢI PHÁP PHÁT HIỆN VÀ NGĂN CHẶN TRUY CẬP TRÁI PHÉP VÀO MẠNG LUẬN VĂN THẠC SĨ Hà Nội – 2009 LỜI CẢM ƠN Lời đầu tiên, tôi xin chân thành cảm ơn PGS. TS Nguyễn Văn Tam, Viện công nghệ thông tin, người đã gợi ý đề tài và tận tình hướng dẫn cho tôi hoàn thành luận văn cao học này. Tôi cũng xin gửi lời cảm ơn chân thành tới Phòng đào tạo sau đại học và các thầy cô giáo trong khoa Công nghệ - Trường Đại Học Công Nghệ - Đại Học Quốc Gia Hà Nội đã giảng dạy, truyền đạt và tạo điều kiện học tập tốt nhất cho tôi suốt quá trình học cao học cũng như thời gian thực hiện luận văn cao học. Hà Nội, tháng 06 năm 2009 Nguyễn Phương Chính I MỤC LỤC LỜI CẢM ƠN BẢNG CÁC TỪ VIẾT TẮT, KÝ HIỆU MỤC LỤC MỞ ĐẦU 1 Đặt vấn đề 1 Nội dung của đề tài 1 Cấu trúc luận văn 2 CHƯƠNG 1. TỔNG QUAN VỀ HỆ THỐNG IPS 3 1.1 Lịch sử ra đời 3 1.2 Hệ thống IDS 4 1.2.1 Một hệ thống IDS bao gồm các thành phần 4 1.2.2 Phân loại các hệ thống IDS 5 1.2.2.1 Network-based Intrusion Detection System (NIDS) 5 1.2.2.2 Host-based Intrusion Detection System (HIDS) 7 1.2.2.3 Hybrid Intrusion Detection System 8 1.3 Hệ thống IPS 9 1.3.1 Phân loại IPS 10 1.3.2 Các thành phần chính 11 1.3.2.1 Module phân tích gói (packet analyzer) 11 1.3.2.2 Module phát hiện tấn công 11 1.3.2.3 Module phản ứng 14 1.3.3 Mô hình hoạt động 15 1.3.4 Đánh giá hệ thống IPS 17 1.4. Kết chương 18 I CHƯƠNG 2 : TÌM HIỂU VÀ NGHIÊN CỨU CÁC PHƯƠNG PHÁP PHÁT HIỆN TẤN CÔNG TRONG HỆ THỐNG IPS 21 2.1 Tổng quan về phương pháp phát hiện bất thường 21 2.1.1 Thế nào là bất thường trong mạng? 21 2.1.2 Các nguồn dữ liệu dùng cho phát hiện bất thường 22 2.1.2.1 Network Probes 23 2.1.2.2 Lọc gói tin cho việc phân tích luồng ( Packet Filtering ) 23 2.1.2.3 Dữ liệu từ các giao thức định tuyến 24 2.1.2.4 Dữ liệu từ các giao thức quản trị mạng 24 2.1.3 Các phương pháp phát hiện bất thường 25 2.1.3.1 Hệ chuyên gia ( Rule-based ) 25 2.1.3.2 Mạng Nơ-ron ( Artificial Neural Network) 27 2.1.3.3 Máy trạng thái hữu hạn 31 2.1.3.4 Phân tích thống kê 32 2.1.3.5 Mạng Bayes 34 2.2. Kết chương 35 CHƯƠNG 3: PHƯƠNG PHÁP PHÁT HIỆN BẤT THƯỜNG DỰA TRÊN KHAI PHÁ DỮ LIỆU 36 3.1 Khai phá dữ liệu 36 3.2 Các thuật toán phát hiện bất thường trong khai pháp dữ liệu 39 3.2.1 Đánh giá chung về hệ thống 39 3.2.2 Phần tử dị biệt 41 3.2.2.1 Phương pháp điểm lân cận gần nhất (NN) 42 3.2.2.2 Phương pháp pháp hiện điểm dị biệt dựa trên khoảng cách Mahalanobis 43 3.2.2.3 Thuật toán LOF 44 3.2.2.4 Thuật toán LSC-Mine 48 3.3 Mô hình phát hiện bất thường dựa trên kỹ thuật KPDL 50 I 3.3.1 Module lọc tin 51 3.3.2 Module trích xuất thông tin 51 3.3.3 Môđun phát hiện phần tử di biệt 52 3.3.4 Module phản ứng 55 3.3.5 Module tổng hợp 55 3.4 Giới thiệu về hệ thống phát hiện xâm nhập MINDS 58 3.4.1 Giới thiệu hệ thống 58 3.4.2 So sánh SNORT và MINDS 64 3.4.3.1 Tấn công dựa trên nội dung 64 3.4.3.2 Hoạt động scanning 65 3.4.3.3 Xâm phạm chính sách 66 3.5 Kết chương 66 KẾT LUẬN 68 Hướng phát triển của luặn văn: 69 TÀI LIỆU THAM KHẢO II BẢNG CÁC TỪ VIẾT TẮT, KÝ HIỆU Từ viết tắt Đầy đủ Tiếng Việt IPS IDS NIDS HIDS OOB IPS In-line IPS UDP TCP FTP DNS ROC DoS OSPF SNMP MIB FCM MLP SOM Intrusion Prevension System Instrusion Detection System Network-based Intrusion Detection System Host-based Intrusion Detection System Out of band Intrusion Prevension System In line Intrusion Prevension System User Datagram Protocol Transmission Control Protocol File Transfer Protocol Domain Name Server Recevier Operating Characteristic Curve Denial of Service Open shortest path first Simple Network Management Protocol Management information base Fuzzy cognitive map Multi-layered Perceptron Self-Organizing Maps Hệ thống ngăn chặn truy cập trái phép Hệ thống phát hiện truy cập trái phép Hệ thống phát hiện truy cập cho mạng Hệ thống phát hiện truy cập cho máy trạm Hệ thống IPS bố trí bên ngoài Hệ thống IPS bố trí thẳng hàng Giao thức truyền dữ liệu UDP Giao thức truyền dữ liệu TCP Giao thức truyền file FTP Dịch vụ phân giải tên miền Đường cong đặc trưng hoạt động Tấn công từ chối dịch vụ Giao thức định tuyến OSPF Tập hớp giao thức quản lý mạng đơn giản Cơ sở quản lý thông tin Bản đồ nhận thức mờ Kiến trúc nhận thức đa tầng Bản đồ tổ chức độc lập II FSM IDES NIDES EMERALD LOF MINDS Finite states machine Intrusion Detection Expert System Next Generation Intrusion Detection Expert System Event Monitoring Enabling Responses to Anomalous Live Disturbances Local Outlier Factor Minnesota Intrusion Detection System Máy trạng thái hữu hạn Hệ thống chuyên gia phát hiện truy cập trái phép Thế hệ tiếp theo của hệ thống chuyên gia phát hiện truy cập trái phép Hệ thống phát hiện truy cập EMERALD Nhân tố dị biệt địa phương Hệ thống phát hiện truy cập Minnesota III THÔNG TIN HÌNH VẼ/BẢNG Hình vẽ/bảng Trang Hình 1.1 : Hệ thống Network-based Intrusion Detection Hình 1.2 : Hệ thống Host-based Intrusion Detection Hình 1.3: Hệ thống Hybrid Intrusion Detection Hình 1.4 : Mô hình thêm luật phương pháp phát hiện dựa trên dấu hiệu Hình 1.5: Mô hình thêm luật phương pháp phát hiện dựa trên phát hiện bất thường Hình 1.6 : Mô hình hoạt động của hệ thống IPS Hình 1.7 : Minh họa đường cong ROC Hình 2.1: Mô hình hệ thống phát hiện bất thường dựa trên tập luật Hình 2.2: Mô hình mạng nơron Hình 2.3: Cấu trúc một hệ thống phát hiện bất thường sử dụng SOM Hình 2.4: Công thức chuẩn hóa dữ liệu đầu vào Hình 2.5: Thiết kế của mạng SOM Hình 2.6: Mô hình FSM cho kết nối TCP Hình 3.1: Gán giá trị để lượng hóa các cuộc tấn công trên sơ đồ Hình 3.2: Minh họa bài toán phát hiện phần tử dị biệt. Hình 3.3: Minh họa phương pháp điểm lân cận gần nhất phát hiện phần tử dị biệt. Hình 3.4: Ưu điểm của phương pháp dựa trên khoảng cách Mahalanobis khi tính các khoảng cách. Hình 3.5: Ví dụ khoảng cách R-dis (reach-dist) Hình 3.6: Ưu điểm của phương pháp LOF Hình 3.7: Thuật toán LSC-Mine Hình 3.8: Mô hình hệ thống phát hiện bất thường sử dụng kỹ thuật KPDL Hình 3.9: Đường cong ROC của các thuật toán 6 8 9 12 13 15 18 26 27 29 30 30 31 40 41 43 44 45 47 50 50 54 III Hình 3.10: Mô tả hoạt động của môđun tổng hợp Hình 3.11: Mô hình hoạt động của hệ thống MINDS Hình 3.12: Bảng kết quả đầu ra của hệ thống MINDS – cột đầu tiên là giá trị bất thường Bảng 3.1: Danh sách các cảnh báo chưa rút gọn Bảng 3.2: Danh sách các cảnh báo sau khi đã rút gọn Bảng 3.3: Những đặc điểm chọn “dựa trên thời gian” Bảng 3.4: Những đặc điểm chọn “dựa trên kết nối” 56 59 62 57 58 60 60 1 MỞ ĐẦU Đặt vấn đề Vấn đề an toàn, an ninh mạng không mới nhưng càng ngày càng trở nên quan trọng cùng với sự phát triển theo chiều rộng và chiều sâu của xã hội thông tin. Lấy ví dụ đơn giản như gần đây rất nhiều trang web, các hệ thống mạng ở Việt Nam bị hacker tấn công gây hậu quả đặc biệt nghiêm trọng. Hơn nữa các cuộc tấn công hiện nay ngày một tinh vi, phức tạp và có thể đến từ nhiều hướng khác nhau. Trước tình hình đó các hệ thống thông tin cần phải có những chiến lược, những giải pháp phòng thủ theo chiều sâu nhiều lớp. IPS (Intrusion Prevension System – Hệ thống ngăn chặn truy nhập trái phép) là một hệ thống có khả năng phát hiện trước và làm chệch hướng những cuộc tấn công vào mạng. IPS đáp ứng được yêu cầu là một hệ thống phòng thủ chiến lược theo chiều sâu, nó hoạt động dựa trên cơ sở thu thập dữ liệu mạng, tiến hành phân tích, đánh giá, từ đó xác định xem có dấu hiệu của một cuộc tấn công hay không để đưa ra các cảnh báo cho các nhà quản trị mạng hoặc tự động thực hiện một số thao tắc nhằm ngăn chặn hoặc chấm dứt tấn công. Các hệ thống IPS hiện nay có hai hướng tiếp cận chính là dựa trên dấu hiệu và dựa trên phát hiện bất thường. Đối với hướng dựa trên dấu hiệu, hệ thống sẽ sử dụng các mẫu tấn công từ các lần tấn công trước tiến hành so sánh để xác định dữ liệu đang xét có phải là một cuộc tấn công không, hướng này được sử dụng tương đối rộng rãi nhưng có điểm yếu là chỉ phát hiện được các dạng tấn công đã biết trước. Đối với hướng dựa trên phát hiện bất thường, hệ thống sẽ xây dựng các hồ sơ mô tả trạng thái bình thường, từ đó xét được một hành động là bất thường nếu các thông số đo được của hành động đó có độ khác biệt đáng kể với mức “bình thường”. Hướng tiếp cận này có nhiều ưu điểm hơn cách tiếp cận dựa trên dấu hiệu do nó có khả năng phát hiện ra các cuộc tấn công mới. Nội dung của đề tài Xuất phát từ vấn đề nêu trên, nội dung của đề tài sẽ bao gồm những vấn đề sau: [...]... hoặc mạng và phân tích chúng để tìm ra những dấu hiệu của các mối nguy hiểm có thể xảy ra, chúng vi phạm hoặc sắp vi phạm các chính sách bảo mật của hệ thống máy tính, các chính sách được chấp nhận sử dụng, hoặc các chuẩn bảo mật thông thường Ngăn chặn truy cập trái phép là tiến trình hoạt động bao gồm cả phát hiện truy cập và cố gắng ngăn chặn những mối nguy hiểm được phát hiện Hệ thống ngăn chặn truy. .. định các truy nhập trái phép vào hệ thống bằng cách phân tích các trao đổi của hệ thống, các bản ghi của các ứng dụng, sự sửa đổi các tệp tin trên hệ thống (Các file dạng binary, mật khẩu của file, dung lượng và các acl của các cơ sở dữ liệu) các hoạt động và trạng thái khác của hệ thống để từ đó phát hiện ra các dấu hiệu truy nhập trái phép vào hệ thống Khi phát hiện ra các truy nhập trái phép, Agent... mạng, phát hiện các truy nhập trái phép, các dấu hiệu tấn công vào hệ thống từ đó cảnh báo cho người quản trị hay bộ phận điều khiển biết về nguy cơ xảy ra tấn cống trước khi nó xảy ra Một hệ thống phát hiện các truy nhập trái phép có khả năng phát hiện tất cả các luồng dữ liệu có hại từ mạng vào hệ thống mà các Firewall không thể phát hiện được Thông thường các cuộc tấn công trên mạng thuộc các kiểu... như xuyên suốt luận văn tôi sẽ chủ yếu tập trung tìm hiểu và nghiên cứu các phương pháp phát hiện tấn công bằng phát hiện bất thường Luận văn sẽ lần lượt đi qua các phương pháp cơ bản trong hệ thống sử dụng phát hiện bất thường trong đó sẽ đi sâu vào phương pháp sử dụng Datamining ( Khai phá dữ liệu ), là hướng nghiên cứu được nói đến nhiều nhất hiện nay 2.1 Tổng quan về phương pháp phát hiện bất thường... cuộc tấn công vào máy trạm như thay đổi quyền trên máy, đăng nhập bất hợp pháp và truy nhập vào các tệp tin nhạy cảm hoặc là các loại Virus, Trojan, Worm độc hại khác 1.2.1 Một hệ thống IDS bao gồm các thành phần  Bộ phát hiện (Sensor): Là bộ phận làm nhiệm vụ phát hiện các sự kiện có khả năng đe dọa an ninh của hệ thống mạng, bộ phát hiện có chức năng rà quét nội dung của các gói tin trên mạng, so sánh... IPS Hệ thống IPS sử dụng 2 phương pháp chính để phát hiện tấn công là phương pháp so sánh mẫu và phương pháp so sánh dựa trên bất thường Như chúng ta đã biết phương pháp so sánh mẫu có khá nhiều khuyết điểm và hiện nay không được sử dụng rộng rãi nữa, hầu hết các hệ thống IPS hiện nay chủ yếu hỗ trợ và phát triển phương pháp so sánh dựa trên bất thường với khả năng phát hiện ra các kiểu tấn công mới vì... công và chủ động ngăn chặn các cuộc tấn công đó Hệ thống như vậy được biết đến với cái tên hệ thống ngăn chặn truy nhập IPS Các phần tiếp theo sẽ trình bày về cấu trúc cũng như hoạt động của hệ thống IDS và IPS 1.2 Hệ thống IDS IDS là từ viết tắt tiếng anh của Intrusion Detection System hay còn gọi là hệ thống phát hiện các truy nhập trái phép IDS có nhiệm vụ rà quét các gói tin trên mạng, phát hiện. .. Chúng ta sẽ tìm hiểu kỹ hơn về các phương pháp sử dụng để phát hiện bất thường trong Chương 2 : “Tìm hiểu và nghiên cứu các phương pháp phát hiện tấn công trong hệ thống IPS ” và Chương 3: “Phương pháp phát hiện bất thường dựa trên Khai phá dữ liệu” là nội dung chính của luận văn 1.3.2.3 Module phản ứng Khi có dấu hiệu của sự tấn công hoặc xâm nhập, module phát hiện tấn công sẽ gửi tín hiệu báo hiệu có... truy cập trái phép tập trung chủ yếu vào việc phát hiện các mối đe dọa có thể đối với hệ thống, ghi lại thông tin về chúng, cố gắng ngăn chặn và thông tin cho người quản trị mạng Ngoài ra IPS còn được sử dụng cho các mục đích khác như phát hiện các lỗi trong chính sách bảo mật, lập tài liệu các mối đe dọa đã biết, cản trở những cá nhân vi phạm chính sách bảo mật IPS đang ngày càng trở nên cần thiết và. .. là công việc cơ bản cho việc phát hiện bất thường Các loại bất thường có thể phát hiện được phụ thuộc vào bản chất của dữ liệu mạng Trong phần này chúng ta sẽ xem xét một số nguồn có thể thu thập dữ liệu và phân tích sự thích hợp của chúng trong việc phát hiện bất thường Bản chất của phương pháp phát hiện bất thường là xây dựng nên tập các hồ sơ trạng thái bình thường của mạng để so sánh do đó dữ liệu . Self-Organizing Maps Hệ thống ngăn chặn truy cập trái phép Hệ thống phát hiện truy cập trái phép Hệ thống phát hiện truy cập cho mạng Hệ thống phát hiện truy cập cho máy trạm Hệ thống. gia phát hiện truy cập trái phép Thế hệ tiếp theo của hệ thống chuyên gia phát hiện truy cập trái phép Hệ thống phát hiện truy cập EMERALD Nhân tố dị biệt địa phương Hệ thống phát hiện. TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN PHƯƠNG CHÍNH GIẢI PHÁP PHÁT HIỆN VÀ NGĂN CHẶN TRUY CẬP TRÁI PHÉP VÀO MẠNG LUẬN VĂN THẠC SĨ Hà Nội – 2009