ĐỒ án tìm hiểu, nghiên cứu cũng như triển khai áp dụng được splunk vào mô hình mạng thực tế

61 1.1K 14
ĐỒ án  tìm hiểu, nghiên cứu cũng như triển khai áp dụng được splunk vào mô hình mạng thực tế

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

Mục Lục Chú thích hình ảnh 3 Chú thích thuật ngữ 5 1 Đặt Vấn Đề 6 2 Tổng quan về Splunk 7 2.1 Splunk là gì? 7 2.2 Sơ đồ Splunk phổ biến 7 2.3 Splunk thu thập những gì? 8 2.4 Splunk có thể làm gì? 8 2.5 Splunk cung cấp cho chúng ta những gì? 8 2.6 Splunk, Giải pháp tối ưu cho Big Data? 8 2.7 Tại sao chọn Splunk? 8 3 Giải pháp với Splunk 10 3.1 Quản lý các ứng dụng: 10 3.1.1 Giải quyết vấn đề nhanh hơn, giảm thời gian bị downtime: 10 3.1.2 Tại sao Splunk là giải pháp tốt cho việc quản lý ứng dụng 11 3.2 Quản lý hoạt động IT 11 3.2.1 Phân tích hoạt động IT: 12 3.2.2 Giám sát cơ sở hạ tầng: 12 3.2.3 Splunk cho hệ điều hành 13 3.2.4 Quản lý ảo hóa 13 3.3 An ninh trong lĩnh vực IT 15 3.3.1 Mối đe dọa an ninh ngày một tăng: 15 3.3.2 Quản lý log: 15 3.3.3 Ứng dụng Splunk dành cho an ninh: 15 4 Các tính năng chính trong hoạt động Giám sát mạng của Splunk 16 4.1 Map Reduce 16 4.1.1 Map reduce là gì? 16 4.1.2 Ưu điểm của mapreduce 16 4.1.3 Nguyên tắc hoạt động của Mapreduce 16 4.1.4 4.Chi tiết 2 hàm Map và Reduce 17 4.1.5 Thực thi Mapreduce trong hệ thống 19 4.2 Hướng dẫn tìm kiếm và sử dụng Splunk hiệu quả 21 4.2.1 Một số điều cần lưu ý khi tìm kiếm dữ liệu trong Splunk: 21 4.2.2 Tìm hiểu về Boolean và nhóm các điều kiện 22 4.2.3 Sử dụng để tìm kiếm 1 cách hiệu quả 22 4.2.4 Tìm kiếm các sự kiện bằng thời gian 22 4.2.5 Chia sẻ kết quả tìm kiếm với người khác 22 4.2.6 Lưu kết quả tìm kiếm để sử dụng lại 23 4.2.7 Tạo alerts từ kết quả tìm kiếm 24 4.3 Table , chart trong Splunk 26 4.3.1 Giới thiệu một số hàm cơ bản trong việc tạo table 26 4.3.2 Ví dụ về một table cụ thể: 26 4.4 Dashboard 29 4.4.1 SEARCH LANGUAGE trong Splunk 30 4.4.2 Định nghĩa chức năng một số hàm tìm kiếm 30 4.4.3 Một số cú pháp search language trong splunk: 33 4.5 Splunk Forwarder 35 4.5.1 Các loại Forwarder: 35 4.5.2 So sánh universal forwarder với Splunk full: 35 4.5.3 So sánh universal forwarder với light forwarder: 36 4.6 Một số khái niệm về các file Splunk.conf 36 4.7 Hướng dẫn cấu hình input log từ syslog server vào splunk server 37 4.8 Hướng dẫn cấu hình input log Window vào splunk server 39 4.9 Cách tạo Dashboards 42 5 Demo Lab lấy log từ hệ thống mạng nhỏ 45 5.1 Mô hình: 45 5.1.1 Bước 1: Lấy log từ Pfsense vào Splunk 46 5.1.2 Bước 2: Lấy log từ Window Server 2k8 DC vào Splunk 51 6 Kết luận và hướng phát triển đề tài 61 6.1 Kết luận 61 6.2 Hướng phát triển 61

Trường đại học Hoa Sen Mục Lục Trường đại học Hoa Sen Chú thích hình ảnh Hình : Sơ đồ triển khai Splunk phổ biến doanh nghiệp Hình : Các loại data , log mà Splunk index Hình : Hệ thống index tìm kiếm phân phối nhiều core Splunk Hình : Sơ đồ hoạt động Mapreduce Hình : Ví dụ minh họa cách mà Mapreduce hoạt động Hình : Phân nhỏ liệu đầu vào Hình : Sao chép chương trình Hình : Thực hàm Map cho kết Hình : Thực hàm Reduce thông báo kết cho Master Hình 10 : Thơng báo chương trình mapreduce hồn tất kết lưu trữ R tập tin Hình 11 : Ví dụ tìm kiện xảy 60 phút trước Hình 12 : Lưu chia sẻ kết tìm Hình 13 : Kết chia sẻ dạng link Hình 14 : Lưu kết tìm kiếm Hình 15 : Những kết phải thỏa điều kiện thiết lập lưu Hình 16 : Kết tìm kiếm xuất menu Search & Report Hình 17 : Tạo alert Hình 18 : Đặt tên alert điều kiện để kích hoạt alert Hình 19 : Chạy kết tìm kiếm event giờ, khởi động arlet kết tìm kiếm lớn Hình 20 : Nếu số lượng event tìm phút bé kích hoạt alert Hình 21 : Các option Alert Hình 22 : Một table dạng số Hình 23 : Một table dạng chart Hình 24 : Biểu đồ chart liệu nhận khoảng thơi gian Hình 24 : Các tùy chọn formating chart Hình 25 : Ví dụ dashboard Hình 26 : Tắt selinux Hình 27 : Cấu hình mặc định file rsyslog.conf Hình 28 : Cấu hình để mở port 514 cho syslog Trường đại học Hoa Sen Hình 29 : Giao diện web Splunk Hình 30 : Giao diện splunk có thêm add-on Windows Hình 31 : Cấu hình Forwarding and Receiving Hình 32 : Tùy chọn loại log mà universalforwarder gửi Hình 33 : Splunk nhận log Windows Hình 34 : Menu Splunk Hình 35 : Tạo Dashboard Hình 36 : Tùy chỉnh kiểu Dashboard xuất Hình 37 : Biểu đồ biểu diễn log hệ thống Window dạng pie Hình 37 : Biểu đồ biểu diễn log hệ thống Window dạng cột Hình 38 : Thêm ghép nhiều biểu đồ trở thành dashboard Trường đại học Hoa Sen Chú thích thuật ngữ Big Data: Là tập hơp liệu lớn từ nhiều nguồn hệ thống máy tính, mysql, ứng dụng.v.v.v Map Reduce : thuật toán giúp ứng dụng xử lý nhanh lượng liệu lớn UniversalForwarder : phiên splunk có tính thu thập gửi liệu Light Forwarder : phiên Splunk , khơng có tính phân tích mà forward liệu Ít sử dụng phiên splunk 6.0 Heavy Forwarder : Là phiên Splunk, phân tích gửi khơng có khả tìm kiếm phân phối liệu Dashboard : Là bảng bao gồm nhiều biểu đồ với nhiều kiểu định dạng khác Pfsense : Phần mềm firewall mã nguồn mở Trường đại học Hoa Sen Đặt Vấn Đề Trong doanh nghiệp, hệ thống công nghệ thông tin hệ thống vô quan trọng Ngày với mức độ phát triển cơng nghệ nhanh chóng, ngồi việc đảm bảo khả vận hành, hoạt động liên tục xác việc đảm bảo an ninh thông tin thách thức lớn    Nguy bên ngoài: Tin tặc bên lợi dụng lỗ hổng hệ thống để đột nhập Nguy bên trong: hành vi người dùng , ý thức mức độ an tồn liệu chưa cao Tính thống quản trị : Khi hệ thống lớn mức độ phức tạp quản lý tang cao SIEM giải pháp hoàn chính, đầy đủ cho phép tổ chức thực việc giám sát kiện cho mộ hệ thống Các thành phần SIEM bao gồm: thành phần thu thập nhật ký, thành phần phân tích, thành phần lưu trữ, thành phần quản trị tập trung Ngoài có thành phần khác như: thành phần giám sát Network mức lớp hình OSI, module tạo báo cáo (Complaince Report, Dashboard) Giải pháp SIEM có ưu điểm sau:  Hỗ trợ thu thập, phân tích kiện theo thời gian thực thu thập từ hệ thống gửi về, kết hợp với thông tin liên quan đến người dùng, thành phần hệ thống  liệu Cung cấp khả lưu trữ log dài, tồn diện (log management) khả phân tích theo ngữ  cảnh (Correlation) Cung cấp chức xây dựng sẵn cho phép thay đổi (Customized) theo yêu cầu  tổ chức Dễ dàng triển khai sử dụng Splunk cầu nối việc quản lý log cách đơn giản bảo mật thông tin, thu thập kiện Cái mà phân biệt Splunk so với server Syslog hay công cụ SIEM khác Splunk Apps Một thự viện quản lý 200 add-on khác Chính điều làm cho Splunk trở nên khác biệt, tặng khả thu thập thông tin loại log khác nhau, có giao diện gần gũi thân thiện, cung cấp tính tìm kiếm phân tích liệu thu Tổng quan Splunk 2.1 Splunk gì? Splunk hệ thống captures, trích liệu thời gian thực có liên quan tới từ tạo đồ thị, báo cáo, cảnh báo biểu đồ Trường đại học Hoa Sen Mục đích Splunk giúp cho việc xác định hình liệu thu thập liệu máy tồn hệ thống dễ dàng hơn.Nó cung cấp số liệu, chẩn đoán vấn đề xảy , phục vụ tốt cho hoạt động kinh doanh Splunk tìm kiếm kiện xảy ra, đồng thời báo cáo phân tích thống kê kết tìm Nó nhập liệu máy dạng có cấu trúc khơng cấu trúc Hoạt động tìm kiếm phân tích sử dụng SPL(Search Processing Language), tạo để quản lý Big Data Do phát triển từ Unix Piping SQL nên Splunk có khả tìm kiếm liệu, lọc, sửa đổi, chèn xóa liệu 2.2 Sơ đồ Splunk phổ biến Hình : Sơ đồ triển khai Splunk phổ biến doanh nghiệp hình bao gồm thành phần như: +Nhiều thiết bị Forwarders trung gian phục vụ cho q trình load, tính sẵn sang cao, cải thiện tốc độ xử lý event tới Trường đại học Hoa Sen +Một Indexer liên kết với nhiều hệ thống Với nhiều search-peer(indexer) cải thiện hiệu trình nhập liệu tìm kiếm Nó giúp giảm thời gian tìm kiếm cung cấp tính dự phòng cao +Có nhiều đầu tìm kiếm Những hệ thống riêng biệt phân phối yêu cầu tìm kiếm tất search-peer cấu hình trước để cải thiện hiệu tìm kiếm +Đầu tìm kiếm riêng biệt thể để hỗ trợ ứng dụng Splunk’s Enterprise Security(ES) +Server triển khai Hệ thống tích hợp với dịch vụ Splunk khác, triển khai độc lập Nếu muốn triển khai hệ thống lớn, hệ thống độc lập quan trọng 2.3 Splunk thu thập gì? *Splunk thu thập liệu hệ thống máy móc tạo Dữ liệu hệ thống bao gồm nhiều hạng mục record tất hoạt động hành vi- hành vi khách hàng, giao dịch user, hành vi hệ thống 2.4 Splunk làm gì? -Server Metrics -Vulnerability Data -Custom Applications -Physical Security -Windows registries -Scripts -Card key -Patch Mgmt -Server Logs -Host Config -DNS Logs -Virtual Logs -Host ID -Database Logs -Router -Email Logs -RAS VPN -Application Logs 2.5 Splunk cung cấp cho gì? Splunk cung cấp giao diện chung cho tất liệu IT tìm kiếm liệu, cảnh báo, báo cáo(report), hay chia sẻ liệu cho Splunk cung cấp giải pháp tìm kiếm tối ưu 2.6 Splunk, Giải pháp tối ưu cho Big Data? -Splunk tìm kiếm liệu có liên quan với nhau, giúp thu hẹp phạm vi tìm kiếm , tiết kiệm thời gian, làm cho công tác quản trị mạng tốt 2.7 Tại chọn Splunk? Splunk goi Google log, có cơng cụ search mạng mẽ chấp nhận liệu định dạng Hình : Các loại data , log mà Splunk index Splunk tự động list thời gian cụ thể kiện xảy hệ thống mà giám sát Cảnh báo thời gian thực Ta chỉnh tùy chọn, định nghĩa loại cảnh báo định nhận cảnh báo Splunk cung cấp thơng tin tìm kiếm thơng minh: Kết tìm kiếm xếp hợp lý, có liên quan với nhau, khả hiển thị thời gian thực, phân tích lịch sử kiện xảy Splunk lưu trữ khối lượng dự liệu lớn hệ thống IT liệu có cấu trúc bất kỳ, song tốc độ truy vấn liệu nhanh Tìm kiếm phân tán sử dụng Map Reduce( phần mềm Google, phục vụ cho việc tính tốn phân tán tập liệu lớn cụm máy tính) Hình : Hệ thống index tìm kiếm phân phối nhiều core Splunk Dữ liệu cần tìm kiếm phân phối nhiều cores Mỗi indexter xử lý tập hợp toàn liệu tạo phần kết tìm kiếm tổng thể đưa vào vào đầu q trình tìm kiếm để giảm tải Tham khảo: http://docs.splunk.com/Documentation/Splunk/6.0.2/installation/RunSplunkasadifferentornon-rootuser Giải pháp với Splunk 3.1 Quản lý ứng dụng: 3.1.1 Giải vấn đề nhanh hơn, giảm thời gian bị downtime: -Troublesshoot vấn đề cách nhanh chóng, giảm chi phí giảm thời gian để điều tra khắc phục cố tới 70% -Giảm phức tạp cách cung cấp cho nhà phát triển truy cập vào log ứng dụng thơng qua vị trí trung tâm mà không cần quyền truy cập vào hệ thống -Giám sát tồn mơi trường ứng dụng thời gian thực để ngăn chặn vấn đề ảnh hưởng tới người dung, giữ lại log từ kiện định kỳ để ngăn ngừa mát -Nắm hoạt động toàn ứng dụng: -Truy vết giám sát giao dịch ứng dụng thông qua tầng kiến trúc phân tán từ nhiều nguồn liệu -Phát bất thường vấn đề hoạt động, thời gian đáp ứng chủ động giải chúng trước ảnh hưởng tới người dung ứng dụng Chọn port nhận gói tin UDP từ client 514, Đặt sourcetype Manual, chọn Save Splunk nhận gói tin UDP từ port 514 + Trên máy Pfsense: Vào Status=>System Logs Chọn tab Setting Tích vào Send log Messages to remote syslog server, IP remote server nhận log 193.1.1.50(máy Splunk), tích tùy chọn log muốn gửi qua Splunk, Chọn Save Lưu ý Pfsense gửi log giao thức UDP Kết quả: Splunk nhận log từ Pfsense Nhấn search tìm địa IP 193.1.1.1 Pfsense 5.1.2 Bước 2: Lấy log từ Window Server 2k8 DC vào Splunk +Trên máy Window Server 2008: Cài đặt Splunk Forwarder Chọn chấp nhận điều khoản splunk sau bấm Next Chọn nơi cài đặt cho Splunk Nhập vào địa máy chủ splunk port Lưu ý: ta chọn port trùng với port cấu hình Splunk ( Setting > Forwarding and Receive data ) để liệu gửi qua Splunk Chọn mục Remote Windows Data để gửi thông tin log, event, performance DomainController Nhập tên tài khoản administrator DomainController Chọn loại log mà ta cần giám sát, ta tùy chỉnh lại file sau cài đặt Ta chọn cài đặt Splunk Add-on for Windows Finish để kết thúc trình cài đặt Copy thư mục TA-DNSServer-NT6 TA-DomainController-NT6 vào thư mục câu hình Splunk để gửi thơng tin DC Sau ta restart server để splunk hoạt động Sau restart lại DC, kiểm tra thấy tiến trình Splunk hoạt động +Cấu hình Splunk Vào Forwarding and Receiving add thêm port 10000 trùng với port lúc cài đặt DC Sau gắn port ta kiểm tra liệu gửi qua cho Splunk, mục Splunk App for Windows Infrastructure Kết luận hướng phát triển đề tài 6.1 Kết luận Với mục tiêu đề ra, nhóm chúng tơi hồn thành cơng việc tìm hiểu, nghiên cứu triển khai áp dụng Splunk vào hình mạng thực tế Qua đó, nhóm chúng tơi kiểm chứng yếu tố sau splunk: • • • • Nguyên lý hoạt động môi trường bigdata Một số tính nâng cao việc xử dụng splunk Sức mạnh việc truy vết xự cố phát sinh hệ thống Điều quan cốt lỗi thu lượng kiến thức xoay quanh vấn đề syslog hiểu thêm tầm quan trọng công tác an ninh, bảo mật, phục hồi mạng Kết đạt giúp hiểu sâu tính mà splunk cung cấp Tuy nhiên, hạn chế tài liệu, phí sử dụng quyền kinh nghiệm nhóm nên báo cáo nhiều thiếu sót Nhưng nhóm chúng tơi cố gắng tiếp tục tìm hiểu sâu nữa, kể sau kết thúc báo cáo nghiên cứu khoa học 6.2 Hướng phát triển Thế giới cơng nghệ thơng tin nói chung mơi trường mạng nói riêng ngày phát triển vượt bậc Song song với ngày có nhiều lỗ hõng mạng khai thác tạo điều kiện thuận lợi cho hacker xâm nhập gây ảnh hương tiêu cực đến hệ thống Ngồi ra, vị trí IT system administrator phải lắng nghe tất thông điệp phát từ hệ thống Qua cho thấy Splunk hoàn toàn phù hợp, cần thiết đầy đủ khả để đáp ứng yêu cầu đặt chương trình quản lý, giám sát, cảnh báo tất kiện âm thầm diễn hệ thống Thực tế, Splunk trình dịch viên cao cấp giúp người quản trị giao tiếp cách trực quan hệ thống Qua nhìn trực quan mà người quản trị xác định xác đâu nguyên nhân dẫn đến cố để khắc phục hiệu xây dựng phương hướng phát triển hệ thống Tất điều chứng minh rằng, Splunk có đầy đủ khả hoạt động môi trường datacenter, mạng doanh nghiệp, mạng dịch vụ, hạ tầng mạng, hỗ trợ thiết bị cisco, IBM,… Tổng hợp điều ra, nơi có hệ thống mạng tồn tại, nơi có hệ thống log tồn nơi ứng dụng Splunk ... Chú thích hình ảnh Hình : Sơ đồ triển khai Splunk phổ biến doanh nghiệp Hình : Các loại data , log mà Splunk index Hình : Hệ thống index tìm kiếm phân phối nhiều core Splunk Hình : Sơ đồ hoạt động... hiệu tìm kiếm +Đầu tìm kiếm riêng biệt thể để hỗ trợ ứng dụng Splunk s Enterprise Security(ES) +Server triển khai Hệ thống tích hợp với dịch vụ Splunk khác, triển khai độc lập Nếu muốn triển khai. .. dùng để thực subsearch (tìm kiếm con) 4.2.3 Sử dụng * để tìm kiếm cách hiệu -Mặc dù index dựa vào từ để tìm kiếm ta dùng * ta khơng biết xác từ -Nên sử dụng * sau cùng, sau áp dụng từ khóa tìm kiếm

Ngày đăng: 02/04/2019, 21:59

Từ khóa liên quan

Mục lục

  • Chú thích hình ảnh

  • Chú thích thuật ngữ

  • 1 Đặt Vấn Đề

  • 2 Tổng quan về Splunk

    • 2.1 Splunk là gì?

    • 2.2 Sơ đồ Splunk phổ biến

    • 2.3 Splunk thu thập những gì?

    • 2.4 Splunk có thể làm gì?

    • 2.5 Splunk cung cấp cho chúng ta những gì?

    • 2.6 Splunk, Giải pháp tối ưu cho Big Data?

    • 2.7 Tại sao chọn Splunk?

    • 3 Giải pháp với Splunk

      • 3.1 Quản lý các ứng dụng:

        • 3.1.1 Giải quyết vấn đề nhanh hơn, giảm thời gian bị downtime:

        • 3.1.2 Tại sao Splunk là giải pháp tốt cho việc quản lý ứng dụng

        • 3.2 Quản lý hoạt động IT

          • 3.2.1 Phân tích hoạt động IT:

          • 3.2.2 Giám sát cơ sở hạ tầng:

          • 3.2.3 Splunk cho hệ điều hành

          • 3.2.4 Quản lý ảo hóa

          • 3.3 An ninh trong lĩnh vực IT

            • 3.3.1 Mối đe dọa an ninh ngày một tăng:

            • 3.3.2 Quản lý log:

            • 3.3.3 Ứng dụng Splunk dành cho an ninh:

            • 4 Các tính năng chính trong hoạt động Giám sát mạng của Splunk

              • 4.1 Map Reduce

                • 4.1.1 Map reduce là gì?

Tài liệu cùng người dùng

Tài liệu liên quan