Đang tải... (xem toàn văn)
Nghiên cứu một số thuật toán cho web caching và ứng dụng (Luận văn thạc sĩ)Nghiên cứu một số thuật toán cho web caching và ứng dụng (Luận văn thạc sĩ)Nghiên cứu một số thuật toán cho web caching và ứng dụng (Luận văn thạc sĩ)Nghiên cứu một số thuật toán cho web caching và ứng dụng (Luận văn thạc sĩ)Nghiên cứu một số thuật toán cho web caching và ứng dụng (Luận văn thạc sĩ)Nghiên cứu một số thuật toán cho web caching và ứng dụng (Luận văn thạc sĩ)Nghiên cứu một số thuật toán cho web caching và ứng dụng (Luận văn thạc sĩ)Nghiên cứu một số thuật toán cho web caching và ứng dụng (Luận văn thạc sĩ)Nghiên cứu một số thuật toán cho web caching và ứng dụng (Luận văn thạc sĩ)Nghiên cứu một số thuật toán cho web caching và ứng dụng (Luận văn thạc sĩ)Nghiên cứu một số thuật toán cho web caching và ứng dụng (Luận văn thạc sĩ)
ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG Nguyễn Quang Thành NGHIÊN CỨU MỘT SỐ THUẬT TOÁN CHO WEB CACHING VÀ ỨNG DỤNG Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Nguyễn Văn Tam Thái Nguyên, năm 2016 i LỜI CAM ĐOAN Luận văn kết nghiên cứu tổng hợp kiến thức mà học viên thu thập trình học tập trường Đại học Công nghệ thông tin Truyền thông - Đại học Thái Nguyên, hướng dẫn, giúp đỡ thầy cô bạn bè đồng nghiệp, đặc biệt hướng dẫn, giúp đỡ PGS.TS Nguyễn Văn Tam Tôi xin cam đoan luận văn sản phẩm chép tài liệu khoa học Học viên NGUYỄN QUANG THÀNH ii LỜI CẢM ƠN Đầu tiên xin gửi lời cảm ơn sâu sắc tới PGS.TS Nguyễn Văn Tam, người hướng dẫn khoa học, tận tình bảo, giúp đỡ thực luận văn Tôi xin cảm ơn thầy cô trường Đại học Công nghệ thông tin Truyền thông - Đại học Thái Nguyên giảng dạy truyền đạt kiến thức cho Cuối cùng, xin cảm ơn người thân bạn bè chia sẻ, gúp đỡ tơi hồn thành luận văn Mặc dù cố gắng hoàn thành luận văn với tất nỗ lực thân, luận văn thiếu sót Kính mong nhận ý kiến đóng góp quý Thầy, Cô bạn bè đồng nghiệp Tôi xin chân thành cảm ơn! Việt trì ngày 10 tháng 05 năm 2016 Nguyễn Quang Thành iii MỤC LỤC TRANG PHỤ BÌA LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii PHỤ LỤCDANH MỤC CÁC KÍ HIỆU, CÁC CHỮ VIẾT TẮT iv DANH MỤC CÁC KÍ HIỆU, CÁC CHỮ VIẾT TẮT v DANH MỤC CÁC HÌNH VẼ vi DANH MỤC CÁC BẢNG vii MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ WEB CACHING 1.1 Giới thiệu web caching 1.1.1 Vấn đề tải truy cập Internet web caching 1.1.2 Định nghĩa web Caching 1.1.3 Một số khái niệm Caching 1.2 Các kiến trúc web Caching 1.2.1 Kiến trúc cache phân tầng phân tán 1.2.2 Kiến trúc kết hợp (Caching lai) 14 1.3 Ưu nhược điểm Web caching 18 1.4 Kết luận chương 19 CHƯƠNG 2: MỘT SỐ THUẬT TOÁN WEB CACHING 20 2.1 Thuật toán Least Frequently Used with Dynamic Aging (LFU-DA) 20 2.2 Thuật toán Greedy Dual Size (GDS) 21 2.3 Thuật toán Cost Effective (CE) 21 2.4 Thuật toán Least recently used (LRU) 23 2.4.1 Thay trang 23 2.4.2 Các thuật toán thay trang 24 2.4.3 Vấn đề thay Cache 28 2.5 Các thuật toán dựa LRU Web caching 32 2.6 Kết luận chương 38 CHƯƠNG 3: KỸ THUẬT CACHE TRONG WEB PROXY 39 3.1 Cơ cache Squid 39 3.1.1 Lệnh cache_dir 40 3.1.2 Thuật toán thay 43 3.1.3 Loại bỏ đối tượng Cache 45 3.2 Điều khiển cache Squid 49 3.2.1 Thông tin kết nối 50 3.2.2 Thông tin Cache 52 3.2.3 Thời gian dịch vụ trung bình 53 3.2.4 Sử dụng tài nguyên 55 iv 3.2.5 Hàm quản lý nhớ sử dụng 57 3.2.6 Kỹ thuật quản lý nhớ 58 3.2.7 Mô tả file sử dụng Squid 58 3.2.8 Cấu trúc liệu Squid: 60 3.3 Mơ hình thử nghiệm đánh giá kết 61 3.3.1 Cài đặt Squid 61 3.3.2 Thống kê, vẽ đồ thị 67 3.3.3 Đánh giá kết 71 3.4 Kết luận chương 71 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 72 TÀI LIỆU THAM KHẢO 73 PHỤ LỤC v DANH MỤC CÁC KÍ HIỆU, CÁC CHỮ VIẾT TẮT Kí hiệu Tên đầy đủ ISP Internet Service Provider ARPANET Advanced Research Projects Agency Network NSFNET National Science Foundation Network WAN Wide Area Network CPU Central Processing Unit LRU Least recently used LFU - DA Least Frequently Used with Dynamic Aging HLRU History LRU GDS Greedy Dual Size CE Cost Effective DNS Domain Name System WWW World Wide Web vi DANH MỤC CÁC HÌNH VẼ Hình 1.1 Vị trí nhớ Web cache Hình 1.2 Sơ đồ biểu diễn Proxy server cache Hình 1.3 Vị trí đặt origin server cache Hình 1.4 Mơ hình phân cấp ISP Hình 1.5 Mơ hình phân 10 Hình 1.6 Sơ đồ đầy đủ kiến trúc phân tầng Web Caching ISP 11 Hình 1.7 Sơ đồ kiến trúc phân tán Web caching ISP 11 Hình 1.8 Sơ đồ Hybrid Web Caching ISP 14 Hình 1.9 Thời gian kết nối trung bình cho toàn N trang Web, phụ thuộc vào số cache kết hợp k 15 Hình 1.10 Thời gian kết nối Caching phân cấp, caching phấn tán caching hỗn hợp 15 Hình 1.11 Thời gian truyền N trang Web 16 Hình 1.12 Thời gian truyền cho caching lai với số đệm tối ưu k, ρ=0,8 17 Hình 2.1 Cấu trúc phần tử bảng trang 24 Hình 2.2 Lược đồ thay nội dung cache thuật toán LRU 25 Hình 2.3 Cấu trúc phần tử bảng trang 27 Hình 2.4 Thuật toán thay cache LRU 32 Hình 2.5 Thuật tốn thay cache HLRU 36 Hình 3.1 Mơ hình thử nghiệm 61 Hình 3.2 Giải nén thư mục nguồn 62 Hình 3.3 Biên dịch # /configure 62 Hình 3.4 Bảy đường dẫn đặt Squid 63 Hình 3.5 Biên dịch mã nguồn 64 Hình 3.6 Cài đặt Squid 64 Hình 3.7 Giao diện chạy Squid 66 Hình 3.8 Giao diện chạy Squidclient 67 Hình 3.10 Cache hit Byte hit, số yêu cầu 71 vii DANH MỤC CÁC BẢNG Bảng 2.1 Các thuộc tính hữu ích đối tượng lưu trữ i 28 Bảng 2.2 Cấu trúc liệu LRU HLRU 37 MỞ ĐẦU I LÝ DO CHỌN ĐỀ TÀI Ngày nay, World Wide Web (WWW) ngày phát triển sâu vào ngõ ngách sống đại, phương tiện truy cập mạng đơn giản, thân thiện với người sử dụng Việc sử dụng dịch vụ Web tăng theo cấp số mũ, lưu lượng WWW mạng Internet quốc gia quốc tế tăng đột biến Và Việt Nam không nằm ngồi vòng xốy lốc WWW, cổng giao tiếp điện tử, ứng dụng phát triển Trong tương lai, ứng dụng phát triển phát triển hạ tầng mạng máy tính đòi hỏi tảng công nghệ thông tin ngày cao Tuy nhiên để có điều khơng phải vấn đề đơn giản Hiện mạng máy tính Việt Nam ngày phát triển, nhiên với điều kiện nước ta, sở vật chất hạ tầng mạng máy tính thấp Chất lượng dịch vụ thời gian đáp ứng cải thiện cách giảm tải cho mạng, số phương pháp sử dụng kỹ thuật Webcaching Kỹ thuật Web caching đời nâng cao hiệu việc thực hiên tăng tốc ứng dụng WWW Bản thân làm công việc quản lý hệ thống mạng với mong muốn nghiên cứu hạ tầng mạng sở, lựa chọn đề tài: “Nghiên cứu số thuật toán cho Web Caching ứng dụng” Luận văn trước tiên nghiên cứu số thuật toán Web Caching Trên sở đó, luận văn nghiên cứu trình bày thuật tốn LRU phần mềm Squid proxy để nâng cao hiệu ứng dụng WWW hệ thống Cuối chương trình thử nghiệm đánh giá kết thuật toán LRU Squid proxy ngân hàng Vietinbank chi nhánh đền Hùng - tỉnh Phú Thọ II MỤC TIÊU, ĐỐI TƯỢNG, PHẠM VI NGHIÊN CỨU Mục tiêu Nắm bắt thuật toán Web Caching ứng dụng phương pháp Trên sở nghiên cứu, tìm hiểu lý thuyết thuật toán LRU thử nghiệm Web caching sử dụng thuật toán LRU Đối tượng phạm vi nghiên cứu - Tìm hiểu xây dựng thuật tốn LRU việc thử nghiêm Web Caching - Cài đặt thử nghiệm III PHƯƠNG PHÁP NGHIÊN CỨU - Phương pháp nghiên cứu tài liệu, phân tích, tổng hợp - Phương pháp trao đổi khoa học, lấy ý kiến chuyên gia - Phương pháp thực nghiệm đối chứng qua chương trình thử nghiệm ... muốn nghiên cứu hạ tầng mạng sở, lựa chọn đề tài: Nghiên cứu số thuật toán cho Web Caching ứng dụng Luận văn trước tiên nghiên cứu số thuật tốn Web Caching Trên sở đó, luận văn nghiên cứu trình... TƯỢNG, PHẠM VI NGHIÊN CỨU Mục tiêu Nắm bắt thuật toán Web Caching ứng dụng phương pháp 2 Trên sở nghiên cứu, tìm hiểu lý thuyết thuật tốn LRU thử nghiệm Web caching sử dụng thuật toán LRU Đối... 19 CHƯƠNG 2: MỘT SỐ THUẬT TOÁN WEB CACHING 20 2.1 Thuật toán Least Frequently Used with Dynamic Aging (LFU-DA) 20 2.2 Thuật toán Greedy Dual Size (GDS) 21 2.3 Thuật toán Cost Effective