Đang tải... (xem toàn văn)
Xây dựng thành công một quy trình hoàn chỉnh cho một webmaster bất kỳ muốn sử dụng dịch vụ khai thác thông tin của hệ thống, từ việc đăng ký đến cách thức áp dụng kỹ thuật tách dữ liệu trên website của họ
ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA CÔNG NGHỆ THÔNG TIN Tel (84-511) 736 949, Fax (84-511) 842 771 Website: itf.ud.edu.vn, E-mail: cntt@edu.ud.vn LUẬN VĂN TỐT NGHIỆP KỸ SƯ NGÀNH CÔNG NGHỆ THÔNG TIN MÃ NGÀNH : 05115 ĐỀ TÀI : Xây dựng hệ thống thống kê phân tích thơng tin truy cập website Mã số : 04T2-002 Ngày bảo vệ : 16/06/2009 SINH VIÊN : Quán Đức Bình Nguyễn Văn Hồng Quang LỚP : 04T2 CBHD : TS GVC Nguyễn Thanh Bình ĐÀ NẴNG, 06/2009 LỜI CẢM ƠN Để hoàn thành đồ án này, chúng em nhận bảo tận tình Thầy Cơ giáo khoa Cơng nghệ Thông tin trường Đại học Bách Khoa, giúp đỡ động viên gia đình bạn bè Trước tiên chúng em xin chân thành cảm ơn tất thầy cô trường Đại học Bách Khoa, Đại học Đà Nẵng dạy dỗ truyền đạt kiến thức cho chúng em thời gian học trường Em xin chân thành cám ơn thầy giáo Tiến sĩ Nguyễn Thanh Bình Cám ơn Thầy tận tình hướng dẫn góp ý cho chúng em q trình thực đồ án Nhờ mà chúng em hoàn thành theo yêu cầu nội dung đồ án tốt nghiệp Chúng em xin gửi lời cảm ơn đến người bạn ngành góp ý hỗ trợ mặt kỹ thuật, tài liệu thơng tin để chúng em hoàn thành đồ án kịp tiến độ giao Sinh viên, Quán Đức Bình Nguyễn Văn Hồng Quang LỜI CAM ĐOAN Tôi xin cam đoan : Những nội dung luận văn thực hướng dẫn trực tiếp thầy (cô) TS GVC Nguyễn Thanh Bình Mọi tham khảo dùng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm cơng bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, xin chịu hồn tồn trách nhiệm Sinh viên, Qn Đức Bình Nguyễn Văn Hồng Quang NHẬN XÉT CỦA CÁN BỘ HƯỚNG DẪN NHẬN XÉT CỦA CÁN BỘ DUYỆT MỤC LỤC MỞ ĐẦU Giới thiệu bối cảnh đề tài Ý nghĩa mục đích đề tài Nhiệm vụ phải thực Tóm tắt phương pháp triển khai .5 Bố cục trình bày CƠ SỞ LÝ THUYẾT .6 I Tìm hiểu khái niệm ứng dụng thống kê II Khai thác thông tin client họ truy cập vào website III Tổng quan Webservices 10 IV Lựa chọn CSDL – Tại chọn SQL Server 2005 16 V Báo cáo trực quan hình ảnh .21 PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG 24 I Giới thiệu toán 24 II Các chức yêu cầu 24 III Phương pháp giải .25 IV Phân tích hệ thống thơng tin 26 V Thiết kế hệ thống thông tin 51 PHÁT TRIỂN ỨNG DỤNG 62 I Công cụ môi trường phát triển 62 II Một số kết đạt 66 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 71 I Kết đạt 71 II Những hạn chế .71 III Hướng mở rộng phát triển đề tài 71 [1] OReilly Web Site Measurement ISBN: 0-596-00988-7, 8-2005, 430 trang 73 [2] OReilly SQL in a Nutshell 2nd Edition ISBN: 0-596-00481-8, 710 trang 73 [3] Philip Olson PHP Manual PHP Documentation Group, 08-12-2007, 820 trang 73 [4] Trang web: http://www.google.com/analytics/ 73 [5] Trang web: http://www.shinistats.com 73 [6] Trang web: http://www.alexa.com 73 [7] Trang web: http://www.histats.com 73 [8] Trang web: http://wso2.org 73 [9] Trang web: http://www.w3c.org 73 [10] Trang web: http://sqlskills.com .73 [11] Và nhiều trang web khác .73 TÓM TẮT LUẬN VĂN TỐT NGHIỆP 74 IV Tên đề tài: 74 i .V Tóm tắt nội dung luận văn 74 ii Xây dựng hệ thống phân tích thống kê thông tin lượt truy cập đến website MỤC LỤC CÁC BẢNG BẢNG 1: CÁC CHỦ THỂ CỦA HỆ THỐNG 26 BẢNG 2: CÁC USE CASE CỦA COLLECTOR .28 BẢNG 3: CÁC USE CASE CỦA GUEST 29 BẢNG 4: CÁC USE CASE CỦA THÀNH VIÊN .30 BẢNG 5: CÁC USE CASE CỦA TÁC NHÂN HỆ THỐNG 31 BẢNG 6: BẢNG MÔ TẢ LỚP DBSOURCE 52 BẢNG 7: BẢNG MÔ TẢ LỚP SPIDER .54 BẢNG 8: MÔ HÌNH LỚP WSCLIENT 55 BẢNG 9: BẢNG MÔ TẢ LỚP WSSERVICE 56 BẢNG 10: BẢNG MÔ TẢ LỚP WSMESSAGE 56 BẢNG 11: BẢNG MÔ TẢ GIAO DIỆN ĐĂNG KÝ 57 BẢNG 12: BẢNG MÔ TẢ GIAO DIỆN CHỨC NĂNG THIẾT LẬP THÔNG TIN CHO WEBSITE 58 BẢNG 13: BẢNG MÔ TẢ GIAO DIỆN CHỨC NĂNG LẤY CODE JAVASCRIPT .59 BẢNG 14: BẢNG MÔ TẢ GIAO DIỆN ĐĂNG NHẬP .59 BẢNG 15: BẢNG MÔ TẢ GIAO DIỆN HỆ THỐNG BÁO CÁO DẠNG BÁNH (PIE) 60 BẢNG 16: BẢNG MÔ TẢ GIAO DIỆN BÁO CÁO DẠNG CỘT HAY ĐƯỜNG THẲNG 61 Sinh viên: Quán Đức Bình, Nguyễn Văn Hồng Quang iii Xây dựng hệ thống phân tích thống kê thơng tin lượt truy cập đến website MỤC LỤC HÌNH ẢNH HÌNH 1: CÂY MỤC TIÊU CỦA ĐỀ TÀI .3 HÌNH 2: CÁC GIAO THỨC CỦA WEB SERVICE 13 HÌNH 3: BIỂU ĐỒ XỬ LÝ CSDL TRƯỚC KHI THIẾT LẬP INDEX 17 HÌNH 4: BIỂU ĐỒ XỬ LÝ CSDL SAU KHI LẬP INDEX .17 HÌNH 5: CƠNG CỤ SQL PROFILER CỦA SQL SERVER .18 HÌNH 6: CƠNG CỤ DATA ENGINE TUNNING ADVISOR 18 HÌNH 7: CƠNG CỤ DATA ENGINE TUNNING ADVISOR VÀ GIẢI PHÁP XÂY DỰNG CÁC INDEX 19 HÌNH 8: TABLE ĐÃ ĐƯỢC TẠO PARTITION .20 HÌNH 9: CÁCH TẠO PARTITION TABLE 20 HÌNH 10: ĐỒ THỊ DẠNG BÁNH .21 HÌNH 11: ĐỒ THỊ DẠNG CỘT 21 HÌNH 12: ĐỒ THỊ DẠNG ĐƯỜNG THẲNG 22 HÌNH 13: ĐỒ THỊ VÙNG 22 HÌNH 14: ĐỒ THỊ XU HƯỚNG 23 HÌNH 15: CÁC CHỦ THỂ CỦA HỆ THỐNG 26 HÌNH 16: CÁC USE CASE CỦA COLLECTOR 27 HÌNH 17: CÁC USE CASE CỦA GUEST 28 HÌNH 18: CÁC USE CASE CỦA MEMBER .29 HÌNH 19: CÁC USE CASE CỦA TÁC NHÂN HỆ THỐNG .30 HÌNH 20: SƠ ĐỒ TUẦN TỰ CÁC CHỨC NĂNG CỦA COLLECTOR 44 HÌNH 21: SƠ ĐỒ TUẦN TỰ CHỨC NĂNG KHAI THÁC THƠNG TIN VỀ TRÌNH DUYỆT .45 HÌNH 22: SƠ ĐỒ TUẦN TỰ CHỨC NĂNG KHAI THÁC THƠNG TIN TRÌNH DUYỆT .46 HÌNH 23: SƠ ĐỒ TUẦN TỰ CHỨC NĂNG KHAI THÁC THÔNG TIN CÁC REFERER 47 HÌNH 24: SƠ ĐỒ TUẦN TỰ CHỨC NĂNG KHAI THÁC THÔNG TIN CÁC TRANG NGÕ VÀO .48 HÌNH 25: SƠ ĐỒ TUẦN TỰ CHỨC NĂNG KHAI THÁC THÔNG TIN NGÕ RA 49 Sinh viên: Quán Đức Bình, Nguyễn Văn Hồng Quang iv Xây dựng hệ thống phân tích thống kê thơng tin lượt truy cập đến website HÌNH 26: SƠ ĐỒ TUẦN TỰ CHỨC NĂNG KHAI THÁC THÔNG TIN LẦN LOAD TRANG 49 HÌNH 27: SƠ ĐỒ TUẦN TỰ CHỨC NĂNG KHAI THÁC THÔNG TIN THỜI GIAN DUYỆT WEB 50 HÌNH 28: SƠ ĐỒ TUẦN TỰ CHỨC NĂNG KHAI THÁC THÔNG TIN VỀ LƯỢT TRUY CẬP .51 HÌNH 29: MƠ HÌNH LỚP DBSOURCE 52 HÌNH 30: MƠ HÌNH LỚP SPIDER 53 HÌNH 31: MƠ HÌNH LỚP WSCLIENT .55 HÌNH 32: MƠ HÌNH LỚP WSSERVICE 56 HÌNH 33: MƠ HÌNH LỚP WSMESSAGE 56 HÌNH 34: WIREFRAME GIAO DIỆN ĐĂNG KÝ 57 HÌNH 35: WIREFRAME THIẾT LẬP THƠNG TIN WEBSITE .58 HÌNH 36: WIREFRAME LẤY MÃ SCRIPT .58 HÌNH 37: WIREFRAME ĐĂNG NHẬP HỆ THỐNG 59 HÌNH 38: WIREFRAME THAY ĐỔI MẬT KHẨU 59 HÌNH 39: BẢNG MÔ TẢ GIAO DIỆN CHỨC NĂNG THAY ĐỔI MẬT KHẨU 60 HÌNH 40: WIREFRAME REPORT DẠNG PIE 60 HÌNH 41: WIREFRAME REPORT DẠNG CỘT VÀ ĐƯỜNG THẲNG .61 HÌNH 42: CÁC BIỂU ĐỒ CỦA CHARTDIRECTOR 64 HÌNH 43: GIAO DIỆN CHỨC NĂNG ĐĂNG KÝ ĐÃ LÀM 66 HÌNH 44: GIAO DIỆN CHỨC NĂNG THIẾT LẬP THƠNG TIN WEBSITE ĐÃ LÀM .67 HÌNH 45: GIAO DIỆN CHỨC NĂNG ĐĂNG NHẬP ĐÃ LÀM 67 HÌNH 46: PHẦN HEADER CỦA TRANG BÁO CÁO DẠNG BÁNH .68 HÌNH 47: PHẦN CHI TIẾT CỦA CÁC TRANG BÁO CÁO 68 HÌNH 48: TRANG BÁO CÁO DẠNG CỘT .69 HÌNH 49: TRANG BÁO CÁO DẠNG ĐƯỜNG THẲNG 70 Sinh viên: Quán Đức Bình, Nguyễn Văn Hồng Quang v Xây dựng hệ thống phân tích thống kê thơng tin lượt truy cập đến website } ?> echo "'\n"; } catch (Exception $e) { if ($e instanceof WSFault) { $fault = $e; printf("Soap Fault received with code '%s' and reason '%s'\n", $fault->code, $fault->reason); } else { printf("Exception caught with message '%s'\n", $e->getMessage()); } } Sau chạy có kết sau Hello service replied saying: 'Hello Client! Thanh cong roi' I.2 Giới thiệu thư viện ChartDirector for PHP Hình 42: Các biểu đồ ChartDirector I.2.1 Giới thiệu: Một hệ thống phân tích thống kê lưu lượng website cần nhiều đến thư viện để hỗ trợ cho việc báo cáo thống kê Vì chúng em chọn thư viện đồ họa mã nguỗn mở ChartDirector (có thể download http://www.advsofteng.com/download.html ), cung cấp thư viện dùng để vẽ biểu đồ đồ họa web ứng dụng cách chuyên nghiệp Sinh viên: Quán Đức Bình, Nguyễn Văn Hồng Quang 64 Xây dựng hệ thống phân tích thống kê thơng tin lượt truy cập đến website Các ưu điểm ChartDirector: − Nhanh hiệu : Nó thiết kế đa luồng nhằm request nhanh chóng hiệu − Khả chuyển: API thiết kể theo hướng đối tượng cho phép bạn dễ dàng thay đổi theo ý tưởng bạn − Có nhiều kiểu để bạn chọn lựa: pie, donut, bar, line, spline, step-line, trending, curve-fitting, inter-line coloring, area, scatter, bubble, floating box, box-whisker, waterfall, finance, gantt, vector, contour, heat map, surface, radar, polar line, polar area, polar spline, polar scatter … − Biểu đồ dành cho báo cáo tài : − Thiết kế theo kiến trúc lớp(layout) : − CDML Công nghệ CDML cho phép bạn thay đổi đinh dạng nhãn text hình ảnh linh động − Hệ thống màu nâng cao : Khơng có màu solid RGB mà hỗ trợ màu kiểu ARGB, gradient, patterns, màu người dùng đĩnh nghĩa − Hỗ trợ Ajax − Hỗ trợ tấc Browsers: ChartDirector produces charts as PNG, JPEG, GIF and SVG, which are viewable in virtually all browsers, including those in mobile devices Charts can be imported to email or word documents Drag to select/zoom/scroll and AJAX features are implemented using Javascript No Applets or ActiveX controls required − Dễ sử dụng − Phổ biến : Hỗ trợ Unicode Ngôn ngữ hỗ trợ: − ASP / COM / Visual Basic / VBScript / JScript − NET (C#, VB.NET, C++/CLI, JScript.NET, J#) − Java − PHP − Perl − Python − Ruby − ColdFusion − C++ Các hỗ trợ: Sinh viên: Quán Đức Bình, Nguyễn Văn Hồng Quang 65 Xây dựng hệ thống phân tích thống kê thơng tin lượt truy cập đến website Windows 2000/2003/2008/Vista/NT/XP, Linux, FreeBSD, Mac OS X and Solaris .I.2.2 Cài đặt cấu hình: − Download ChartDirector/PHP http://www.advsofteng.com/download.html − Yêu cầu cấu hình tối thiểu PHP 4.2.1 − Copy ChartDirector (sau xả nén) vào thư mục PHP Extension máy bạn(ở máy C:\xampp\php\ext) − Thêm vào file php.ini(máy ) extension=phpchartdir###.dll tùy vào version chart mà bạn thay đổi ### − Để gọi class thư viện bạn dùng require_once(" /lib/phpchartdir.php") II Một số kết đạt Hệ thống thống kê nhiều thơng tin, chúng em xin trích số mẫu kết đạt .I.3 Chức đăng ký Hình 43: Giao diện chức đăng ký làm Sinh viên: Quán Đức Bình, Nguyễn Văn Hồng Quang 66 Xây dựng hệ thống phân tích thống kê thông tin lượt truy cập đến website I.4 Chức thiết lập thơng tin website Hình 44: Giao diện chức thiết lập thông tin website làm I.5 Chức đăng nhập Hình 45: Giao diện chức đăng nhập làm Sinh viên: Quán Đức Bình, Nguyễn Văn Hồng Quang 67 Xây dựng hệ thống phân tích thống kê thơng tin lượt truy cập đến website I.6 Trang báo cáo dạng bánh (pie) Hình 46: Phần header trang báo cáo dạng bánh Báo cáo chi tiết Hình 47: Phần chi tiết trang báo cáo Sinh viên: Quán Đức Bình, Nguyễn Văn Hồng Quang 68 Xây dựng hệ thống phân tích thống kê thơng tin lượt truy cập đến website I.7 Trang báo cáo dạng cột (bar) Hình 48: Trang báo cáo dạng cột Sinh viên: Quán Đức Bình, Nguyễn Văn Hồng Quang 69 Xây dựng hệ thống phân tích thống kê thơng tin lượt truy cập đến website I.8 Trang báo cáo dạng đường thẳng (line) Hình 49: Trang báo cáo dạng đường thẳng Sinh viên: Quán Đức Bình, Nguyễn Văn Hồng Quang 70 Xây dựng hệ thống phân tích thống kê thơng tin lượt truy cập đến website CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong trình thực đề tài tốt nghiệp em đạt số kết định vài hạn chế hướng phát triển sau: I Kết đạt − Đã xây dựng thành công hệ thống khai thác thông tin lần truy cập − Xây dựng thành công hệ thống phúc đáp báo cáo kết − Xây dựng thành công ứng dụng client truy cập vào server để lấy kết báo cáo .II Những hạn chế − Do hướng tập trung nghiên cứu chúng em thiên báo cáo dịch vụ web nên chúng em chưa đầu tư nhiều cho phần hỗ trợ webmaster − Chưa xây dựng hệ thống quản trị để quản lý tài khoản webmaster − Ứng dụng báo cáo viết web kiểm tra tốt trình duyệt Firefox .III Hướng mở rộng phát triển đề tài − Xây dựng hệ thống đếm lượt truy cập, có đính kèm đoạn mã javascript, vừa tạo giao diện đẹp, vừa thống kê thơng tin − Xây dựng hệ thống phân tích, tính tốn giá trị thống kê đưa định giúp webmaster phát triển website − Xây dựng hệ thống tính tốn hiệu hoạt động website Sinh viên: Quán Đức Bình, Nguyễn Văn Hồng Quang 71 Xây dựng hệ thống phân tích thống kê thơng tin lượt truy cập đến website PHỤ LỤC Tất phụ lục nằm đánh số thứ tự tên phụ lục : PHỤ LỤC C Collector .Đối tượng thu thập khai thác thông tin PHỤ LỤC D Demo .Chức ví dụ PHỤ LỤC G Guest .Khách vãng lai PHỤ LỤC M Member Các thành viên đăng nhập, thường webmaster PHỤ LỤC P Page Views Các lần load trang PHỤ LỤC R Referers Các tác nhân dẫn đến truy cập website PHỤ LỤC W Web Services Dịch vụ web sử dụng WSDL PHỤ LỤC V Visits Các lần truy cập PHỤ LỤC W Web Services Dịch vụ web sử dụng WSDL Wireframe Sơ đồ mô tả thiết kế giao diện Sinh viên: Quán Đức Bình, Nguyễn Văn Hồng Quang 72 Xây dựng hệ thống phân tích thống kê thông tin lượt truy cập đến website TÀI LIỆU THAM KHẢO [1] OReilly Web Site Measurement ISBN: 0-596-00988-7, 8-2005, 430 trang [2] OReilly SQL in a Nutshell 2nd Edition ISBN: 0-596-00481-8, 710 trang [3] Philip Olson PHP Manual PHP Documentation Group, 08-12-2007, 820 [4] [5] [6] [7] [8] [9] [10] [11] trang Trang web: http://www.google.com/analytics/ Trang web: http://www.shinistats.com Trang web: http://www.alexa.com Trang web: http://www.histats.com Trang web: http://wso2.org Trang web: http://www.w3c.org Trang web: http://sqlskills.com Và nhiều trang web khác Sinh viên: Quán Đức Bình, Nguyễn Văn Hồng Quang 73 Xây dựng hệ thống phân tích thống kê thông tin lượt truy cập đến website TÓM TẮT LUẬN VĂN TỐT NGHIỆP IV Tên đề tài: “Xây dựng hệ thống thống kê phân tích thơng tin truy cập website” .V Tóm tắt nội dung luận văn I.1 Bối cảnh chọn đề tài Ngày nay, việc cạnh tranh website bắt đầu trở nên gay gắt, muốn thành công lĩnh vực kinh doanh trực tuyến muốn lôi kéo khách hàng đến website họ ngày nhiều hơn, cần tìm hiểu thơng tin khách hàng như: Họ đến từ đâu, phần lớn khách hàng sử dụng trình duyệt gì, hệ điều hành nào, họ có thói quen dùng chương trình tìm kiếm nào, online vào ngày nhiều nhất, ngày tuần nhiều nhất, v.v Do đề tài thực nhằm tiếp cận vào nhu cầu thiếu webmaster muốn cung cấp cho webmaster tảng ban đầu hệ thống thống kê sử dụng web service để lấy kết .I.2 Mục đích Đề tài góp phần nghiên cứu việc thống kê thông tin liên quan đến lượt truy cập, nhằm làm mạnh thêm xu hướng thống kê online, đẩy mạnh lĩnh vực online marketing giúp webmaster hiểu rõ khách hàng họ người ta đến với website nào, v.v… I.3 Nhiệm vụ phải thực Xây dựng hệ thống khai thác thống kê giữ liệu, cung cấp kết báo cáo dạng chi tiết đồ thị Ngồi cịn hỗ trợ trả báo cáo thông qua dịch vụ web (web service) Để thấy rõ kết quả, đề tài xây dựng thêm số ứng dụng client để báo cáo kết thu thập .I.4 Kết dự kiến Xây dựng thành công hệ thống khai thác thống kê liệu Xây dựng thành công web service để cung cấp kết báo cáo Xây dựng thành công ứng dụng client để demo I.5 Các vấn đề giải Đã đạt kết dự kiến mong muốn Sinh viên: Quán Đức Bình, Nguyễn Văn Hồng Quang 74 ... thống phân tích thống kê thông tin lượt truy cập đến website Ý nghĩa mục đích đề tài − Tên đề tài: ? ?Xây dựng hệ thống thống kê phân tích thông tin truy cập website? ?? − Đề tài góp phần nghiên cứu cách... thác thông tin đến client khác nhau, đề tài ? ?Xây dựng hệ thống thống kê phân tích thơng tin truy cập website? ?? đời nhằm mục đích cung cấp cho webmaster hệ thống thống kê thông tin người truy cập. .. Quang Xây dựng hệ thống phân tích thống kê thơng tin lượt truy cập đến website CHƯƠNG CƠ SỞ LÝ THUYẾT I Tìm hiểu khái niệm ứng dụng thống kê Các thông tin người sử dụng website hệ thống thống kê
