[...]... Post-processing: Trong nhiều ứng dụng, không phải tất cả các mẫu đã đƣợc khám phá là cần thiết Do đó, bƣớc này [Post-processing] xác định những dữ liệu cần thiết cho các ứng dụng nhờ vào các kỹ thuật đánh giá và trực quan khác nhau + Ƣớc lƣợng mẫu (Knowledge Evaluation): Quá trình đánh giá các kết quả tìm đƣợc thông qua các độ đo nào đó 8 + Biểu diễn tri thức (Knowledge Presentation): Quá trình này sử dụng. .. web server Khi ngƣời sử dụng nhấn nút “Back” trên browser, hoặc truy cập vào những trang đã xem trƣớc đó thì browser sẽ không gửi request lên web server, mà sẽ lấy thông tin đã đƣợc lƣu trong bộ nhớ cache và hiển thị cho ngƣời sử dụng Do đó, thông tin request không đƣợc ghi nhận trong log Nhƣ đã đề cập, các thông tin này rất quan trọng cho việc khai khoáng hành vi sử dụng web và sẽ ảnh hƣởng tới độ... Hình 4: Agent của Browser - IP Address + Agent: Giả sử IP và Agent là do một ngƣời duy nhất sử dụng Hoặc chung IP nhƣng khác Agent , từ đó dễ dàng xác định đƣơc danh tính ngƣời sử dụng và phiên làm việc 14 Note: User Agent: là một chuỗi nhận dạng khi trình duyệt gửi yêu cầu tới máy chủ web Khi trình duyệt của bạn truy cập vào một web nào đó, nó sẽ bao gồm một chuỗi user agent trong http headers Nội... 5.1) và sử dụng trình duyệt FireFox phiên bản 18.0 VD: Chuỗi User Agent khác của firefox chạy trên Windows 7 Để kiểm tra User Agent của mình có thể vào trang web: http://www.whatsmyuseragent.com/ Ƣu điểm của phƣơng pháp Ip Address + Agent là: luôn luôn dùng đƣợc và không phải đòi hỏi thêm bất cứ công nghệ nào Khuyết Điểm là: Sẽ không đảm bảo nếu nhiều ngƣời sử dụng chung một địa chỉ IP và cùng một Browser... thông qua IP address và Agent Hình 5: Ví dụ về xác định user bằng cách sử dụng IP + Agent Note: Ref viết tắt của HTTP Referer Khi bạn click vào một link nào đó, trình duyệt của bạn sẽ gửi một HTTP header mà trong đó chứa một HTTP Referer dùng để báo cho Website đó biết bạn đến từ đâu và load nội dung của Website đó hiển thị trong trình duyệt VD: Khi bạn click vào một link www.B.com trong www.A.com thì... có đƣợc từ cấu trúc siêu liên kết web (Web Hyperlink Structure), nội dung trang và dữ liệu sử dụng Trong nhiều thập kỷ qua, đã có rất nhiều thuật toán và phƣơng thức khai thác đƣợc phát minh Dựa trên các loại dữ liệu chính đƣợc sử dụng trong quá trình khai thác mà Web Mining đƣợc chia thành ba loại: Hình 2: Các nội dung trong khai phá dữ liệu Web 9 1 Web Structure Mining (Khai thác cấu trúc web): Nhằm... thuật để biểu diễn và thể hiện trực quan cho ngƣời dùng Toàn bộ quá trình khai thác dữ liệu, gần nhƣ sẽ đƣợc lặp đi lặp lại nhiều lần Nó thƣờng mất rất nhiều vòng để đạt đƣợc kết quả khả quan cuối cùng trƣớc khi đƣa vào sử dụng trong thế giới thực Hiện nay với sự phát triển của mạnh của Web và các dữ liệu dạng văn bản Công cuộc khai thác dữ liệu web và dữ liệu văn bản ngày càng quan trọng và phổ biến II... Time-oriented (Định hƣớng theo thời gian) và Structure-oriented (định hƣớng theo cấu trúc) - Time-Oriented: sử dụng time-out estimates (thời gian ƣớc tính) để phân biệt giữa các phiên liên tiếp Hình 7: Ví dụ phân tách session bằng phƣơng pháp time-oriented - Structure-oriented: sử dụng một trong hai cấu trúc Static Site (web tĩnh) và Implicit linkage (Liên kết ngầm) trong trƣờng referer của server log ... dữ liệu web log và thƣờng đƣợc thực hiện sau khi phân tách session Khi ngƣời sử dụng duyệt web, thông tin request đƣợc ghi nhận trong web log Tuy nhiên, do một số trƣờng hợp, thông tin request không đƣợc ghi nhận trong web log Nguyên nhân là do cơ chế caching của browser phía client Các trang đã đƣợc truy cập sẽ đƣợc lƣu trữ trong bộ nhớ cache của client, nhằm làm tăng tốc độ truy xuất và làm giảm tải... nhật ký máy chủ, web log) là một bản ghi toàn vẹn những hành động đƣợc thực hiện bởi một máy chủ cụ thể Trong trƣờng hợp đó là một máy chủ web, bạn có thể sẽ nhận đƣợc nhiều thông tin hữu ích trên đó, nó là một nguồn dữ liệu quí giá và đáng tin cậy và đƣợc sử dụng trong WUM Các thông tin về hành vi và thói quen của ngƣời truy cập website đƣợc ghi nhận một cách tƣờng minh dƣới dạng các mẫu tin nhật ký