nghiên cứu và đề xuất một bộ lọc web bằng phân loại văn bản cho một proxy server nhỏ

105 283 0
nghiên cứu và đề xuất một bộ lọc web bằng phân loại văn bản cho một proxy server nhỏ

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

Mục lục      !"#$ %&'()*+, -.%/#, 0.1#(%12#, 34%567(%12#, 38(9#:%#(7;7<!;, 30-%57<!;= >(%?:@%A:%B CDA%B!;.E7EF%G.HI#HE.AG J4%K.L%%/.M5(3 J%N(F%"6;6O(?%7P.M1.%Q(-3 J0R%%R%.MI@%:HSBTUHV/.:6 W'&X7;@%:6Y7ZH[\.U].6(^J $W'&X7;F%KA57ZH[\.U].:__`:.A^ ,SD#(!;.E$ %&'(0aWb>+c, 0d%G/6HSBTUH, 0SBTUH\eUH`.UM^, 005_:A".%Q. 6S.HSBSD#(f, 00C.%#gQ.DO(.MA((%12#0= 00d%:6YDN/#0= 000d%:6Y7ZH[0= 0 0034%KA57ZH[00 00S._hF%&'(F%GFF%KA57ZH[0 00QFi%#j.MA(F%KA57ZH[0J 00J*#G.MR%F%KA57ZH[0J 00WA_G%%:7ZH[0J 00$k(D(HSF%KA57ZH[7EA7/BeUH3 %&'(3lk+mno3, 3S._h.QFi7<!;BTUH3, 3:%_G%!U7ED:%_G%.Mp(\:@_.7Ee%.U_.^3, 30%q.r@% :\@UgTAMDHA@(^3, 33/.%h(!G%(G\s:.(_g_.U6_^= 3BGg1#"#A6::6UWg_.U6\W^ 3SB9#:+s3 3JB4 30tKgDP(([.%Q.$ 30n;]#<.%A6S.F%&'(F%GFBeUH$ 300%#i..AG, 303 6&XGH&-u:.%#i..AG= 30v%R%.%#i..AG0 33P:%BF%&'(F%GF(%12#0 33Gg%BE(Rf0 330%N(.%#iXu:G%.QFi.%UAD5(6Gg%B (G6_G.3 333nq!I6H1.MA(G%.QFi.%UAD5(6Gg%B (G6_G.3 33tKgDP(HSF%KA57ZH[\U].:__`UM^ %&'(twcxkyz{yn|| 8%2DN/# <#.M}DN/#.%UA.%#i..AG%#j 3 0<#.M}DN/#!;]#<.%AiF.MR%J= 3%#jH~DN/#J0 0v%R%.%•(%/6J 0%•(%/6.%UA2(D(\dI6.M:%A5.!S(u:.%#i..AG^J 00%•(%/6.M165(J, 3[.%#i.[.Q7E&#!€ 3&#!€.r(H&- 30G&#!€%A.%#i..AG E!q.$ E!q.4MA]g$ 0v.[%.Q.GH&-.%#i..AG$ 3•%&'(.MR%$ S._h[.Q.MA(%&'(.MR%$ %•(%/67E!G%(G$ v.M&(.%•(%/6‚<#%R%GD~%7$ 04%&'(F%GF.%•(%/6ƒS._h.%•(%/6$ 3nG%(G62!S%/#9#[, %&'(d+„…†‡4|sˆ=0 dQ.#i=0 dQ.#i=0 0d%[Z(2(D(=0 35%Q=3 0&-(F%G..MI=3 0dQ(%~%&-(F%G..MI=3 00%[A#i= …{+d‰=  DANH MỤC BẢNG: [(3S._h_[F%j6BTUH.%UAF%&'(.%2+s [(30dQ.9#[!G%(Gu:U.4MAŠU.‹Œ [(dQ.9#[==".%•==.M:(%B(•#%1.%#S-F<6, [(0dQ.9#[==".%•==.M:(%B(•#%1@%v(.%#S-F<6,0 [(3%%i@Q.9#[.%•(%/69#:65(, [(%h(@1_h&X(.M:(@% :!}(.%UA.Ž/, [(%h(@1_h&X(.M:(@% :!}(.%UA.Ž/,J [(J%h(@1_P.%:g!8(&•(τ[%%&V(!Q%/#_#<.BTUH==  DANH MỤC HÌNH: R%~.MLu:HSBSD#(.M1FMA]gu:65(3 R%0E%R%.MR%D#g/.<6.M#giF, R%00%%B:6h9#:%/.MA(M}..ML%.%v(.0 R%03*#g.MR%F%KA57ZH[0J R%0I#D•%N(!I6yy.MA(6S.6q.F%‘(%:%;#\[ 9#g;%R%M’M::‹3Œ^0, R%0G!&(.%‘(HI#D•@%A[(G%aƒ\’#DU:_.:U_^(N: G!I67E7-!I6\[9#g;%R%M’M::‹3Œ^3 R%0JG7U.AM7E\[9#g;%R%M’M::‹3Œ^3 R%33v%R%.%#i..AGF%KA57ZH[0 R%*#:%/(N:GH[(.MA('_VDN/#.iF%#<#g/7E.iF.%• \_:6FU^J R%0#gQ.L%% :.E/#H:A(€6A5HY!G%D<#\:^7E.%“% :\H^ A@U”:.A_`AATUDHg_.AFTAMD_.G%B\^y_.U66(\D^(G.MB(_h\U^ \[9#g;M’DUM::‹3Œ^JJ R%3E%R%2(D(.%•(%/6.M1(:AD/J R%W'!€65(.%•(%/6E!q.FMA]g R%&#!€H&-0 R%J&#!€H&-03 R%&#!€H&-3 R%$&#!€H&-_A_G%%/_h.M:(7E(&•(J R%,&#!€E!q.2(D( R%=v%R%65(.%•(%/6HSBFMA]gF%KA57ZH[$J R%n;#%Ž%!~:%ŽFMA]g.M16GgU.$J R%0I#!€HI#D•G(G.M~%/_h.&'(.Pu:_•_A7-_$$ R%3E%R%.%•(%/6.%#i..AG,= R%v%R%@I6.%•4MA]geUH–.UM.M165(,3 J R%E%R%@I6.M:%/#9#[.M165(, R%JI#!€_A_G%_h&X(.%UA.Ž/.M:(H~@% :,J R%I#!€HI#D•_h&X(.M:(9#:!&X(&•(τ, R%$E%R%@I6.%•_P.%:g!8(&•(τ== R%,n€.%~HI#D•%/#9#[@%.%:g!8(&•(τ=  DANH MỤC TỪ VIẾT TẮT: W  _g66U.M(.:W#H_MHUMU ’  A.U.::(U6U.D7UM_:M:’7MA6U._ ‰W A_UW6:M.g W  A6::6UWUM7U ed  UFM:7UDeUHdUM –4  –UM:_`UM4MA.AA 4  gFUM.U].M:_`UM4MA.AA 4  .UMU.4MA.AA\(%.%265(^ s  `AM6:.AsU.MU7U W4  .UMU.WUM7U4MA7DUM W W6:M.g W.AFTAMD D:%6G.r@%v([%%&V(!QSD#(7ZH[ 4  M:_6__AA.MA4MA.AA +s  +`AM6sU_A#MUA:.AM $ Lời nói đầu t#<.F%G..r6S.%/.M5(_•D(.UMU.(EgE(F%8HQyGD~%7 .M#giF.UMU.F%G..MI65%6—O(7-g1#"#9#[C%q.%—7/_• D(D%7TUHu:%;#(&7E.MG%_•D(%N(.M:(TUH˜!U™E6 HZ(%A5!5A!2]•%S%<.E!h7-(-.M“ -%N(g1#"#H2.%Q.! y(&(%12#.Q%E%.%P%/!;.E Egy.M1'_Vv((%/F%KA57ZH[y!;.EEg6#h!5. 6S.([F%GF B%N(.M:(TUH˜!U™%:g%N(.M:(TUH˜<6™6S.G%%/#9#[ #g%1y6S.7<6E!;.EEg%&:!5. EB%N(%R%[%.MA(6S. .M:(TUHy!KgE7<!;"!&X!"#.&.%16%š6%AE.%/6.1#%L%! Ev(7/BTUH *#:!Kg.v]%K.%E%[6' Tiến Sĩ Nguyễn Văn Hiệp ‚[(71 M&(n5BG%d%A:F!•.i.R%%&-(D•y.M#g;!5.@Q.%2 !Q.vyG6'GAnh/ChịF%›(Sau đại học Trường Đại Học Công Nghệ Thông Tin (thuộc Đại Học Quốc Gia TP. HCM)yG6'GH5Hœ!•(}F!•7E!S( 71.v%AE.%E%#i7ZEg Người viết Dương Đình Dũng , Chương 1: TỔNG QUAN 1.1. Giới thiệu: n;.E!&X%BDP:.M1%/.M5(_•D(65(.UMU.%/:gy.5(: !R%•(%&.5GD~%7v.M&(.UMU.F%G..MI65%6—%&( •(.;6j%N(6h(#g%I6.MA(! y%&%N(%R%[%@%1#DK6yH5A P7E%;#7<!;@%v(E%65%@%Gyž_— .G!S(]<#!Q(&DO( .UMU.%<.E(-.M“ƒ%N((&%&:C.%2!"g!u7;%N((#g%5! R .%Qy7<!;BTUH!&X%;#(&!"#.&7-%;#G%E6@%G%:#y%&( O(%&-(!Q6S.6.1#E(Z%q%N(.M:(TUH!S%5 1.2. Mục tiêu nghiên cứu: <!;(%12#%L%.MA(!;.EEgE(Z%qG.M:(TUH7E@Q .%2_•D(!I]KgDP(6S.HS TUHEv((%/.M.%2y.%IEF%KA5 7ZH[\U].:__`:.A^n;.E"F%[!5.!&X%N(SD#(_:#  (%12#%N(!I665%u:@Ÿ.%#i.F%KA57ZH[7E@Q .%2".%Q.%A@Ÿ.%#i.Eg%š6GFD( .h.%<.7EA!;.E (%12#  tG!~%%N(!I6H<.iF.r%N(%&'(.MR%2(D(BTUH %/ 7E%N(!I665%gQ#u:%N(F%&'(F%GF]KgDP(HS BTUH  n;]#<.F%&'(F%GFBTUH7E]KgDP(6v%R%yE!q.6S.HSB TUHDO(@Ÿ.%#i.F%KA57ZH[nq..%#i..AGBTUH!•E!q. 1FMA]g!I.%•(%/67E!G%(G.%#i..AG  %ŽM:%N([.Q".%Q.%A!;.E 1.3. Phạm vi nghiên cứu: 1.3.1. Tổng quan chung về vấn đề: = A.L%%<.u:65(.UMU.E.M#g;.[.%v(.MS(M•7E!:D5(y1 7/@%:.%G •((qF%;#MpMh<!;@%v(F%[EDO( @% @%Z 6E(-%57/_•D( %A.r(!h.&X(yDO(!}((#€.%v(.65( 7E%<.E%N(7<!; 19#:!Q!5A!2y.&.&V(y.%#"F%A(6Ÿ. u:(&DO(7E7<!;:%u:6S.9#h(: (:g.r@%.UMU.7ETUHF%G..MI7<!;H[A6i.•(%&A5HY%N( .M:(TUH%2:SD#(@%v(E%65%@%v(%A(&DO(.M#giF!Q!• !&X!q.M:*#:6S..%(:DEF%G..MIy.%UA_PF%G..MIu:v((%/7E.ML .%2u:A(&6 .%@¡(p;7-6S.@Ÿ.%#i.(Z%q.M:(TUH G%&'(.MR%BTUH.%&(DO(Gv((%/%&D:%_G%.Mp(7E D:%_G%!U\H:@_.7ET%.U_.^y(Z.r@% :\@UgTAMD^y%q!~:%Ž1@Q. \+s%:g4^y@I6_AG.SD#(\TUHA.U.^y77 nq!I6%#(GF%"6;6Eg .%IE.M1FMA]g_UM7UM%:gU.%Aq [%:S._h%&'(.MR%%Ž%5g.M16Gg!'y(}FF%%#g%@I6_AG.7/ DO(65(.UMU.u:AU66R%.h.%'nh7-%N('9#:y.8%2y DA:%(%/F.%R7/DO(%&'(.MR%BTUH@I6_AG.(:g!"#7EA!I9#[ C.AEHSG.M#giF.rH1.MA(%:gG%E%7!S.%iF.rH1(AEE7v O(9#:.MB(-6S.&#&X(-%N(g1#"#!9#:E6%A7/]•CV !"#@I6_AG..MV1HiMS%'7E#v!›%Y.h!S]•CF%[:A%'!I!GF 2(%:%% (Gg1#"#yQ#@%v(HSB7v.R%.5A1!I6.%p.8%:E %i6%/.%h(65( 1.3.2. Giới hạn vấn đề: MA(6v.M&(.M#g;.[.%v(.9#:65(.UMU.(&.:_•D(M<. %;#2(D(!€%B:7E6#.6UD:7EA.MA(v(.M#g;.[.%v(.\F%" -EG.M:(TUH^A! y%N(SD#(!&X(&@%:.%G.QF.%#M<.!: D5(MA(!;.EEgy(&7Q.%B6S.F%"SD#(.MA(6S..M:(TUH!I (%12#! E7ZH[H1.%I%/.MA(6S..M:(TUH [...]... giá Chương 5: Kết luận và hướng phát triển 19 Chương 2: CƠ SỞ LÝ THUYẾT 2.1 Khái niệm bộ lọc web: 2.1.1 Bộ lọc web (Web filter): Bộ lọc web là phần mềm có chức năng lọc vài loại nội dung hiển thị trên một trình duyệt web hay khóa vài vị trí web (web site) mà người dùng cố gắng truy cập đến Bộ lọc kiểm tra nội dung của một trang web hay một địa chỉ web dựa vào một tập các luật và thay thế bất kỳ nội... nghiệp Phân loại văn bản và trích xuất thông tin là hai dạng của xử lý văn bản nông cạn, nhưng có sự tương tác hay hợp lực giữa những kỹ thuật chiếm một phần khiêm tốn Nhiều hệ thống IR phát triển một vài kỹ thuật phân loại văn bản để đảm bảo rằng những văn bản đó được xử lý để đưa đến một tập văn bản chứa dữ liệu mong muốn Nghĩ theo một cách khác, ta có thể mường tượng rằng một hệ thống phân loại văn bản. .. trong phân loại văn bản: 1 Loại bỏ những từ có âm tắc (stop word) và những từ đánh dấu (marking) 2 Những từ còn lại là tất cả những thuộc tính 3 Một tài liệu trở thành một vector 4 Huấn luyện một bộ phân loại luận lý (boolean classifier) cho mỗi lớp văn bản 5 Đánh giá các kết quả dựa trên một mẫu văn bản chưa biết trước 2.2.6 Quá trình phân loại văn bản Hình 2.3 Quy trình phân loại văn bản. .. hệ thống phân loại văn bản: biểu diễn tài liệu, xây dựng bộ phân loại, lượng giá bộ phân loại 1.9 Nội dung đề tài: Trong luận văn này cần đạt đến: một tập tài liệu nghiên cứu lý thuyết và thiết kế chương trình Một bản minh họa (demo) cài đặt cho thuật toán và thể nghiệm trên mạng Cấu trúc dự kiến của luận văn như sau: Chương 1: Tổng quan Chương 2: Cơ sở lý thuyết Chương 3: Nghiên cứu vấn đề Chương... phần Proxy nguyên thủy Người dùng bên trong Thành phần lọc nội dung Hình 1.1 Vị trí của bộ lọc nội dung trên proxy của mạng Hình 1.1 ở trên cho thấy vị trí của bộ lọc đối với việc kiểm soát truy cập của một proxy đang hoạt động trên mạng Sự lọc web xảy ra sau khi một truy cập được cho phép Một thành phần lọc web dựa trên văn bản xử lý nội dung trong một định dạng văn bản và vì thế các phương thức lọc. .. j và ci Cách này hữu ích cho phương pháp phân loại tương tác 2.2.4 Một số phương pháp phân loại văn bản: Phân loại văn bản là một tác vụ học có giám sát, tác vụ đó gán những nhãn định trước cho các tài liệu mới, từ đó đem so sánh với tập huấn luyện gồm các tài liệu được gán nhãn Các hệ thống phân loại văn bản tự động truyền thống đơn thuần là áp dụng cho các văn bản đơn giản vì thế đem ứng dụng cho. .. về sự bất thường của loạt văn bản 2.2.3 Phân loại văn bản 2.2.3.1 Định nghĩa phân loại văn bản Phân loại văn bản là tác vụ khởi gán một hay nhiều loại văn bản ngôn ngữ tự nhiên được xác định trước vào các nhóm tài liệu nào đó đã định nghĩa trước Chẳng hạn như, một hệ thống email nhận thông điệp đến thì thông điệp đó có thể được gán là “junk” hay “non-junk”, có lẽ để thuận lợi cho việc ra quyết định nên... phân loại tài liệu một cách tự động trở thành vấn đề quan trọng hàng đầu Có hai vấn đề khác nhau trong phân loại văn bản: gom cụm văn bản (text clustering) và phân loại văn bản (text categorization) Vấn đề gom cụm liên quan đến việc tìm kiếm một nhóm cấu trúc tiềm ẩn trong tập các tài liệu Trong khi đó việc phân loại còn có tên gọi khác là phân loại văn bản (Text Classification) có thể được xem như tác... giới Trong đề tài này người viết dùng kỹ thuật lọc web bằng công nghệ khai mỏ văn bản (text mining) cụ thể là phân lớp văn bản (text classification) Với phương pháp lọc web này: thực hiện khám phá nội dung và phân tích URL với công nghệ khám phá văn bản Nhưng nội dung chủ đạo ứng dụng trong luận văn này là kỹ thuật so sánh hai văn bản 1.4 Ý nghĩa khoa học: Xét về mặt khoa học, đề tài này là một bổ sung... gán vào một số loại nhãn – Yêu cầu đặt ra cho bộ phân lớp văn bản:  Sự phân lớp cứng (Hard Classification): Đối với dạng này hỗ trợ một giá trị trong tập {T, F} nhờ nó chỉ ra cho biết văn bản là thành viên hay không phải thành viên của dj và ci Phương pháp này hữu dụng cho bộ phân lớp độc lập  Sự phân lớp mềm (Soft Classification) hỗ trợ giá trị trong [0,1] nó cho biết cấp độ tin cậy của hệ thống vào . %#(6S..%P.M5(EE6%i6!&(.M#g;DA_•D(GF%¢F@I6.M:7E _A_G%1.y6S.gQ#!I6@%GE@%v(.P!S(iF%i.G%E%7_•D( TUHu:(&DO( %L%7R%N(CDA7E!;#@/.P%1! (&7Q.%B!;.E“Ứng dụng phân loại văn bản xây dựng bộ lọc Web !I]KgDP(6S.HSB'!S( 7E%/#9#[-g1#"#@%pF%%N(%5%Qu:%N(%&'(.MR%O( A5%&_:# . tài: MA(#i7ZEg"!5.!Q6S..iF.E/#(%12#C.%#gQ.7E.%Q. @Q%&'(.MR% S.H[6%%B:DU6A^E!q.%A.%#i..AG7E.%I(%/6.M165( <#.M}DP@Qu:#i7Z%&_:# %&'(8(9#: %&'(0'_VC.%#gQ. %&'(3(%12#7<!; %&'(tKgDP(2(D(‚.%•(%/6‚!G%(G %&'(dQ.#i7E%&-(F%G..MI , Chương 2: CƠ SỞ LÝ THUYẾT 2.1. Khái niệm bộ lọc web: 2.1.1. Bộ lọc web (Web filter): SBTUHEF%"6;6 %2Z(B7EA5SD#(%I.%~.M16S. .MR%D#g/.TUH%:g@%. %v(.(&.:".%Q..%&(@%v(!&X(%5.MA(%N(6•# (#g1H[ 1.8. Sơ lược về phân loại văn bản (text classification): $ *#:%;#Z6&X(.E/#_h% :F%G..MI7&'

Ngày đăng: 10/11/2014, 10:26

Từ khóa liên quan

Mục lục

  • Phần lớn những địa chỉ của một website ở dạng DNS (www.hcm.edu.vn/index.htm), tuy nhiên cũng có những địa chỉ được chỉ định bằng một địa chỉ IP thay vì là dạng DNS (http://203.168.0.23/index.htm).

  • Trong trường hợp này nó được truy cập đến bằng địa chỉ IP mà không phải dùng địa chỉ DNS của nó.

  • Kỹ thuật không cho phép việc khóa có chọn lựa các trang còn lại trên một webserver. Vì thế, nếu một trang bị cấm là www.exp.com/bad.htm thì có thể tất cả các truy cập không thể truy xuất đến www.exp.com dù nó không trong danh sách bị khóa.

  • Xét về kỹ thuật, một tên miền đơn như example.com trong URL http://www.example.com được dùng truy cập đến web server. Cùng một thời điểm, domain name có thể phục vụ như một domain cấp trên của các cổng khác như host1.example.com. Trong trường hợp này, những địa chỉ DNS dạng www.example.com có thể bị phân giải sai. Ngoài ra, nó cũng làm cho bộ phân giải tên miền bị sai đối với các miền con. Và nó còn ảnh hưởng đến các dịch vụ chạy trên mạng như e-mail.

  • Kỹ thuật này có thể bị người dùng đánh lừa bằng cách đi vòng, khi họ thực hiện đổi DNS của máy họ hướng đến một DNS không bị lọc.

  • Thêm vào đó phần lớn người dùng của một ISP thường có quyền kiểm soát nameserver của họ, đó là nguyên nhân giúp họ có thể vượt qua được sự kiểm soát của các ISP.

  • Phần lớn các URL bao gồm tên miền (DNS) của máy chủ web. Tuy nhiên cũng có số số website còn mang địa chỉ IP.

  • Bộ lọc qua URL vẫn có thể cấm các truy xuất đến những trang có IP trong địa chỉ URL của yêu cầu gởi lên.

  • Không giống như phương pháp lọc qua DNS, thao tác này có thể bỏ qua việc người dùng thay đổi thiết lập DNS của máy tính của họ hướng về một server không qua bộ lọc.

  • Phương pháp này sẽ làm việc miễn sao sự kết nối của họ đến Internet có thể xác định rõ là phải qua hệ thống lọc.

  • Những Web server làm việc với cổng tiêu chuẩn rất tốt.

  • Website trên các cổng phi tiêu chuẩn thì khó khăn cho việc ngăn cấm vì chúng yêu cầu một cấp độ cao hơn trong bộ lọc.

  • Một giải pháp lọc qua URL có thể là kỹ thuật có khả năng cần thiết cho những kết nối HTTP trên các cổng phi tiêu chuẩn

  • Tích cực sai và tiêu cực sai thường có sự quan trọng khác, điều này phải được tính đến bằng cách dùng tiện ích lý thuyết đo lường tính hiệu quả.

  • Tập huấn luyện thường đạt được sự tăng trưởng, mặc dù có sự tương tác với người dùng. Điều này nói lên rằng kỹ thuật đó phát sinh một bộ phân loại gia tăng phải được dùng đến.

  • Đây là một trường hợp của quản lý nội dung trong môi trường đối lập “Content Management in Adversarial Environments-CMAE”, điều này có quan hệ đến trường hợp những ứng dụng quản trị nội dung xác định nội dung hiện diện trong văn bản thuộc một tác giả nào.

  • Vấn đề ở CMAE là không có kỹ thuật nào dành cho CMAE có thể được nhìn nhận chính xác và hoàn thiện, vì “động vật ăn thịt luôn thích nghi với con mồi của nó”.

  • Lọc những nội dung khiêu dâm và lọc thư rác (spam) là hai thể hiện của CMAE.

  • Việc chọn ngưỡng thủ công quá cao hay quá thấp sẽ ảnh hưởng đến hiệu suất làm việc của hệ thống (theo bảng 4.3 và hình 4.14).

  • Tùy thuộc vào tập huấn luyện và tập mẫu thử mà giá trị ngưỡng sẽ thay đổi.

  • Tuy nhiên một giá trị ngưỡng có thể hoạt động tốt với lớp này nhưng có thể không tốt với lớp khác có nguyên nhân xuất phát từ ngôn ngữ và cách dùng ngôn ngữ, hay thể loại (chẳng hạn như trong lớp truyện sex thì những trang web giáo dục giới tính cũng nổi lên vấn đề với cách dùng từ “nhạy cảm” làm chương trình tính ra hệ số trang lớn làm cho tài liệu bị xếp vào lớp cấm!).

Tài liệu cùng người dùng

  • Đang cập nhật ...

Tài liệu liên quan