Đang tải... (xem toàn văn)
Nghiên cứu search engine trong mạng xã hội Facebook (LV thạc sĩ)Nghiên cứu search engine trong mạng xã hội Facebook (LV thạc sĩ)Nghiên cứu search engine trong mạng xã hội Facebook (LV thạc sĩ)Nghiên cứu search engine trong mạng xã hội Facebook (LV thạc sĩ)Nghiên cứu search engine trong mạng xã hội Facebook (LV thạc sĩ)Nghiên cứu search engine trong mạng xã hội Facebook (LV thạc sĩ)Nghiên cứu search engine trong mạng xã hội Facebook (LV thạc sĩ)Nghiên cứu search engine trong mạng xã hội Facebook (LV thạc sĩ)Nghiên cứu search engine trong mạng xã hội Facebook (LV thạc sĩ)Nghiên cứu search engine trong mạng xã hội Facebook (LV thạc sĩ)Nghiên cứu search engine trong mạng xã hội Facebook (LV thạc sĩ)Nghiên cứu search engine trong mạng xã hội Facebook (LV thạc sĩ)Nghiên cứu search engine trong mạng xã hội Facebook (LV thạc sĩ)Nghiên cứu search engine trong mạng xã hội Facebook (LV thạc sĩ)
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG - NGUYỄN TÙNG DƯƠNG NGHIÊN CỨU SEARCH ENGINE TRONG MẠNG XÃ HỘI FACEBOOK LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI – 2017 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG - NGUYỄN TÙNG DƯƠNG NGHIÊN CỨU SEARCH ENGINE TRONG MẠNG XÃ HỘI FACEBOOK Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TS.TRẦN QUANG ANH HÀ NỘI – NĂM 2017 LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng Nội dung luận văn có tham khảo sử dụng tài liệu, thông tin đƣợc đăng tải tạp chí trang web theo danh mục tài liệu tham khảo Tất tài liệu tham khảo có xuất xứ rõ ràng đƣợc trích dẫn hợp pháp Tôi xin hoàn toàn chịu trách nhiệm chịu hình thức kỉ luật theo quy định cho lời cam đoan Học viên Nguyễn Tùng Dƣơng ii LỜI CẢM ƠN Lời em xin gửi lời cảm ơn chân thành tới tất thầy cô giảng dạy Học Viện Công nghệ Bƣu Chính Viễn thông tận tình truyền đạt kiến thức quý báu giúp em hoàn thành khóa học Em xin chân thành cảm ơn khoa Quốc Tế Đào Tạo Sau Đại Học, Học Viện Công Nghệ Bƣu Chính Viễn Thông tạo điều kiện tốt cho em thực luận văn tốt nghiệp Em xin gửi lời biết ơn sâu sắc đến thầy PGS.TS Trần Quang Anh, ngƣời tận tình hƣớng dẫn, bảo em suốt thời gian thực luận văn Tôi xin bày tỏ lòng biết ơn chân thành gia đình động viên, ủng hộ, cổ vũ tạo điều kiện giúp Tôi cảm ơn tất ngƣời bạn tôi, ngƣời chia sẻ, cổ vũ giúp đỡ Mặc dù cố gắng hoàn thành luận văn phạm vi khả cho phép, nhƣng chắn không tránh khỏi thiếu sót, kính mong cảm thông tận tình bảo, góp ý thầy cô bạn Hà Nội, ngày / /2017 Học viên Nguyễn Tùng Dƣơng iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỞ ĐẦU .1 Đặt vấn đề .1 Mục tiêu luận văn CHƢƠNG – TỔNG QUAN VỀ MẠNG XÃ HỘI 1.1 Khái niệm mạng xã hội 1.1.1 Khái niệm 1.1.2 Khái niệm dịch vụ mạng xã hội trực tuyến 1.2 Lịch sử hình thành phát triển mạng xã hội 1.3 Kiến trúc mạng xã hội với modules chức .5 1.3.1 Kiến trúc trang mạng xã hội nhỏ 1.3.2 Kiến trúc trang mạng xã hội lớn 1.4 Các tính mạng xã hội 1.5 Phân loại mạng xã hội 1.6 Mạng xã hội Facebook 11 1.6.1 Lịch sử hình thành phát triển Facebook 11 1.6.2 Tình hình sử dụng Facebook Việt Nam .13 1.7 Kết luận chƣơng 14 Chƣơng 2– CÁC KỸ THUẬT SEARCH ENGINE 15 2.1 Tổng quan Search Engine 15 2.1.1 Khái niệm Search Engine 15 2.1.2 Cấu trúc Search Engine 16 2.1.3 Bộ thu thập thông tin – Crawler (Spider) 18 2.1.4 Bộ lập mục – Index 22 2.1.5 Bộ tìm kiếm thông tin - Search Engine (Searching) 23 2.1.6 Phân loại hệ thống Search Engine 24 2.2 Các phƣơng pháp Search Engine 25 2.2.1 Các phƣơng pháp thu thập thông tin 25 2.2.2 Các phƣơng pháp xếp hạng (Ranking) liệu .27 2.3 Search Engine Search API mạng xã hội Facebook 35 iv 2.3.1 Search Engine mạng xã hội Facebook .35 2.3.2 Search API Facebook .47 2.4 Kết luận chƣơng 50 Chƣơng 3– ĐỀ XUẤT SEARCH ENGINE CHO MẠNG XÃ HỘI FACEBOOK 51 3.1 Mô tả đề xuất 51 3.2 Xây dựng thi thập thông tin 51 3.2.1 Thu thập thông tin 51 3.2.2 Lƣu thông tin vào Cơ sở liệu 53 3.3 Chỉ mục liệu 54 3.4 Bộ tìm kiếm liệu 54 3.5 Kết thử nghiệm 58 KẾT LUẬN .59 Kết đạt đƣợc luận văn 59 Hƣớng phát triển luận văn 60 DANH MỤC TÀI LIỆU THAM KHẢO 61 v DANH SÁCH HÌNH VẼ Hình 1.1 Mô tả mô đun chức mạng xã hội Hình 1.2 Kiến trúc mạng xã hội nhỏ Hình 1.3 Kiến trúc trang mạng xã hội lớn Hình 1.4 Thống kê số lƣợt ngƣời sử dụng mạng xã hội tính đến tháng năm 2017 .11 Hình 1.5 Facebook vào ngày 12 tháng năm 2004 11 Hình 2.1 Thị phần sử dụngcông cụ tìm kiếm tháng đầu năm 2016 15 Hình 2.3 Sơ đồ Crawler 18 Hình 2.4 Cấu trúc thẻ tƣơng ứng trang HTML 21 Hình 2.5 Lƣu đồ xử lý cho hệ thống lập mục 22 Hình 2.6 Các giá trị PageRanK cho đồ thị đơn giản 29 Hình 2.7 PageRanK với d = 0.8 .30 Hình 2.8 Thuật toán HITS 34 Hình 2.9 Facebook Graph 37 Hình 2.10 Mô tả Facebook Graph 38 Hình 2.11 Kiến trúc Unicorn .40 Hình 2.12 Mô tả danh sách đăng ngƣời sử dụng Facebook 41 Hình 2.13 Sơ đồ "Bạn bạn" Jon 45 Hình 2.14 Mô hình hoạt động API 48 Hình 3.1 Cách thức thu thập Access Token .52 MỞ ĐẦU Đặt vấn đề Trong khoảng 10 năm trở lại đây, đời mạng xã hội trực tuyến kiện đáng ý Có nhiều mạng xã hội trực tuyến phổ biến nhƣ: Twitter, LinkedIn, Instagram, Zing… đặc biệt Facebook Với phát triển nhanh chóng số ngƣời sử dụng toàn giới, mạng xã hội trực tuyến nói chung Facebook nói riêng nhƣ mô hình thu nhỏ giới thực Do đó, mạng xã hội trở thành nơi cất giữ thông tin mối quan hệ cá nhân, doanh nghiệp, … Những thông tin tạo thành “đám mây tri thức” Việc tìm hiểu khai thác hiệu thông tin tạo tiền đề cho nhiều ứng dụng khác nhƣ: hệ thống tƣ vấn, hệ thống tìm kiếm thông tin, tiếp thị trực tuyến, điều tra tội phạm, dự đoán phát triển mạng xã hội,… Vì vậy, việc khai thác thông tin mạng xã hội để áp dụng vào thực tiễn ngày trở nên quan trọng Ra đời vào năm 1993, đến nay, Search Engine trở thành phần thiếu với ngƣời sử dụng Internet Search Engine không ngừng đƣợc cải thiện số lƣợng chất lƣợng kết tìm kiếm Sự phát triển Search Engine đƣợc gắn liền với phát triển công nghệ thông tin toàn cầu Hiện nay, Google công cụ tìm kiếm liệu phổ biến ngƣời dùng Internet Tuy nhiên, tìm kiếm Google, ngƣời sử dụng nhận đƣợc kết trích xuất từ Facebook Mạng xã hội giống nhƣ "ốc đảo" mà dịch vụ tra cứu khai thác Từ lý trên, lựa chọn đề tài “Nghiên cứu search engine mạng xã hội Facebook” cho luận văn Thạc sĩ Mục tiêu luận văn Nghiên cứu hệ thống Search Engine, cấu trúc mạng xã hội Facebook xây dựng đƣợc hệ thống Search Engine cho mạng xã hội Facebook - Đối tƣợng phạm vi nghiên cứu Luận văn tập trung vào nghiên cứu cấu trúc hệ thống Search Engine bản, áp dụng cho Mạng xã hội Facebook - Phƣơng pháp nghiên cứu Phƣơng pháp nghiên cứu lý thuyết (bao gồm phƣơng pháp đọc tài liệu; phân tích, tổng hợp thống kê) Phƣơng pháp chuyên gia Phƣơng pháp nghiên cứu thực nghiệm (xây dựng chƣơng trình, thu thập liệu, thí nghiệm đánh giá) Các đóng góp luận văn - Nghiên cứu tổng quan Mạng xã hội phƣơng pháp Crawl liệu từ Facebook - Nghiên cứu tổng quan Search Engine phƣơng pháp Search Engine phổ biến - Đề xuất xây dựng công cụ Search Engine cho Mạng xã hội Facebook Bố cục luận văn Luận văn bao gồm chƣơng: - Chƣơng 1: Tổng quan mạng xã hội - Chƣơng 2: Các kỹ thuật Search Engine - Chƣơng 3: Đề xuất Search Engine cho Mạng xã hội FaceBook - Kết luận – Hƣớng phát triển CHƢƠNG – TỔNG QUAN VỀ MẠNG XÃ HỘI 1.1 Khái niệm mạng xã hội 1.1.1 Khái niệm “Mạng xã hội (MXH) dịch vụ nối kết thành viên sở thích Internet lại với với nhiều mục đích khác không phân biệt không gian thời gian Những ngƣời tham gia vào dịch vụ mạng xã hội đƣợc gọi cƣ dân mạng.” [10] Mạng xã hội mạng đƣợc tạo để tự thân lan rộng cộng đồng thông qua tƣơng tác thành viên cộng động Mọi thành viên MXH kết nối ngƣời mắt xích để tạo nên mạng lƣới rộng lớn truyền tải nội dung thông tin Về mặt toán học, mạng xã hội xem nhƣ hệ thống có cấu trúc gồm đỉnh (node) gắn với thành mạng bời liên kết (hoặc cung) Để nghiên cứu tính chất mạng xã hội, ta thƣờng xem mạng xã hội nhƣ dạng mạng phức hợp, tập hệ thống đƣợc tạo yếu tố đồng không đồng kết nối với thông qua tƣơng tác khác yếu tố đƣợc trải diện rộng Mạng phức hợp có hai thuộc tính quan trọng, hiệu ứng giới nhỏ (small-world effect) đặc trưng co dãn tự (scale-free íeature) Để xem xét mạng phức họp ngƣời ta thƣờng dùng ba độ đo: độ dài đƣờng dẫn trung bình (Average Path Length), độ phân cụm (Clustering Coeffícient), độ phân bố bậc (Degree Distribution) [7] 1.1.2 Khái niệm dịch vụ mạng xã hội trực tuyến Dịch vụ mạng xã hội tảng cho phép ngƣời dùng có thê tạo lập cộng đồng trực tuyến chia sẻ nội dung ngƣời dùng tạo (UCC :UserCreat Content) mạng Internet Ngƣời dùng ngƣời sử dụng Internet thuộc tổ chức cụ thể (ví dụ, công ty, trƣờng đại học, tổ chức nghề nghiệp v.v ) Các cộng đồng mạng bạn bè ngoại tuyển (có tình bạn trực tuyến), ngƣời quen trực tuyến, hay nhiều nhóm có sở thích, mối quan tâm (học trƣờng, có sở thích, mối quan tâm, mục đích, nghề nghiệp, sắc tộc, giới tính, nhóm tuổi, v.v ) Các nội dung người 48 Hình 2.14 Mô hình hoạt động API Facebook API tảng để xây dựng ứng dụng cho cácthành viên mạng xã hội Facebook Facebook API cho phép ứng dụng sửdụng kết nối xã hội thông tin hồ sơ để làm cho ứngdụng liên quan tới nhiều API cung cấp phƣơng thức để lấy thông tin ngƣời sử dụng, nhóm ngƣời dùng, bạn bè, thông báo, sựkiện nguồn cấp liệu…Cũng dùng phƣơng thức API để cập nhật lấy thông tin hồ sơ API sử dụng giao thức RESTful kết đƣợc trả lại dƣới dạng XML REST viết tắt cụm từ Representational State Transfer (đôi viết ReST) kiểu kiến trúc sử dụng việc giao tiếp máy tính (máy tính cá nhân máy chủ trang web) việc quản lý tài nguyên internet REST sử dụng nhiều việc phát triển ứng dụng Web Services sử dụng giao thức HTTP giao tiếp thông qua mạng internet Các ứng dụng sử dụng kiến trúc REST gọi ứng dụng phát triển theo kiểu RESTful 2.3.2.2 Facebook Graph API Theo [8] Facebook Graph API cách để lấy liệu từ Facebook đƣa liệu vào tảng Facebook Đó API dựa HTTP cấp thấp mà ngƣời 49 dùng sử dụng để truy vấn liệu, đăng tin mới, quản lý quảng cáo, tải ảnh lên thực nhiều tác vụ khác mà ứng dụng triển khai Facebook Graph API đƣợc đặt tên theo ý tƣởng 'đồ thị xã hội' bao gồm: Nút –Tƣợng trƣng cho ngƣời dùng, ảnh, trrang, địa điểm, bình luận Cạnh –Là liên kết nút Trƣờng - thông tin nút, nhƣ ngày sinh ngƣời dùng tên Trang Facebook Graph API dựa HTTP nên API hoạt động với ngôn ngữ có thƣ viện HTTP, chẳng hạn nhƣ cURL urllib Chúng ta sử dụng Facebook Graph API trực tiếp trình duyệt, để yêu cầu API Đồ thị, sử dụng lệnh: GET graph.Facebook.com /Facebook/picture? redirect=false Để sử dụng Facebook Graph API, cần sử dụng mã truy cập, mã sẽẽ đƣợc sinh đăng nhập Facebook Cấu trúc Facebook Graph API: Facebook Graph API gồm thành phần sau: - ID đối tƣợng: Mỗi nút có ID đƣợc sử dụng để truy cập thông qua Graph API Để sử dụng ID nút, sử dụng câu lệnh: GET graph.Facebook.com /{node-id} Để sử dụng ID cạnh, sử dụng câu lệnh: 50 GET graph.Facebook.com /{node-id}/{edge-name} Có thể đăng lên API cách tạo yêu cầu POST HTTP với thông số cho nút: POST graph.Facebook.com /{node-id} cạnh: POST graph.Facebook.com /{node-id}/{edge-name} Xóa qua API đƣợc thực cách sử dụng yêu cầu DELETE HTTP (và cập nhật qua yêu cầu POST) cho điểm cuối Access Token: Là mã truy cập đƣợc sinh ngƣời dùng đăng nhập vào Facebook Acess Token đƣợc sử dụng để gọi Graph API 2.4 Kết luận chƣơng Trong chƣơng này, đề tài tập trung nghiên cứu khái niệm, cấu trúc thuật toán đƣợc sử dụng phần hệ thống Search Engine Phần chƣơng nghiên cứu thành phần chức Graph Search Facebook giới thiệu cách tiếp cận với Facebook Graph API Nội dung chƣơng sở để áp dụng cho chƣơng 51 Chƣơng 3– ĐỀ XUẤT SEARCH ENGINE CHO MẠNG XÃ HỘI FACEBOOK 3.1 Mô tả đề xuất Chƣơng luận văn, em nghiên cứu, xây dựng mô đun tìm kiếm Facebook, mô đun tìm kiếm theo tiêu chí mà Facebook chƣa có, tìm kiếm lan tỏa Mô đun giới hạn đối tƣợng tìm kiếm cho ngƣời dùng Cụ thể, ngƣời dùng nhập từ khóa tìm kiếm, mô đun tìm kiếm thông tin danh sách status bạn bè (Friends) danh sách bạn bạn (friends of friends) Để thực chức này, cần phải làm theo quy trình nhƣ hệ thống Search Engine bản, phải xây dựng thu thập thông tin (Clawler), lập mục thông tin (Indexer) tìm kiếm thông tin Mô đun tìm kiếm lan tỏa đƣợc xây dựng Framework Yii – ngôn ngữ PHP Cơ sở liệu MySQL 3.2 Xây dựng thi thập thông tin 3.2.1 Thu thập thông tin Để thu thập toàn thông tin đăng (status) danh sách bạn bè cần đăng nhập Facebook để có đƣợc Access Token hợp lệ Các access token thƣờng có thời hạn sử dụng ngắn việc thu thập liệu nhiều thời gian ta cần access token có thời gian sử dụng dài làm lại access token hết hạn Facebook cung cấp cho ta làm access token thông qua App Id App Secret ứng dụng mà ta dễ dàng tạo trang Facebook Developer Tuy nhiên access token có nhƣợc điểm lấy đƣợc thông tin ngƣời dùng Facebook sử dụng ứng dụng này, nên việc lấy toàn thông tin viết danh sách ngƣời ta mong muốn không khả thi Do đó, luận văn sử dụng access token qua ứng dụng Facebook phát triển nhƣ Facebook for Android Facebook for iOS thông qua REST server API Facebook 52 Hình 3.1 Cách thức thu thập Access Token Khi lấy đƣợc Access Token ta thiết lập muốn thu thập liệu Với mục đích toán này, ta thu thập liệu viết Facebook bạn bè bạn bạn bè Chúng ta sử dụng Graph Facebook API để lấy danh sách tất bạn bè tiếp lan tỏa tiếp từ bạn bè đến bạn bạn bè Trong luận văn này, sử dụng phƣơng pháp duyệt đồ thị theo chiều sâu, nghĩa duyệt tới ngƣời A bạn tôi, chƣơng trình ƣu tiên thu thập thông tin ngƣời bạn A (bạn bạn) - Để thu thập thông tin bạn bè, sử dụng API theo đƣờng dẫn: https://graph.Facebook.com/v2.9/me?fields=friends&access_token= Sau bƣớc này, ta nhận đƣợc toàn ID bạn bè (My friend), ta tiens hành lấy danh sách bạn bạn 53 - Lấy danh sách bạn bạn: https://graph.Facebook.com/v2.9/?fields=friends&access_token= - Khi lấy đƣợc danh sách bạn bè bạn bạn bè việc thu thập thông tin viết bạn bè https://graph.Facebook.com/v2.9/?fields=posts&access_token= Với API lấy đƣợc thông tin viết, ta gọi API lấy thông tin viết nhƣ sau để lấy thêm thông tin lƣợt tƣơng tác viết (reactions, comment ) https://graph.Facebook.com/v2.9/?fields=posts{id,message,story,created_ time,likes.summary(1).limit(0){id},comments.summary(1).limit(0){id},reactions.sum mary(1).limit(0){id}}&access_token= 3.2.2 Lưu thông tin vào Cơ sở liệu Cơ sở liệu để lƣu trữ thông tin thu thập đƣợc bao gồm trƣờng: - Nội dung viết Số lƣợt bình luận viết Số lƣợt reactions viết Ngƣời đăng Thời gian tạo Sauk hi tạo Cơ sở liệu, ta xây dựng class thực truy vấn đến Graph Facebook API $listFriends = array(); for ($i=0; $i < 2; $i++) { $currentFriends = array(); if($i == 0){ $crawlerFriends = $crawler->getFriends('me'); $crawlerFriends = array_map(function ($value){ return (array) $value; }, (array) $crawlerFriends); $currentFriends = array_merge($currentFriends, $crawlerFriends); } else { foreach ($listFriends as $friend) { try { $crawlerFriends = $crawler->getFriends($friend['id']); $crawlerFriends = array_map(function ($value){ return (array) $value; }, (array) $crawlerFriends); 54 $currentFriends = array_merge($currentFriends, $crawlerFriends); } catch (Exception $e) { echo "Exception: ".$e->getMessage()."\n"; } } } $listFriends = array_merge($listFriends, $currentFriends); } Sau lấy đƣợc danh sách bạn bè bạn bạn, ta bắt đầu gọi đến API lấy danh sách viết cho ngƣời lƣu lại vào database 3.3 Chỉ mục liệu Trong ứng dụng này, thời gian không cho phép nên không xây dựng đánh mục mà sử dụng tìm kiếm MySQL Full text search để mục liệu đƣợc thu thập phần 3.2 Full text search sử dụng cấu trúc Inverted Index để index liệu thu thập đƣợc từ phần 3.2 Sau trình index liệu MySQL Full text search, ta thu đƣợc files DocID Content DocID lƣu index terms (Từ mục) Conten lƣu nội dung liệu [9] 3.4 Bộ tìm kiếm liệu Bộ tìm kiếm liệu gồm có giao diện (nhập từ khóa tìm kiếm hiển thị kết tìm kiếm) mô đun searcher (Tìm kiếm) Mô đun có nhiệm vụ load liệu qua index từ file docid content vào nhớ, sau với query, Searcher phân tích query thành term, tìm kiếm tài liệu chứa term dựa vào liệu từ docid hiển thị kết hình Kết hiển thị hình đƣợc lấy từ file content Tuy nhiên, kết tìm đƣợc lớn việc hiển thị kết để phù hợp với ngƣời sử dụng vấn đề quan trọng, liệu tìm đƣợc cần đƣợc ranking trƣớc hiển thị cho ngƣời sử dụng Trong nội dung luận văn này, em sử dụng thuật toán Pagerank để ranking liệu Áp dụng thuật toán Pagerank, ta coi user đỉnh đồ thị, status đỉnh đồ thị, cạnh đồ thị tƣơng tác user với user với status (Like, comment share) 55 Để xếp hạng đăng, em sử dụng thuật toán pagerank lần, lần để xếp hạng users dựa vào tƣơng tác họ (like, share, comment) với đăng ngƣời khác số tƣơng tác mà họ nhận đƣợc từ ngƣời khác r i d k ( j, i) r j / N j 1 d / m jB i (2.2) Trong đó: - r(i) ranking ngƣời thứ i - r(j) ranking ngƣời thứ j – có tƣơng tác với ngƣời thứ i - N(j) tổng số lần tƣơng tác mà j làm với ngƣời khác - k(j,i) số lần tƣơng tác mà j dành cho i - d phần trăm tƣơng tác mà j nhận đƣợc/ tổng số tƣơng tác j - m tổng số user Do tƣơng tác ngƣời dùng chiều, nên tƣơng tác tạo thành đồ thị có hƣớng, có trọng số (d) Công thức (2.2) cho thấy, user nhận đƣợc nhiều tƣơng tác từ user khác, mà tƣơng tác theo chiều ngƣợc lại (Số bậc vào nhiều số bậc ra) có xếp hạng cao Còn user tƣơng tác nhiều với user khác mà không nhận đƣợc tƣơng tác ngƣợc lại có xếp hạng thấp Để xếp hạng đăng (Status), em áp dụng thuật toán Pagerank đơn giản (2.1) si r j / N j jB i - s(i) ranking status i - r(j) ranking user j – có tƣơng tác với status i - N(j) tổng số tƣơng tác j với tất status Để tăng thêm mức độ xếp hạng, em đặt trọng (type) số cho loại tƣơng tác nhƣ sau -Like: type =5 - Comment: type=6 - Share: type=7 Khi đó, thuật toán xếp hạng cho đăng nhƣ sau: 56 si r j * type _( j, s(i)) / N j jB i Với type(j,s(i) kiểu tƣơng tác mà user j dành cho đăng s(i) Một số kết đạt đƣợc: Hình 3.1: Xếp hạng user Cơ sở liệu 57 Hình 3.2: Xếp hạng Status Cơ sở liệu Hình 3.3: Hiển thị kết tìm kiếm 58 3.5 Kết thử nghiệm Sau xây dựng mô đun „tìm kiếm lan tỏa Facebook‟ em tiến hành thử nghiệm có kết sơ nhƣ sau: - Quá trình Crawl liệu Em sử dụng tài khoản Facebook cá nhân để thu thập danh sách bạn bè bạn bạn, kếu thu thập đƣợc khoảng 30.000 tài khoản Facebook lƣu vào danh sách Kèm với đó, thu thập đƣợc gần triệu đăng (trong tháng gần nhất) tài khoản Facebook danh sách lƣu - Kết tìm kiếm đƣợc hiển thị theo thứ tự ƣu tiên xếp hạng, ranking cao đƣợc ƣu tiên hiển thị trƣớc Tuy nhiên thời gian có hạn nên em chƣa tối ƣu đƣợc việc index liệu dẫn đến thời gian tìm kiếm không đƣợc nhƣ mong muốn (Có cụm từ khóa, hệ thống tìm kiếm gần 20 giây trả kết quả) - Chức „tìm kiếm lan tỏa‟ đƣa kết khác so với với chức tìm kiếm Facebook nay, kết tìm kiếm đƣợc giới hạn phạm vi định, đƣợc đăng ngƣời có lên quan (trên Facebook) với bạn bè Chức „Tìm kiếm lan tỏa‟ giúp ngƣời dùng sàng lọc kiểm chứng lại thông tintrong vài trƣờng hợp định Ví dụ, ngƣời dùng sử dụng chức „tìm kiếm lan tỏa‟ để tìm mua mặt hàng mà ngƣời bán đăng Facebook, họ nhận đƣợc danh sách đăng khác so với chức tìm kiếm có Facebook Những đăng hoàn toàn kiểm chứng qua bạn bè họ (những ngƣời có mối quan hệ Facebook với ngƣời đăng bán) 59 KẾT LUẬN Kết đạt đƣợc luận văn Luận văn nghiên cứu đƣợc vấn đề Mạng xã hội trực tuyến nhu cầu sử dụng, thị phần mạng xã hội trực tuyến hàng đầu Em đƣa đƣợc thống kê mang tính cập nhật tình hình sử dụng Mạng xã hội Facebook Việt Nam nhƣ Thế giới Qua đó, nhận thấy tầm quan trọng việc khai thác thông tin mạng xã hội nói chung Facebook nói riêng Luận văn bƣớc đầu nghiên cứu, tổng hợp vấn đề lý thuyết cho toán “Search Engine” mạng công cụ Graph Search - ứng dụng cho chức tìm kiếm Facebook Em đƣa chiến lƣợc thông dụng phổ biến cho công cụ tìm kiếm mạng nhƣ API đƣợc sử dụng để thu thập liệu Facebook Dựa vào mô hình lý thuyết kết hợp với liệu thu thập đƣợc từ Facebook, em tiến hành cài đặt mô đun tìm kiếm lan tỏa cho Facebook Các chức có ƣu điểm nhƣ: - Giới hạn đƣợc đối tƣợng mong muốn: Trong trình Crawl liệu từ Facebook, em giới hạn đƣợc đối tƣợng mà mong muốn thu thập liệu (bạn, bạn bạn, bạn bạn bạn …) - Đƣa tập kết theo thứ tự độ liên quan tới truy vấn cao Bên cạnh đạt đƣợc, thời gian có hạn thiếu nhiều kinh nghiệm nên có vấn đề em chƣa giải đƣợc nhƣ: - Thời gian tìm kiếm chƣa đƣợc nhƣ ý muốn, cần cải thiện them - Do hạn chế thời gian kinh nghiệm nên em chƣa có điều kiện thử nghiệm số thuật toán đƣợc đƣa phần lý thuyết Ví dụ nhƣ áp dụng thuật toán Hits để xếp hạng cho liệu tìm kiếm 60 Trong trình thực luận văn này, em cố gắng tập trung tìm hiểu tham khảo nhiều tài liệu có liên quan Tuy nhiên, với thời gian trình độ có hạn nên luận văn không tránh khỏi hạn chế thiếu sót Em mong đƣợc góp ý quí thầy, cô để hoàn thiện kết nghiên cứu Hƣớng phát triển luận văn - Tối ƣu hóa liệu giảm thời gian tìm kiếm nhanh - Thực tìm kiếm ảnh Facebook - Tóm tắt nội dung liệu hàng đầu (có ranking cao) hiển thị cho ngƣời dùng 61 DANH MỤC TÀI LIỆU THAM KHẢO [1] Phan Hồ Viết Trƣờng, (2013), “Phân tích tầm ảnh hƣởng đối tƣợng theo chủ đề mạng Xã hội”, SCIENCE & TECHNOLOGY DEVELOPMENT, Vol 16, No.K42013 [2] B.S Satpute, Raj Ambani, (2014),” Design and Implementation of Distributed Facebook Crawler Based on Interaction Simulation”, International Journal of Engineering Trends and Technology (IJETT) – Volume 10 Number - Apr 2014 [3] Facebook, Inc, (2014) Unicorn: A System for Searching the Social Graph [4] S.Brin and L Page,(1998) “The anatomy of a large-scale hypertextual web search engine” In proceedings of 7th World Wide Web Conference, 1998 [5] Kim S.J., Lee S.H (2002), “An Improved Computation of the PageRank Algorithm”, Lecture Notes in Computer Science, vol 2291 Springer, Berlin, Heidelberg [6] Zhiyong Zhang and Olfa Nasraoui (2009), “Profile - Base d Focused Crawling for Social Media-Sharing Websites”, University of Louisville, Louisville, KY 40292, USA http://ieeexplore.ieee.org/document/4669706/, truy cập ngày 20/2/2017 [7] Damon Horowitz and Sepandar D Kamvar,(2010),” The Anatomy of a Large-Scale Social Search Engine”, Stanford University, Stanford, CA, USA, http://dl.acm.org/citation.cfm?id=1772735, truy cập ngày 20/2/2017 [8] Facebook, Inc, (2014) Facebook Graph API, https://developers.Facebook.com/docs/graph-api, truy cập ngày 24/4/2017 [9] http://ktmt.github.io/blog/2014/01/04/full-text-search-engine-part-1/ [10] https://vi.wikipedia.org/wiki/Wikipedia 62 ... Nghiên cứu hệ thống Search Engine, cấu trúc mạng xã hội Facebook xây dựng đƣợc hệ thống Search Engine cho mạng xã hội Facebook - Đối tƣợng phạm vi nghiên cứu Luận văn tập trung vào nghiên cứu cấu... thuật Search Engine - Chƣơng 3: Đề xuất Search Engine cho Mạng xã hội FaceBook - Kết luận – Hƣớng phát triển CHƢƠNG – TỔNG QUAN VỀ MẠNG XÃ HỘI 1.1 Khái niệm mạng xã hội 1.1.1 Khái niệm Mạng xã hội. .. từ Facebook Mạng xã hội giống nhƣ "ốc đảo" mà dịch vụ tra cứu khai thác Từ lý trên, lựa chọn đề tài Nghiên cứu search engine mạng xã hội Facebook cho luận văn Thạc sĩ Mục tiêu luận văn Nghiên