Thông tin tài liệu
ĐẠI HỌC QUỐ C GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Đỗ Việt Kiên
NGHIÊN CỨU GIẢI PHÁP TÌM KIẾM TÀI NGUYÊN
HIỆU QUẢ THEO TÊN MIỀN TRÊN MẠNG NGANG
HÀNG CÓ CẤU TRÚC
KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Ngành: Công nghệ Thông tin
Cán bộ hướng dẫn: TS. Nguyễn Hoài Sơn
HÀ NỘI - 2010
LỜI CẢM ƠN
Em xin chân thành cảm ơn các thầy cô giáo trong trường Đại học Công nghệ -
Đại học Quốc gia Hà Nội đã tận tình giúp đỡ và truyền đạt kiến thức cho em trong suốt
4 năm học qua để em có đủ kiến thức hoàn thành khóa luận này.
Đặc biệt, em xin gửi lời cảm ơn sâu sắc tới thầy Nguyễn Hoài Sơn – người đã
nhiệt tình giúp đỡ, định hướng cũng như động viên em trong quá trình nghiên cứu và
hoàn thành khóa luận.
Em xin cảm ơn sự nhiệt tình chia sẻ kinh nghiệm, đóng góp ý kiến của nhóm
nghiên cứu do thầy Nguyễn Hoài Sơn hướng dẫn, của các anh chị cao học.
Mặc dù đã rất cố gắng hoàn thành khóa luận này, xong khóa luận sẽ khó tránh
khỏi những thiếu sót, kính mong quý thầy cô tận tình chỉ bảo giúp em. Một lần nữa em
xin cảm ơn tất cả mọi người.
Hà Nội, tháng 5 năm 2010
Sinh viên
Đỗ Việt Kiên
Tóm tắt
Ngày nay, sự phát triển các dịch vụ cung cấp tài nguyên mạng khiến cho việc xây
dựng một hệ thống có khả năng tìm kiếm nhanh các tài nguyên theo yêu cầu là rất cần
thiết. Thách thức đặt ra là làm sao để hệ thống có thể hoạt động tốt trong những hệ
thống mạng quy mô lớn nhưng tiềm tàng nhiều biến động. Một mối quan tâm khác là
bằng cách nào người dùng có thể diễn tả và tìm kiếm được tài nguyên mà họ mong
muốn.
Khóa luận sẽ trình bày một giải pháp tìm kiếm thông tin trên hệ thống mạng
ngang hàng với thành phần là các máy phân tích, đóng vai trò như những kho dữ liệu
lưu trữ tài nguyên và xử lý các yêu cầu tìm kiếm. Giải pháp thực thi việc mô tả tài
nguyên bằng một câu trúc cây thuộc tính-giá trị có khả năng biểu diễn cao, mô tả mềm
dèo và chính xác tài nguyên. Tầng phủ DHT với cơ chế ánh xạ khóa đến dữ liệu được
sử dụng giúp hệ thống đạt hiệu quả trong việc tìm kiếm nhanh và mở rộng quy mô.
Tuy nhiên, để hỗ trợ việc tìm kiếm mở rộng sử dụng truy vấn tổng quát, giải pháp sẽ
cung cấp thêm khả năng ánh xạ từ dải khóa đến tập hợp tài nguyên để cái tiến cơ chế
một – một của các mạng DHT. Ngoài ra hệ thống cũng giải quyết được vấn đề cân
bằng lưu trữ trên các máy phân tích.
Mục lục
Mở đầu 3
Chương 1. Tổng quan về tìm kiếm tài nguyên mạng 6
1.1. Tầm quan trọng của tài nguyên và các dịch vụ cung cấp tài nguyên 6
1.2. Tổng quan hệ thống tìm kiếm tài nguyên mạng 7
1.2.1. Giới thiệu 7
1.2.2. Diễn đạt tài nguyên 7
1.2.3. Kiến trúc hệ thống 10
1.2.4. Tìm kiếm và phân bổ tài nguyên 12
1.2.5. Đánh giá chung 16
Chương 2. Tìm kiếm tài nguyên trên mạng ngang hàng có cấu trúc 17
2.1. Tổng quan về mạng ngang hàng 17
2.1.1. Khái niệm mạng ngang hàng 17
2.1.2. Đánh giá ưu nhược điểm của mạng ngang hàng 18
2.2. Mạng ngang hàng có cấu trúc 19
2.2.1. Kiến trúc mạng 19
2.2.2. Giao thức Chord 20
Mô hình mạng Chord 21
Ánh xạ khóa vào một nút trong Chord 22
Tìm kiếm trong mạng Chord 22
Tham gia và ổn định mạng 23
2.3. Một số giải pháp về tìm kiếm tài nguyên trên mạng ngang hàng có cấu trúc. 23
2.3.1. Hệ thống INS/TWINE 24
2.3.2. Data Indexing
[4]
28
3.1. Vấn đề giải quyết 32
3.2. Ý tưởng 34
3.3. Chi tiết giải pháp 39
3.4. Đánh giá chung về giải pháp 43
4.1. Môi trường mô phỏng 44
4.1.1. Xây dựng chương trình mô phỏng 44
4.1.2. Các tham số mô phỏng 45
4.2. Đánh giá kết quả 47
4.2.1. Hiệu quả trong phân bổ tài nguyên 47
4.2.2. Hiệu quả trong xử lý truy vấn 52
5.1. Kết luận 55
5.2. Hướng phát triển tiếp theo của đề tài 56
Tài liệu tham khảo 57
1
Danh mục hình ảnh
Hình 1: Mô tả tài nguyên dưới dạng cây 9
Hình 2:Mô tả tài nguyên dưới dạng các cặp thẻ [thuộc tính = giá trị] 10
Hình 3: Sơ đồ kiến trúc mạng INS 11
Hình 4:Ví dụ về việc phân bổ tài nguyên trong hệ thống 14
Hình 5 :Thuật toán tìm kiếm tài nguyên theo tên miền 15
Hình 9 : Một mạng Chord với 3 nút 21
Hình 10. Lưu giữ key trong mạng Chord 22
Hình 11: Ví dụ về mô tả tài nguyên trong INS/TWINE 24
Hình 12: Kiến trúc của hệ thống INS/TWINE 25
Hình 13: Ví dụ về việc chia nhánh từ cây avtree 25
Hình 14: Việc quản lý trạng thái trong hệ thông INS/Twine 27
Hình 15 Ví dụ về đặc tả file trong hệ thống Indexing 28
Hình 16: Đồ thị biểu diễn các câu truy vấn được đưa ra trong ví dụ 29
Hình 17 : Lược đồ chỉ mục cho dữ liệu cây thư mục (bibliographic database) 30
Hình 18 : Ví dụ về index dữ liệu 31
Hình 19: Ví dụ về mô tả tài nguyên của hệ thống 35
Hình 21 : Ví dụ về mô tả truy vấn trong giải pháp 41
Hình 22: Biều đồ phân tích số lượng bản sao thực hiện trên mỗi tài nguyên, trường
hợp cây mô tả chung chia 2 nhánh tại mỗi nút 48
Hình 23 :Biều đồ phân tích số lượng bản sao thực hiện trên mỗi tài nguyên, trường
hợp cây mô tả chung chia 3 nhánh tại mỗi nút 49
Hình 24: Biều đồ phân tích số lượng bản sao lưu trên mỗi nút mạng, trong trường
hợp cây mô tả chung chia 2 nhánh tại mỗi nút 50
2
Hình 25: Biều đồ phân tích số lượng bản sao lưu trên mỗi nút mạng, trong trường
hợp cây mô tả chung chia 4 nhánh tại mỗi nút 51
Hình 26 : Biều đồ phân tích số lượng bản sao lưu trên mỗi nút mạng, trong trường
hợp cây mô tả chung chia 6 nhánh tại mỗi nút 52
Hình 27: Biều đồ đánh giá hiệu quả của truy vấn thông qua số lượng các hope trên
mỗi truy vấn 53
Hình 28: Biểu đồ đánh giá hiệu quả của việc thực hiện truy vấn thông qua số lượng
truy vấn / 1 nút mạng 54
3
Mở đầu
Trong những năm gần đây, Internet đã không còn xa lạ đối với đời sống con
người. Sự phát triển và lớn mạnh của Internet giúp cho con người có thể trao đổi,chia
sẻ thông tin hay tài nguyên một cách dễ dàng hơn. Tuy nhiên lượng thông tin là vô
cùng lớn và không phải thông tin nào cũng hữu ích đối với tất cả mọi người, mỗi một
cá nhân khác nhau có nhu cầu về thông tin khác nhau. Do đó việc xây dựng một hệ
thống tìm kiếm thông tin, tài nguyên mạng là rất cần thiết.
Các máy tìm kiếm phổ biết nhất có thể kể đến đó là Google
[15]
, Yahoo
[16]
, ngoài
ra còn rất nhiều những hệ thống tìm kiếm tương tự khác. Điểm chung của các hệ thống
này là chỉ hỗ trợ việc tìm kiếm dựa từ khóa xuất hiện trên nội dung của các websites.
Chúng không cung cấp khả năng tìm kiếm thông tin đối với nhiều loại tài nguyên khác
nhau như các dịch vụ cung cấp thông tin trực tuyến, hay một dạng tài nguyên rất phổ
biến khác đó là các files tài nguyên được chia sẻ trên mạng ngang hàng. Hệ thống
DNS
[9]
có thể được xem là một hệ thống tìm kiếm tài nguyên đơn giản, ánh xạ tên
miền tới IP. Nhưng mô tả tài nguyên trong hệ thống này là chưa hiệu quả với những tài
nguyên phức tạp có nhiều thuộc tính.
Việc xây dựng một hệ thống tìm kiếm tài nguyên là không hề đơn giản, nó phải
chịu sự tác động từ rất nhiều yếu tố. Trước tiên, hệ thống luôn phải chịu tác động của
sự thay đổi động trong trong các hệ thống mạng, ví dụ như : việc ra vào của các nút,
thay đổi vị trí, địa chỉ của các thiết bị Sự thay đổi thường xuyên trong những mạng
như vậy là thách thức với việc định vị thiết bị và tài nguyên trong quá trình tìm kiếm.
Thứ hai, là thách thức trong việc lưu trữ số lượng lớn tài nguyên trong hệ thống. Với
sự phát triển về số lượng các dịch vụ theo nhu cầu của người sử dụng thì số lượng tài
nguyên cũng không ngừng tăng lên và việc phân bổ lưu trữ chúng hợp lý sẽ là một vấn
đề quan trọng. Thêm vào đó các tài nguyên cũng cần được cập nhật thường xuyên và
hệ thống cần phải có cơ chế giúp các nhà cung cấp dịch vụ thực hiện điều này.
Để xây dựng được một hệ thống hoạt động hiệu quả, hệ thống cần hiện được một
số yêu cầu quan trọng. Thứ nhất, cần có một các thức mô tả tài nguyên tốt, mang tính
biểu đạt cao, có thể diễn đạt mềm dẻo các tích chất đa dạng của tài nguyên. Thứ hai,
hệ thống phải có khả năng mở rộng tốt để có thể triển khai trên những quy mô mạng
lớn. Thứ ba, hệ thống phải đảm bảo hiệu quả trong tìm kiếm và phân bổ tài nguyên.
Hiệu quả trong tìm kiếm được đánh giá qua thời gian thực hiện yêu cầu và việc cân
bằng tải giữa các nút trong hệ thống trước nhiều yêu cầu về tìm kiếm. Hiệu quả trong
phân bổ tài nguyên được đánh giá thông qua số lượng bản sao so với tài nguyên thực
4
và cân bằng lưu trữ tài nguyên giữa các nút mạng. Cuối cùng, cần phải luôn đảm bảo
tính sẵn sàng của hệ thống trước những vấn đề về hỏng hóc, bảo trì, hay cập nhật thiết
bị.
Khóa luận sẽ đưa ra một giải pháp cụ thể dựa trên những luận điểm trên Một hệ
thống có khả năng diễn đạt tài nguyên tốt đó là hệ thống INS với việc sử dụng bộ định
danh để biểu diễn các cặp thuộc tính – giá trị một cách có thự tự, theo cấu trúc phân
cấp. Mỗi một mô tả có được khi sử dụng bộ định danh sẽ tương đương với một cây
thuộc tính – giá trị.
Để đảm bảo khả năng tìm kiếm và phân bố hiệu quả hệ thống đề xuất việc sử
dụng mạng ngang hàng có cấu trúc. Trong mạng ngang hàng có cấu trúc, các thông
điệp được định tuyến theo khóa một cách hiệu quả với số hop khoảng O(logN) trong
đó N là số node trong mạng. Các ưu điểm khác của mạng này là đem lại cho hệ thống
khả năng mở rộng, tính sẵn sàng trong các trường hợp xử lý lỗi và đảm bảo cân bằng
tải giữa các nút. Tuy nhiên, giải thuật bảng băm phân tán chỉ hỗ trợ tìm kiếm chính xác
tài nguyên theo khóa tương ứng, trong khi đó hệ thống của chúng ta cần có khả năng
trả lời những truy vấn theo dải (partial query).
Khóa luận đề xuất việc tìm kiếm theo dải ID, việc thực hiện bằng cách xây dựng
một cấu trúc cây lưu trữ dựa trên dải ID cấp phát bởi mạng ngang hàng phía dưới.
Việc xây dựng như sau, tại tầng đầu nút root của cây sẽ quản lý toàn bộ dải ID, ở các
tầng tiếp theo, dải ID được chia nhỏ cho các nút con quản lý, thông tin về tài nguyên
thực sự chỉ được lưu tại các nút lá. Nhờ đó, khi tìm kiếm đến một nút hệ thống sẽ ánh
xạ đến dải ID mà nó quản lý, nếu nút không phải nút lá, dải ID của nó sẽ chứa toàn bộ
dải ID của các nút lá nhờ đó việc tìm kiếm trên dải ID này sẽ cho kết quả là tập hợp
các tài nguyên thỏa mãn yêu cầu chứa tại các nút lá. Việc sử dụng dải ID để ánh xạ
còn giúp hệ thống chống chịu tốt hơn với việc hỏng hóc của các nút mạng, khi một nút
mạng rời đi các nút mạng cùng dải ID vẫn có thể trả lời kết quả.
Để đánh giá hiệu quả của giải pháp đề xuất, khóa luận xây dựng một chương
trình mô phỏng với số lượng lớn các nút mạng ảo và tài nguyên ảo. Các kết quả thử
nghiệm sẽ chứng minh cho hiệu quả của giải pháp đề ra.
Khóa luận được chia thành năm chương:
Chương 1: Giới thiệu tổng quan về tầm quan trọng của tài nguyên và các dịch vụ
cung cấp tài nguyên, sơ lược về một hệ thống tìm kiếm tài nguyên mạng
5
Chương 2: Đề cập đến việc thực hiện hệ thống tìm kiếm tài nguyên trên mạng
ngang hàng có cấu trúc, ưu điểm của nó và giới thiệu một số hệ thống đã được thực thi.
Chương 3: Từ các hệ thống và phương pháp giải quyết đã được trình bày trong 2
chương trước đưa ra các đánh giá chung và mục tiêu phát triển. Trên cơ sở đó đề đạt ý
tưởng và giải pháp để xây dựng hệ thống chia sẻ tài nguyên.
Chương 4: Xây dựng chương trình mô phỏng, các bước thực thi chương trình và
những đánh giá từ kết quả đạt được.
Chương 5: Kết luận, những vấn đề nảy sinh và hướng đi tiếp theo.
[...]... trong các mạng ngang hàng là không cao 2.2 Mạng ngang hàng có cấu trúc Trong phần này ta sẽ tìm hiểu kĩ hơn về mạng ngang hàng có cấu trúc - thế hệ thử 3 của mạng ngang hàng với nhiều ưu điểm nổi trội Nó được đánh giá là một lựa chọn hoàn hảo cho các hệ thống ngang hàng hiện tại và trong tương lai 2.2.1 Kiến trúc mạng Trong mạng ngang hàng có cấu trúc các kết nối ở tầng phủ là cố định, và mạng thường... ngột khỏi mạng, hệ thống Chord thông thường sẽ mất toàn bộ dữ liệu được lưu tại nút đó, sau đó các nút khác sẽ cập nhật lại bảng định tuyến mà không có nút vừa rời đi 2.3 Một số giải pháp về tìm kiếm tài nguyên trên mạng ngang hàng có cấu trúc Tính hiệu quả của các hệ thống mạng ngang hàng có cấu trúc là không còn phải bàn cãi, chính vì vậy việc thực hiện tìm kiếm tài nguyên mạng một cách hiệu quả hiện... việc không có được khả năng mở rộng là hạn chế rất lớn, vì các ứng dụng tìm kiếm tài nguyên với tầm quan trọng của nó cần được thực hiện trên những kiến trúc mạng lớn có thể vươn tới tầm cỡ như mạng Internet Ta hy vọng sẽ tìm ra những giải pháp mới cho hệ thống để hạn chế được vấn đề này 16 Chương 2 Tìm kiếm tài nguyên trên mạng ngang hàng có cấu trúc Trong chương một, khóa luận đã giới thiệu về tầm... với việc thay thế câu hỏi tìm kiếm tài nguyên ở đâu? bằng câu hỏi tìm kiếm cái gì? Rất đơn giản, chỉ cần đưa ra mô tả về tài nguyên muốn tìm kiếm hệ thống sẽ tìm kiếm tài nguyên mà không quan tâm đến việc cấu trúc mạng hay địa chỉ IP biến đổi liên tục trong hệ thống Kiến trúc phân tán đối hệ thống là không thể tách rời Tuy nhiên hệ thống cần phải có một thuật toán tìm kiếm hiệu quả hơn là truyền flooding... về tìm kiếm tài nguyên mạng Tìm kiếm tài nguyên hay thuật ngữ tiếng anh là Resource Discovery đã được sử dụng từ lâu trên các hệ thống mạng đặc biết là trong mạng Internet ngày nay Trong nỗ lực khiến cho việc tìm kiếm tài nguyên mạng trở nên dễ sử dụng với người dùng nhiều hệ thống tìm kiếm trong lĩnh vực này đã được ra đời Chương này, khóa luận sẽ giới thiệu tổng quan về thế nào là tài nguyên mạng. .. 8: Mạng ngang hàng có cấu trúc Chord dạng vòng tròn cách nhanh chóng nhất Hệ thống Chord là đại diện tiêu biểu nhất của hệ thống mạng ngang hàng có cấu trúc DHT, được sử dụng làm nên tảng cho nhiều ứng dụng phát triển trên mạng ngang hàng Một số nghiên cứu đã chỉ ra rằng: Chord không chỉ là một mạng DHT đơn thuần mà còn mang nhiều ưu điểm khác mà một số mạng DHT không có Những đặc điểm nổi bật có thể... quả được những tài nguyên mà ứng dụng tìm kiếm? Hệ thống INS[2] đã đưa ra giải pháp rất tốt để giải quyết cho vấn đề này Hệ thống INS hay chính xác là Intentional Naming System là một thiết kế và thực thi của một hệ thống tìm kiếm tài nguyên và dịch vụ trên các môi trường mạng có tính biến thiên cao INS sử dụng tên miền khái niệm để diễn đạt tài nguyên và ánh xạ từ tên miền đến tài nguyên được cất giữ... ra một số giải pháp thực thi khác khả năng tìm kiếm và phân bổ tài nguyên tương đối hiệu quả Các hệ thống được trình bày đều được đặt trên cơ sở là những mạng ngang hàng có cấu trúc, sử dụng bảng băm phân tán – DHT[10] để định tuyến các thông điệp 2.1 Tổng quan về mạng ngang hàng 2.1.1 Khái niệm mạng ngang hàng Mạng ngang hàng [8], là mạng mà trong đó hai hay nhiều máy tính chia sẻ tập tin và truy cập... việc mô tả tài nguyên, không chỉ giúp phân loại tài nguyên tốt, mà còn có khả năng diễn đạt tốt đối với cả máy tính và con người (những người xây dựng ứng dụng) Việc sử dụng tên miền để tìm kiếm tài nguyên thay thế cho việc định vị chính xác tài nguyên là một giải pháp tốt phù hợp tính biến động của kiến trúc mạng ngày nay khi phải tích hợp với nhiều thiết bị di động có tính biến thiên cao Có thể nói... của tài nguyên và các dịch vụ cung cấp chúng đối với cuộc sống công nghệ thông tin ngày nay Ngoài ra khóa luận cũng đề cập đến các bước trong việc thực hiện xây dựng hệ thống tìm kiếm tài nguyên mạng, bao gồm biểu diễn tài nguyên, thiết kế thuật toán tìm kiếm và phân bổ tài nguyên trong hệ thống Tiếp theo, chương hai của khóa luận sẽ đưa ra một số giải pháp thực thi khác khả năng tìm kiếm và phân bổ tài . CÔNG NGHỆ
Đỗ Việt Kiên
NGHIÊN CỨU GIẢI PHÁP TÌM KIẾM TÀI NGUYÊN
HIỆU QUẢ THEO TÊN MIỀN TRÊN MẠNG NGANG
HÀNG CÓ CẤU TRÚC
KHOÁ LUẬN TỐT. Chord 22
Tìm kiếm trong mạng Chord 22
Tham gia và ổn định mạng 23
2.3. Một số giải pháp về tìm kiếm tài nguyên trên mạng ngang hàng có cấu trúc. 23
2.3.1.
Ngày đăng: 18/02/2014, 00:04
Xem thêm: nghiên cứu giải pháp tìm kiếm tài nguyên hiệu quả theo tên miền trên mạng ngang hàng có cấu trúc, nghiên cứu giải pháp tìm kiếm tài nguyên hiệu quả theo tên miền trên mạng ngang hàng có cấu trúc