Nguyễn Thị Oanh Bộ môn HTTT – Viện CNTT & TT oanhnt@soict.hut.edu.vn Chương 2: Truy nhập dữ liệu đa phương tiện 1 Đặt vấn đề 2  Youtube: – 2009: over 1 billion videos per day – Bandwidth accounts for about 51% of expenses with a run rate of $1 million per day with content licensing accounting for 36% http://www.wired.com/epicenter/2009/10/youtube-over-one-billion-videos-served-per-day/ http://www.multichannel.com/article/191223- YouTube_May_Lose_470_Million_In_2009_Analysts.php Đặt vấn đề 3  YouTube Video Server (2010): – May 2010, 2 Billion videos served per day – More than 24 hours of video uploaded every minute (and +) (2011: 48h /minute) – Videos usually less than 10 minutes long – Top videos ("Evolution of Dance", "Charlie Bit My Finger", and Lady Gaga's "Bad Romance“) are approaching 200 million views  http://tech.fortune.cnn.com/2010/05/17/youtube-at-5-years-old-2- billion-served-per-day/ Đặt vấn đề 4  Dailymotion: – Dailymotion is the second largest video site in the world after YouTube – 29th most visited website in the world – 114 millions unique visitors and more than 1,2 billions video views every month (Comscore, 5/2011) Đặt vấn đề 5  Dành cho dữ liệu động, DL có thông số thời gian – Audio – Video  DL đòi hỏi tính liên tục (continuous) được đảm bảo  DL tĩnh: – Các phương pháp biểu diễn DL đa chiều: B-tree, R-tree, … 1. Truy nhập dữ liệu đa phương tiện từ đĩa từ 6 Nhắc lại: cấu trúc đĩa từ 7  Nhiều đĩa phẳng (platters), xếp đồng trục trên 1 trục chính (spindle)  Các cần di chuyển đầu đọc/ghi được gắn chung trên 1 trục quay  Mỗi mặt đĩa có 1 đầu đọc/ghi Cấu trúc đĩa từ 8  Track (A): – Nơi chứa DL – Vòng tròn đồng tâm trên các mặt đĩa  Region (B): – Mỗi mặt đĩa được chia thành k vùng đều nhau  Sector (C): – Là phần giao của mỗi track và region  Cluster (D): tập các sector  Cylinder: – Tập các tracks có cùng bán kính trên tất cả các mặt đĩa Truy nhập đĩa từ 9  2 bước: – phép dịch (seek operations): tìm đến track có chứa địa chỉ cần tìm kiếm  seek time  tăng tốc (acceleration phase)  chạy ổn định (coast phase)  giảm tốc độ (deceleration phase)  ổn định vị trí (settle phase) – phép quay (rotational operations) rotational latency (spin time) Thời gian = tgian dịch + tgian quay + tgian đọc DL Truy nhập đĩa từ 10  Transfer rate (bandwidth) (TR): – MB/s – Tốc độ ghi và đọc thường khác nhau – Thường TR được ngầm hiểu là tốc độ đọc, còn tốc độ ghi thì thường được chỉ rõ  Vận tốc góc: – hầu hết các đĩa có vận tốc góc quay không đổi (constant angular veolocity - CAV) – Thời gian chuyển từ sector x -> sector y là giống nhau trên tất cả các track [...]...   rnum ss 12 Phương pháp lưu trữ phổ biến  RAID: Redundant Array of Inexpensive Disks – RAID-0 – RAID-1 – RAID-5 – RAID -2 , RAID-3, RAID-4, RAID0+1, RAID1+0, …  Nguyên tắc: ghép nhiều ổ đĩa cứng vật lý thành một hệ thống ổ đĩa cứng – gia tăng tốc độ đọc/ghi dữ liệu – hoặc/và nhằm tăng thêm sự an toàn của dữ liệu  Khái niệm: 13 – block: khối DL nhỏ nhất được quan tâm khi đọc, ghi RAID-0 – 1 đĩa điều... trong (n-1) đĩa  giả sử đĩa parity là đĩa thứ n-1  Di.j: dữ liệu bít thứ j của đĩa i  : phép hoặc loại trừ (exclusive-or)  20 Dn1 j  D0 j  D1 j   Dn 2 j RAID-5 D1 D2 D3 Dp (parity disk) = D1  D2  D3 1 1 1 1 0 0 0 0 1 1 0 0 1 1 0 0 1 0 1 0 1 0 1 0 1 0 0 1 0 1 1 0 – Giả sử D2 hỏng, giá trị các bit j của D1, D3, Dp lần lượt là 21 (1, 1, 0)  bit j của D2 ? – Tổng quá hóa ? RAID-5  Lưu... R1 10 24 (8) 3 100 R2 8 12 (4) 5 120 R3 14 30 (10) 6 120 R4 11 18 (6) 4 100 – Thứ tự phục vụ: R4, R1, R2, R3 29 SCAN - EDF  Dựa trên EDF (Earliest Deadline First) + số track  Mỗi y/cầu có 1 nhãn deadline  nhóm theo thứ tự tăng dần  trong mỗi nhóm, thực hiện SCAN  VD: Req.ID Req.Time Est Seek (Num of tracks) Est.Rotational Delay Deadline R1 10 24 (8) 3 100 R2 8 12 (4) 5 120 R3 14 30 (10) 6 120 R4... Est.Rotational Delay R1 10 24 3 R2 8 12 5 R3 14 30 6 R4 11 18 4 – Thứ tự phục vụ: R2, R1, R4, R3 27 SCAN  Dựa trên số tracks cần di chuyển từ vị trí hiện thời của đầu đọc, tính theo 1 chiều (hướng ra tâm hoặc hướng vào tâm)  VD: RequestID ReqTime Est Seek (Num of tracks) Est.Rotational Delay R1 10 24 (8) 3 R2 8 12 (4) 5 R3 14 30 (10) 6 R4 11 18 (6) 4 – Thứ tự phục vụ: R2, R4, R1, R3 28 SCAN - EDF  Dựa trên... khiển + n đĩa dữ liệu (0, 1,…, n-1), n >= 2 – Sử dụng kỹ thuật phân chia (striping): chia dữ liệu thành các phần bằng nhau đặt trên nhiều đĩa và không có sự lặp lại DL – k-stripe: (k . Nguyễn Thị Oanh Bộ môn HTTT – Viện CNTT & TT oanhnt@soict.hut.edu.vn Chương 2: Truy nhập dữ liệu đa phương tiện 1 Đặt vấn đề 2  Youtube: – 20 09: over 1 billion videos. 36% http://www.wired.com/epicenter /20 09/10/youtube-over-one-billion-videos-served-per-day/ http://www.multichannel.com/article/19 122 3- YouTube_May_Lose_470_Million_In _20 09_Analysts.php Đặt vấn đề 3  YouTube Video Server (20 10): –. Gaga's "Bad Romance“) are approaching 20 0 million views  http://tech.fortune.cnn.com /20 10/05/17/youtube-at-5-years-old- 2- billion-served-per-day/ Đặt vấn đề 4  Dailymotion: – Dailymotion