XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni LUẬN VĂN Trang: 2 MỤC LỤC DANH MỤC CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT 5 DANH MỤC CÁC HÌNH VẼ, SƠ ĐỒ 7 DANH MỤC CÁC BẢNG BIỂU 9 LỜI MỞ ĐẦU 10 CHƯƠNG I: GIỚI THIỆU TỔNG QUAN CÔNG NGHỆ SỐ HÓA DỮ LIỆU 12 1.1. Số hoá dữ liệu là gì? 13 1.2. Một số qui trình số hóa dữ liệu. 13 1.2.1. Qui trình số hóa dữ liệu văn bản (Text): 13 1.2.2. Qui trình số hóa với dữ liệu Video, Audio: 16 1.3. Các số công cụ số hoá dữ liệu 19 1.4. Phân tích, đánh giá một số mô hình số hoá dữ liệu 20 1.4.1. Ưu điểm của việc số hoá dữ liệu: 21 1.4.2. Hạn chế: 21 CHƯƠNG II: KHẢO SÁT HIỆN TRẠNG XỬ LÝ, LƯU TRỮ DỮ LIỆU TẠI ĐÀI PHÁT THANH - TRUYỀN HÌNH SƠN LA 22 2.1. Khảo sát hiện trạng xử lý dữ liệu tại Đài PT - TH Sơn La 23 2.1.1. Thiết bị phần cứng dùng xử lý dữ liệu. 23 2.1.2. Phần mềm xử lý dữ liệu. 24 2.1.3. Quy trình xử lý dữ liệu hiện đang áp dụng. 28 2.2. Đánh giá hiện trạng xử lý dữ liệu. 30 2.3. Đánh giá quy trình xử lý dữ liệu 31 2.3.1. Ưu điểm. 31 2.3.2. Hạn chế. 31 XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 3 LUẬN VĂN CHƯƠNG III: GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ TẠI ĐÀI PHÁT THANH - TRUYỀN HÌNH SƠN LA 32 3.1. Phân tích yêu cầu số hoá dữ liệu của Đài phát thanh - truyền hình Sơn La. 33 3.1.1. Yêu cầu về tính năng lưu trữ dữ liệu số. 33 3.1.2. Yêu cầu về công nghệ lưu trữ dữ liệu số. 34 3.1.3. Yêu cầu về giải pháp phần cứng. 34 3.1.4. Yêu cầu về tính hiệu quả trong công việc. 36 3.2. Giải pháp lưu trữ tài nguyên số 37 3.2.1. Đánh giá tốc độ gia tăng của dung lượng cần lưu trữ. 37 3.2.2. Đánh giá tốc độ phát triển của thiết bị lưu trữ. 38 3.2.3. Phân tích giải pháp số hoá dữ liệu. 40 3.3. Lựa chọn giải pháp xây dựng và quản lý tài nguyên số 48 3.3.1. Thành phần cơ bản của hệ thống MAM - Media Asset Management: 48 3.3.2. Sơ đồ làm việc hệ thống MAM - Media Asset Management: 49 3.3.3. Lý do lựa chọn sử dụng hệ thống MAM để quản lý và khai thác tài nguyên số tại Đài PT - TH Sơn La. 57 3.4. Xây dựng hệ thống MAM tại Đài Phát thanh - Truyền hình Sơn La. 58 3.4.1. Yêu cầu kỹ thuật đối với hệ thống MAM tại đơn vị. 58 3.4.2. Yêu cầu hạ tầng mạng với hệ thống MAM tại đơn vị. 59 3.4.3. Định dạng dữ liệu – Format. 60 3.4.4. Khả năng kết nối và tương thích với hệ thống đang sử dụng. 62 3.4.5. Khả năng tìm kiếm và trả kết quả nhanh: 62 3.4.6. Khả năng dự phòng: 63 3.4.7. Quản lý sự cố và ngăn chặn xâm nhập. 63 XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 4 LUẬN VĂN 3.4.8. Đặc tính khác. 63 3.4.9. Sơ đồ hệ thống lưu trữ, quản lý và khai thác tài nguyên số MAM . 63 CHƯƠNG IV: ĐÁNH GIÁ GIẢI PHÁP SỐ HOÁ DỮ LIỆU TẠI ĐÀI PHÁT THANH - TRUYỀN HÌNH SƠN LA 66 4.1. Đánh giá giải pháp số hoá hoá dữ liệu tại Đài phát thanh - truyền hình Sơn La 67 4.1.1. Tính khả thi. 67 4.1.2. Tính hữu dụng của hệ thống tài nguyên số. 68 4.1.3. Ưu điểm của hệ thống. 70 4.1.4. Hạn chế, tồn tại. 71 4.2. Đề xuất, kiến nghị. 72 DANH MỤC TÀI LIỆU THAM KHẢO 74 PHỤ LỤC 75 XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 5 LUẬN VĂN DANH MỤC CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT THUẬT NGỮ DIỄN GIẢI MAM Media Asset Management - Giải pháp Quản lý Tài nguyên số (Video, Music, Images, Flash, Flv, Documents ) Ingest Nhận, thu, copy các nguồn dữ liệu vào hệ thống MAM Mpbs Mega bits per second (số lượng bít được truyền trong 1 giây) Tape Library Thư viện tủ băng Disk array Tủ đĩa lưu trữ iSCSI Giao thức vận chuyển dữ liệu tốc độ cao trong mạng lưu trữ IP-SAN Internet Protocol – Storage area Network Workstation Máy trạm làm việc hiệu xuất cao OCR Optical Character Recognition - Nhận dạng ký tự quang học ICR Intelligent Character Recognition - Nhận dạng ký tự thông minh Storage Ổ cứng lưu trữ Capture Sao chép toàn bộ hoặc một phần âm thanh, hình ảnh vào máy tính. NLE Non Linear Editing - Các bộ máy tính dựng hình phi tuyến Realtime Đáp ứng thời gian thực XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 6 LUẬN VĂN Render Quá trình tạo ảnh Console Bàn điều khiển Timeline Khung (thanh) thời gian VTR Video Tape Recorder - Đầu ghi, đọc băng từ Metadata Siêu dữ liệu - Là thông tin mô tả nội dung của cơ sở dữ liệu Nearline Archive Phương pháp bảo quản "cận tuyến" SAN Storage Area Network DAS Direct Attached Storage NAS Network Attached Storage SAS Serial Attached SCSI LTO Linear Tape-Open WORM Write once read many SDTV Standard Definition TV HDTV High Definition TV) High-res Định dạng có độ phân giải cao Proxy Định dạng độ phân giải thấp System Log management Quản lý hệ thống truy nhập XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 7 LUẬN VĂN DANH MỤC CÁC HÌNH VẼ, SƠ ĐỒ TÊN HÌNH VẼ, ĐỒ THỊ TRANG Hình 1.1: Sơ đồ số hóa thông tin tư liệu dạng văn bản 15 Hình 1.2: Sơ đồ số hóa thông tin tư liệu dạng nghe nhìn 17 Hình 1.3: Mô hình hệ thống số hoá Video/Audio 18 Hình 2.1: Giao diện làm việc của phần mềm Adobe Premiere 25 Hình 2.2: Giao diện làm việc của phần mềm Avid 26 Hình 2.3: Giao diện làm việc của phần mềm Adobe Audition 27 Hình 2.4: Sơ đồ xử lý dữ liệu Video 29 Hình 2.5: Sơ đồ xử lý dữ liệu Audio 29 Hình 3.1: Mô hình Server trong hệ thống lưu trữ dữ liệu 36 Hình 3.2: Mô hình hệ thống lưu trữ Nearline 42 Hình 3.3: Biểu đồ phát triển của công nghệ lưu trữ offline LTO 43 Hình 3.4: Mô hình hệ thống lưu trữ Offline 44 Hình 3.5: Sơ đồ số hoá tín hiệu Audio/Video 47 Hình 3.6: Mô tả thành phần của hệ thống MAM 48 Hình 3.7: Sơ đồ làm việc của hệ thống MAM 50 Hình 3.8: Sơ đồ thu, ghi dữ liệu vào MAM 51 XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 8 LUẬN VĂN Hình 3.9: Quy trình đánh dấu thông tin 52 Hình 3.10: Quy trình tìm kiếm 52 Hình 3.11: Sơ đồ minh họa phân bổ dữ liệu 53 Hình 3.12: Hạ tầng mạng yêu cầu của hệ thống MAM 60 Hình 3.13: Sơ đồ hệ thống lưu trữ, quản lý và khai thác tài nguyên số MAM tại Đài PT - TH Sơn La 64 Hình 4.1: Biểu đồ so sánh lợi ích hệ thống MAM mang lại 69 XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 9 LUẬN VĂN DANH MỤC CÁC BẢNG BIỂU TÊN BẢNG BIỂU TRANG Các số công cụ số hoá dữ liệu 19-20 Bảng 3.1: Thống kê băng từ tại Đài phát thanh - truyền hình Sơn La 38 Bảng 3.2: Bảng so sánh hình thức lưu trữ dữ liệu 40 Bảng 3.3: Bảng định dạng Video hệ thống MAM hỗ trợ 54,55,56 XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 10 LUẬN VĂN LỜI MỞ ĐẦU Xây dựng nguồn tài nguyên số là một trong những mục tiêu quan trọng của tất cả các loại hình thư viện trên thế giới, nhằm hướng đến mục tiêu phục vụ thông tin cho người dùng ở mọi lúc, mọi nơi, không phân định không gian, thời gian. Quá trình xây dựng thư viện số, thư viện ảo, thư viện điện tử… đã được phát triển ở các nước phương Tây từ những năm 90 của thế kỉ XX. Nhưng ở Việt Nam, thư viện số, thư viện điện tử mới chỉ được quan tâm từ 7-8 năm trở lại đây. Và rất nhiều các cơ quan thông tin hiện nay mới quan tâm tìm hiểu xem tài nguyên số là gì? xây dựng và quản lý tài nguyên số thì cần những yếu tố gì? Có rất nhiều các vấn đề mà các nhà thư viện hiện nay cần quan tâm khi xây dựng một kế hoạch/dự án phát triển nguồn tài nguyên số như: phát triển bộ sưu tập số, phát hiện và tổ chức nguồn tin, tìm tin/truy cập, hạ tầng thông tin-quản trị tri thức, lưu trữ số, dịch vụ số, ứng dụng mạng xã hội, sở hữu trí tuệ, an ninh mạng, các vấn đề văn hoá và luật pháp… Việc xây dựng, phát triển bộ tài nguyên số cho mỗi đơn vị sẽ được tiến hành ở quy mô và mức độ khác nhau dựa trên thực lực của đơn vị cụ thể. Các sản phẩm của nội dung số rất đa dạng, bao gồm văn bản, dữ liệu, hình ảnh, âm thanh…và được thể hiện dưới dạng số (byte, bit…) được lưu giữ, truyền trong môi trường điện tử như mạng máy tính, mạng viễn thông, truyền thanh, truyền hình… Nói cách khác, nội dung số là sự tích hợp các dạng khác nhau, trộn nhiều dạng hình ảnh, âm thanh hay văn bản lại với nhau, đồng thời có thể dễ dàng lưu giữ và truy xuất, tái sản xuất, nâng cấp và chỉnh sửa. Như vậy, số hóa dữ liệu, phát triển nguồn tài liệu số, xây dựng cơ sở dữ liệu…chính là những thành tố quan trọng đóng góp cho sự cần phải có nguồn tài nguyên số. Đứng trước những yêu cầu, thách thức cần quản lý và khai thác hiệu quả hơn nguồn tài nguyên hiện có tại Đài Phát thanh - Truyền hình tỉnh Sơn La cùng sự thống nhất của tập thể đơn vị em đã tiến hành xây dựng giải pháp lưu trữ, quản lý và khai thác tài nguyên số tại đơn vị mình đang công tác nhằm đáp ứng được XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 11 LUẬN VĂN những đòi hỏi ngày càng cao trong quá trình phát triển của đơn vị. Đề tài xây dựng nhằm thay đổi hình thức lưu trữ thông tin (hình ảnh, âm thanh, tài liệu ) thủ công hiện nay sang lưu trữ số với mục đích quản lý tài nguyên tốt hơn, lưu trữ lâu hơn, tra cứu, tìm kiếm nhanh chóng, hiệu quả hơn và đáp ứng được những nhu cầu truy xuất thông tin (dữ liệu) đa dạng, phức tạp hơn từ người dùng. Với những tồn tại, hạn chế của cơ chế lưu trữ dữ liệu thủ công hiện nay tại đơn vị và sự đồng thuận của lãnh đạo, tập thể Đài Phát thanh - Truyền hình tỉnh Sơn La em đã xây dựng đề tài: XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ TẠI ĐÀI PHÁT THANH - TRUYỀN HÌNH SƠN LA Đề tài được viết gồm 4 chương với nội dung như sau: Chương I: Giới thiệu tổng quan công nghệ số hoá dữ liệu. Chương II: Khảo sát hiện trạng xử lý, lưu trữ dữ liệu tại Đài Phát thanh - Truyền hình Sơn La. Chương III: Giải pháp lưu trữ, quản lý và khai thác tài nguyên số tại Đài Phát thanh - truyền hình Sơn La. Chương IV: Đánh giá giải pháp số hoá dữ liệu tại Đài Phát thanh - truyền hình Sơn La. Đề tài được triển khai nhằm chuyển đổi sang môi trường làm việc sử dụng công nghệ số để tạo lập, xử lý, tổ chức, lưu trữ, phục vụ, quản trị thông tin số. Đề tài là sự kết hợp lĩnh vực quản trị tài nguyên với những ứng dụng công nghệ thông tin và truyền thông. Vai trò của đề tài là phải biến đổi định dạng tài nguyên (thông tin) cho phù hợp với sự thay đổi của công nghệ, của môi trường làm việc và bắt kịp nhu cầu khai thác (truy xuất) tài nguyên của người dùng. Sơn La, ngày 27 tháng 09 năm 2012 Thực hiện Nguyễn Mạnh Hùng [...]... VĂN XÂY D NG GI I PHÁP LƯU TR , QU N LÝ VÀ KHAI THÁC TÀI NGUYÊN S CHƯƠNG II KH O SÁT HI N TR NG X LÝ, LƯU TR D LI U T I ÀI PHÁT THANH - TRUY N HÌNH SƠN LA Nguy n M nh Hùng - L p cao h c i nt K3 - Vi n i h c M Hà N i Trang: 22 LU N VĂN XÂY D NG GI I PHÁP LƯU TR , QU N LÝ VÀ KHAI THÁC TÀI NGUYÊN S 2.1 Kh o sát hi n tr ng x lý d li u t i Sơn La ài phát thanh - truy n hình 2.1.1 Thi t b ph n c ng dùng x lý. .. S T I ÀI PHÁT THANH - TRUY N HÌNH SƠN LA Nguy n M nh Hùng - L p cao h c i nt K3 - Vi n i h c M Hà N i Trang: 32 LU N VĂN XÂY D NG GI I PHÁP LƯU TR , QU N LÝ VÀ KHAI THÁC TÀI NGUYÊN S 3.1 Phân tích yêu c u s hoá d li u c a Sơn La ài phát thanh - truy n hình 3.1.1 Yêu c u v tính năng lưu tr d li u s H th ng lưu tr d li u hình nh và âm thanh b ng k thu t s t i ài phát thanh - truy n hình Sơn La c n áp... Server lưu tr phân tán l n lưu tr t p trung, nên d li u còn b nhi u b d ng khác nhau - Công tác x lý d li u Video cu i cùng còn ph i in ra băng t do v y m t r t nhi u th i gian in n trư c khi phát sóng Nguy n M nh Hùng - L p cao h c i nt K3 - Vi n i h c M Hà N i Trang: 31 LU N VĂN XÂY D NG GI I PHÁP LƯU TR , QU N LÝ VÀ KHAI THÁC TÀI NGUYÊN S CHƯƠNG III GI I PHÁP LƯU TR , QU N LÝ VÀ KHAI THÁC TÀI NGUYÊN... i h c M Hà N i Trang: 14 LU N VĂN XÂY D NG GI I PHÁP LƯU TR , QU N LÝ VÀ KHAI THÁC TÀI NGUYÊN S Hình 1.1: Sơ s hóa thông tin tư li u d ng văn b n * Các bư c c a quy trình chuy n i d li u: - Scan tài li u: Tài li u là các gi y t , văn b n lưu trên gi y ư c ưa vào máy scan và lưu dư i d ng file trên b nh máy tính T t c các tài li u quét u ư c chuy n và x lý dư i d ng hình nh s hóa Nguy n M nh Hùng - L...LU N VĂN XÂY D NG GI I PHÁP LƯU TR , QU N LÝ VÀ KHAI THÁC TÀI NGUYÊN S CHƯƠNG I GI I THI U T NG QUAN CÔNG NGH S Nguy n M nh Hùng - L p cao h c i nt HÓA D K3 - Vi n LI U i h c M Hà N i Trang: 12 LU N VĂN XÂY D NG GI I PHÁP LƯU TR , QU N LÝ VÀ KHAI THÁC TÀI NGUYÊN S 1.1 S hoá d li u là gì? Thông thư ng, các d li u d ng ch , hình nh, âm thanh… s d ng trên máy tính và ư c máy tính nh n bi... studio truy n hình D ng hình trên m ng và phát sóng t ng b ng Server ang thay th d n các h th ng phát băng như Flexicard, Betacard…, h th ng lưu tr d li u ang thay th d n các kho băng Hi n ài phát thanh - truy n hình Sơn La cũng ã và ang xây d ng m t h th ng s n xu t chương trình và phát sóng Quy trình x lý d li u hình nh và âm thanh t i ng b như v y ài hi n nay ã áp d ng hoàn toàn công ngh d ng hình phi... LU N VĂN XÂY D NG GI I PHÁP LƯU TR , QU N LÝ VÀ KHAI THÁC TÀI NGUYÊN S Trong s n xu t chương trình hi n v n x d ng nhi u tư li u ư c lưu tr dư i d ng tín hi u Analog do v y ch t lư ng tín hi u u vào th p và ph i m t th i gian th c cho vi c Capture vào máy d ng i v i tín hi u Video còn m t nhi u th i gian cho vi c in tín hi u vào x lý và in ngư c ra các băng t d li u ã x lý xong sóng Công tác phát sóng... n xu t chương trình, phát sóng ho c các yêu c u khác 3.2 Gi i pháp lưu tr tài nguyên s 3.2.1 ánh giá t c gia tăng c a dung lư ng c n lưu tr - Hi n nay ài Phát thanh - truy n hình t nh Sơn La có 01 kho băng lưu tr Trung bình m i tháng kho băng lưu tr ti p nh n nh p kho ng 60 gi tư li u hình nh và âm thanh ư c lưu tr trên băng t Ngoài ra các chương trình ã và ang phát sóng ư c lưu tr trên các máy... m gi và nh p ưa tài li u vào h th ng; các phương pháp các công c ch s hóa và truy tìm phân ph i xác lưu tr h sơ tài li u; nh v trí lưu tr tài li u; các công c xu t tài li u t h th ng ; h th ng b o m t b o v các tài li u không ư c phép truy c p Vi c chuy n i t tài li u gi y sang tài li u s giúp lo i b nh ng khó khăn trong vi c tìm h sơ lưu tr V i h th ng qu n lý tài li u k thu t s có th qu n lý hàng... hi n nay c a chuy n t i b ph n phát ài phát thanh - truy n hình Sơn La th c hi n phát sóng hoàn toàn th công b ng vi c play băng t trên các VTR do chưa có th th ng phát sóng t ng s d ng file d li u V i tín hi u phát thanh n nay cơ b n áp ng ư c yêu c u phát sóng hàng ngày Sau khi tín hi u Audio ư c x lý hoàn t t ư c chuy n t i các Storage lưu tr và phát sóng Phát sóng phát thanh ư c th c hi n ngay trên . tập thể Đài Phát thanh - Truyền hình tỉnh Sơn La em đã xây dựng đề tài: XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ TẠI ĐÀI PHÁT THANH - TRUYỀN HÌNH SƠN LA Đề tài được. CHƯƠNG III: GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ TẠI ĐÀI PHÁT THANH - TRUYỀN HÌNH SƠN LA 32 3.1. Phân tích yêu cầu số hoá dữ liệu của Đài phát thanh - truyền hình Sơn La. 33 3.1.1 xây dựng giải pháp lưu trữ, quản lý và khai thác tài nguyên số tại đơn vị mình đang công tác nhằm đáp ứng được XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ Nguyn Mnh