Đang tải... (xem toàn văn)
Nghiên cứu ứng dụng công nghệ đa phương tiện lý thuyết xử lý video
CHƯƠNG TRÌNH KC01 ĐỀ TÀI MÃ SỐ KC01-14 ------&------ ĐỀ TÀI THUỘC CHƯƠNG TRÌNH KHCN CẤP NHÀ NƯỚC KC 01 MÃ SỐ KC 01.14 NGHIÊN CỨU PHÁT TRI ỂN ỨNG DỤNG CÔNG NGHỆ ĐA PHƯƠNG TIỆN Ch ủ nhiệm đề tài: PGS.TS. Nguyễn Cát Hồ CẤP QUẢN LÝ: Nhà nước CƠ QUAN CHỦ TRÌ: Viện công nghệ thông tin – Đại học Quốc gia Hà nội BÁO CÁO CH CHUYÊN ĐỀ: LÝ THUYẾT XỬ LÝ VIDEO CHỦ TRÌ CHUYÊN ĐỀ: PHAN THẾ HÙNG 6352-10 20/4/2007 HÀ NỘI, 4/2005 Lý thuyt x lý Video Trang 1Mục lục I. Khái niệm về Video 3 1. Khái niệm chung 3 2. Khái niệm Digital Video (Video số) 4 3. Đặc điểm Video số 4 II. Nén dữ liệu Video 6 1. Sự cần thiết phải nén với hiệu suất (tỉ lệ nén) cao 6 2. Một số thuật toán nén dùng cho Video 7 III. Các định dạng Video số 11 1. Định dạng Video 11 IV. Âm thanh 17 1. Âm thanh tự nhiên 17 2. Hình thức số hoá âm thanh 17 3. Âm thanh gốc 18 4. Phơng thức lấy mẫu trong âm thanh 19 5. Một số chuẩn nén dữ liệu âm thanh 20 6. Tạo âm thanh 22 7. Âm thanh 3D thực 22 8. Định dạng âm thanh 23 V. Các tham số trong Video và audio 24 1. Các tham số cho Video 24 2. Các tham số cho Audio 30 Lý thuyt x lý Video Trang 2VI. Chuyển đổi dữ liệu từ video, băng, đĩa CD thành các tệp Video-Audio cho máy tính và ngợc lại 33 1. Các cổng chuyển đổi tín hiệu 33 2. Thu tín hiệu từ các thiết bị phát Video-Audio vào máy tính 34 3. Chuyển đổi dữ liệu Video-Audio thành các định dạng khác nhau 36 VII. Một số kỹ thuật xử lý Video-Audio trên máy tính 41 1. Kỹ thuật đánh dấu (Marker) và keyframe 41 2. Chuyển cảnh (Transition) 41 3. Kỹ thuật trộn (mix) 42 4. Kỹ thuật tạo độ trong suốt (Transparence) 44 Lý thuyt x lý Video Trang 3I. Khái niệm về Video 1. Khái niệm chung Video ra đời vào những năm đầu của thế kỷ XX nhng nó phát triển khá chậm chạp và có nhiều ngời còn không tin vào khả năng của nó. Nh Darryl.Zanuck, giám đốc hãng phim Fox-TK20 phát biểu đầu năm 1946 Tivi sẽ không thể nào tiếp tục đợc trọng dụng quá 6 tháng. Ngời ta sẽ nhanh chóng chán ngay việc theo dõi một cái hộp gỗ mỗi tối. Video chỉ thực sự phát triển vào những năm cuối của thế kỷ XX. Với sự phát triển nhanh chóng của công nghệ, ngày nay Tivi-Video đã trở thành một thành phần không thể thiếu đợc trong đời sống xã hội. Video là gì? Chúng ta có thể hiểu Video là một dạng dữ liệu bao gồm âm thanh và hình ảnh kết hợp với nhau và luôn có sự biến đổi về nội dung (khuôn hình) theo thời gian. Các yêu cầu hệ thống của Video: Thông thờng, nếu chúng ta xem một đoạn Video mà âm thanh và hình ảnh không khớp hay tốc độ quá chậm so với khả năng nhìn của chúng ta thì chắc chắn video không thể đăng tải đợc nội dung thực sự của nó . Nếu chúng ta xem các phim đợc sản xuất đầu thế kỷ XX thì chúng ta thấy các hình ảnh trên màn hình thờng bị chậm hay bị giật so với hoạt động thực. Lý do là các máy quay đã không thu đủ 24 hình trên 1 giây. Do đó, các hệ thống Video hiện nay đều yêu cầu các thiết bị thu, phát, đờng truyền video phải đảm bảo việc hiển thị hình ảnh và âm thanh trong thời gian thực. Hiện nay trên thế giới sử dụng 3 hệ Video chính: NTSC (National Television Standard Committee) theo chuẩn 29,97 hình/giây, PAL, SECAM theo chuẩn 25 hình/giây. Truyền hình NTSC dùng mành 525 dòng và hiển thị đầy mành với tần số 30 mành mỗi giây, bằng phơng pháp quét xen dòng 60 bán mành mỗi giây để phù hợp với tần số xoay chiều ở Mỹ là 60 Hz. Các ghép nối video NTSC sử dụng các đầu cắm và jack cắm chuẩn RCA. Các chuyên gia vô tuyến truyền hình thờng nói đùa rằng NTSC là viết tắt của " Never Twice The Same Color" (cùng Lý thuyt x lý Video Trang 4một màu không bao giờ lặp lại hai lần) vì khả năng kiểm soát màu của chuẩn NTSC rất kém. Truyền hình NTSC đợc quảng bá ở Mỹ, nhật và hầu hết các nớc Trung và Nam Mỹ nhng không dùng ở Châu Âu và Châu á. Hầu hết các nớc châu Âu và châu á đều dùng chuẩn PAL dựa trên cơ sở tần số điện là 50 Hz. 2. Khái niệm Digital Video (Video số) Cùng với sự ra đời và phát triển mạnh mẽ của máy tính và hệ thống viễn thông trong những thập kỷ cuối của thế kỷ XX, máy tính đã đợc sử dụng trong rất nhiều ngành công nghiệp. Do đó đặt ra yêu cầu cần phải có dữ liệu dạng âm thanh và hình ảnh cho máy tính (để máy tính có thể hiểu đợc). Chính vì vậy ra đời khái niệm Digital Video. Digital Video là Video nhng đợc ghi (mã hoá) dới dạng số bằng các mã 0 và 1. Video thông thờng đợc ghi dới dạng tín hiệu tơng tự (Analog) 3. Đặc điểm Video số - Video số sử dụng độ phân giải 72dpi. Video số thờng sử dụng độ phân giải 72 dpi (số điểm ảnh cho 1 inch). Đặc điểm này dựa trên giới hạn về khả năng nhìn của mắt ngời. Với màu huỳnh quang thì mắt ngời chỉ nhận biết đợc sự khác nhau của chất lợng hình ảnh chuyển động với độ phân giải dới 72 dpi. Chúng ta chỉ sử dụng độ phân giải trên 72 dpi cho một số trờng hợp đặc biệt khi cần có Video hoặc ảnh chất lợng cao nh các đoạn phim ảnh sử dụng cho việc phân tích khoa học cần phóng to lên nhiều lần hoặc các ảnh dùng trong ngành công nghiệp in ấn. Nếu muốn có một tấm ảnh in với chất lợng cao có thể ngời ta phải đặt độ phân giải lên trên 400 dpi. - Kích cỡ tệp video là rất lớn. Chúng ta có thể làm một phép tính nh sau: Lý thuyt x lý Video Trang 5 Nếu một đoạn Video thông thờng hệ PAL (24 hình trên giây) có thời lợng là 1 phút có kích cỡ khung hình là 640x480 độ sâu màu 16 bit thì kích cỡ tệp này là: 16x640x480x24x60= 7077888000bit= 843MB Nh vậy chúng ta thấy rằng dữ liệu của video là rất lớn so với thiết bị lu trữ thông tin hiện nay. Do vậy ngời ta luôn phải tìm mọi cách để giảm kích cỡ của Video. Có nhiều cách giảm kích cỡ tệp video ví dụ nh giảm kích cỡ khuôn hình, giảm độ sâu mầu . nhng cách hiệu quả đó là sử dụng các thuật toán nén ảnh. Các thuật toán nén ảnh đảm bảo cho việc sử dụng các tệp video trên máy tính cũng nh truyền dữ liệu video trên mạng là hiệu quả, trong thời gian thực. Hiện nay, đã có rất nhiều thuật toán nén video khác nhau, nhng nền tảng vẫn chủ yếu dựa trên các thuật toán nén ảnh nh thuật toán RLE, LZW, Wavalet, DCT . Ngoài ra ngời ta còn có một số thuật toán giành riêng cho Video số nh nén không gian màu, nén cấu trúc trong, nén dựa vào đối tợng cơ bản. Lý thuyt x lý Video Trang 6II. Nén dữ liệu Video 1. Sự cần thiết phải nén với hiệu suất (tỉ lệ nén) cao Nh chúng ta đã biết dữ liệu Video số là rất lớn và yêu cầu hiển thị trong thời gian thực, do đó muốn sử dụng đợc video số một cách hiệu quả thì phải có thuật toán nén với hiệu suất cao. Hiện nay, có nhiều thuật toán nén khác nhau nhng có thể phân thành hai dạng chính: đó là thuật toán nén mất thông tin và nén không mất thông tin. Nén không mất thông tin: đây là nhóm các thuật toán nén mà khi dữ liệu đợc phục hồi vẫn đảm bảo đợc chất lợng nh dữ liệu gốc ( chất lợng Video không hề thay đổi). Nhng những thuật toán này có tỷ lệ nén rất thấp . Nó chỉ nén đợc khoảng 2 lần so với kích cỡ gốc. Trong thực tế chỉ sử dụng các thuật toán nén này để tạo các tệp video nguồn cho soạn thảo hoặc để di chuyển video từ hệ thống này sang hệ thống khác. Khi làm việc với các tệp video sử dụng thuật toán này chúng ta cần chú ý các tệp video là rất lớn đối với nhiều hệ thống máy tính đồng thời yêu cầu về tốc độ truyền dữ liệu cũng rất cao khi hiển thị ( playback). Nén mất thông tin: các thuật toán thuộc nhóm này thờng có tỷ lệ nén rất cao có thể nén với tỷ lệ từ 10 đến 100 lần so với kích cỡ gốc. Ví dụ khi ta có 1 tệp Video kích cỡ 100 Mb, nếu áp dụng thuật toán nén này thì kích cỡ của tệp Video chỉ còn khoảng từ 1-10 Mb. Nhợc điểm của các thuật toán này là chỉ đảm bảo chất lợng hình ảnh Video tơng đối tốt nhng không đợc nh hình ảnh Video gốc. Tức là khi dùng các thuật toán nén này một nhóm thông tin của video đã đợc lợng tử hoá ví dụ một nhóm màu gần giống nhau gần nhau đợc chuyển thành một màu đặc trng để giảm sự mã hoá màu nh vậy sẽ làm giảm kích cỡ tệp video. Khi phục hồi các tệp video để hiển thị trên màn hình thì thông tin về màu sắc sẽ không đợc đầy đủ nh tệp gốc nhng kèm vào đó là các phơng pháp xử lý màu giữa các vùng màu của thuật toán làm cho các cảnh video có chất lợng gần nh ban đầu. Điển hình là một số kiểu nén nh JPEG, Planar RGB. Lý thuyt x lý Video Trang 7Trong thực tế thì ngời ta sử dụng nhiều các thuật toán nén này cho các tệp video sử dụng trên đĩa CD-ROM, trên Internet vì có thể thay đổi đợc chất lợng tệp video làm cho kích cỡ của tệp nhỏ đi, và tốc độ hiển thị ( play back) nhanh hơn. 2. Một số thuật toán nén dùng cho Video 2.1 Nén không gian màu Đây là thuật toán dựa trên nguyên lý làm giảm thông tin màu (trong không gian YUV) và sự kém nhạy cảm của mắt ngời với màu sắc đặc biệt với việc màu sắc liên tục thay đổi trong các chuyển động. Dựa trên 3 màu cơ bản RGB ngời ta có một không gian màu nh sau: Nếu lấy O làm gốc với ba trục là ba màu cơ bản đỏ, xanh và xanh lá cây (Red,Green,Blue), ta sẽ có không gian màu (ORGB). Trục KO là đờng tổng hợp ánh sáng của 3 màu với giá trị bằng nhau do đó nó chính là đờng thể hiện độ sáng của màu sắc. Tại gốc O sẽ là màu đen. Từ không gian này ta xây dựng không gian YUV bằng cách: Dùng mặt phẳng GRB làm mặt phẳng màu. Mặt phẳng này có màu sắc đợc tổng hợp từ 3 màu cơ bản. Đặt tên mặt phẳng này là mặt phẳng (U,V) với hai đờng thẳng U,V vuông góc với nhau và cắt nhau tại I. Trục Y vuông góc với mặt phẳng (U,V) là đờng thẳng KO thể hiện độ sáng (độ chói) của ánh sáng. YUV (Luminance, 2 Color diferences) Y UVYUVY UV Y:U:V = 4:2:2 Y:U:V = 4:1:1 Y:U:V = 4:2:0 AB MO GRN KI Lý thuyt x lý Video Trang 8Trong thuật toán này ngời ta nén và làm giảm giá trị màu ở trên 2 trục U và V còn giá trị độ sáng Y đợc giữ nguyên vì giá trị này rất quan trọng( mắt ngời rất nhậy cảm đối với đội sáng). Ngời ta thờng áp dụng rộng rãi thuật toán nén này trong các máy máy ghi Video, Tivi . Nén không gian màu là cách mô phỏng ảo các vùng của khuôn hình với bản chất là việc tìm ra các mẫu và tạo lại các điểm ảnh. Ví dụ: trong một ảnh có vùng màu xanh da trời, thuật toán nén không gian sẽ nhận biết nhiều điểm màu xanh giống nhau trong không gian này. Để mô tả lại các điểm màu xanh này, thuật toán nén không gian ghi lại các mô tả ảnh một cách ngắn gọn nhất ví dụ nh số điểm trong vùng màu xanh, mã màu trong khu vực đó .Nh vậy nếu bạn tăng không gian nén (kích cỡ vùng màu) thì dữ liệu và kích cỡ tệp video sẽ giảm và ảnh sẽ bị mất độ nét. Vậy cấp độ nén có thể đợc điều khiển thông qua các chỉ số lựa chọn chất lợng và tốc độ truyền dữ liệu. 2.2 Nén cấu trúc bên trong Thuật toán này dựa trên giải pháp nén theo cấu trúc và nén theo biến thời gian kết hợp với kỹ thuật bù chuyển động. Đây là cách tìm kiếm các điểm ảnh thay đổi trong một khoảng thời gian hay một chuỗi các khuôn hình. Ví dụ, trong một đoạn video có một nhân vật đang nói trên một nền tĩnh. Thuật toán nén theo thời gian sẽ nhận biết các pixel thay đổi từ khuôn hình này sang khuôn hình kia đó là hình khuôn mặt nhân vật đang nói. Còn tất cả các điểm khác không thay đổi. Để mô tả lại nhiều điểm ảnh và nhiều khuôn hình thì thuật toán này sẽ mô tả lại tất cả các điểm trong khuôn hình đầu tiên. Còn các khuôn hình tiếp theo thuật toán chỉ mô tả lại các điểm thay đổi. Phơng pháp này gọi là phơng pháp tính sai phân của khuôn hình. Nh vậy bằng cách phân tích trên thuật toán sẽ ghi lại khuôn hình đầu (keyframe) và khoảng thời gian nào đó cho chuyển động. Tiếp theo các nội dung của keyframe nh vị trí, các vùng điểm màu Các vùng điểm ảnh thay đổi theo thời gian cũng sẽ đợc lu lại. Khi hiển thị lại tệp video trên màn hình Lý thuyt x lý Video Trang 9chơng trình dựa vào các chỉ số về keyframe, màu sắc, ánh sáng, các điểm ảnh chuyển động . để tái tạo lại chuyển động. Nh vậy thuật toán này đã làm mất đi một số đáng kể các khuôn hình trong một khoảng thời gian và nh vậy kích cỡ tệp video sẽ nhỏ đi. Theo thuật toán này nếu số keyframe càng nhiều (thời lợng giữa các keyframe càng ngắn) thì chất lợng video càng tốt. Vì vậy ngời ta dùng tham số keyframe và chất lợng khuôn hình (keyframe) để điều chỉnh cấp độ nén. 2.3 Nén dựa vào đối tợng cơ bản Thuật toán này dựa trên kỹ thuật phân giã ảnh thành cấu trúc cây đối tợng sau đó véctơ hoá các đối tợng này (Vector Quantization (VQ)). Ví dụ cảnh video nh ở hình bên dới: Hình đối tợng con cá sẽ đợc tách ra khỏi nền và đợc Vector hoá. Nh vậy việc ghi dữ liệu cho tệp Video với kiểu nén này chính là ghi các thông tin ảnh Vector và các thông tin chuyển động của ảnh véctơ trong một khoảng thời gian nào đó. tim etim eKeyKey--fram e (in d ep en d en t)fram e (in d ep en d en t)DeferentialD eferen tialData OnlyData Only [...]... suốt, nhiều đối tợng chuyển động trong video Nó đợc hỗ trợ bởi các phần mềm tiện ích của Intel 1.1.2 Video cho Macintosh thờng sử dụng các kiểu nén Component video: Đợc sử dụng cho thu video, lu trữ video hay tạo các đoạn video trung gian (tạm thời) Kiểu nén này có tỷ lệ nén rất thấp do đó chiếm rất nhiều không gian đĩa Trang 25 Lý thuyt x lý Video Graphics: đợc sử dụng cho việc nén các ảnh chất lợng... vậy muốn xử lý các dữ liệu này bằng máy tính thì chúng ta phải số hoá các dữ liệu này Thông thờng, ngời ta sử dụng các thiết bị phần cứng (video capture board) để thực hiện việc số hoá các tín hiệu Analog Các cổng kết nối từ các máy phát tín hiệu video vào máy tính: Cổng vào ra tín hiệu Video- Audio dạng tơng tự thông thờng: Cổng S -video Cổng đa hợp (composite video) Trang 33 Lý thuyt x lý Video A là... thờng sử dụng cho các ảnh tĩnh nhng đôi khi cũng sử dụng cho việc nén video bởi vì mã nén này không đạt đợc tỷ lệ nén cao Nó thích hợp cho các tệp video đợc chạy (lu trữ) trên đĩa cứng chứ không phù hợp với các tệp video đặt trên CD-ROM Video: đợc sử dụng cho việc thu và nén các tín hiệu video có nguồn ở dạng Analog Mã nén này cho kết quả cao khi xem lại các tệp video đợc lu trữ trên ổ đĩa cứng Cho... đợc dử dụng cho telephone số ở Bắc Mỹ và Japan 16-bit Big Endian và 16-bit Little Endian: kiểu nén này đợc sử dụng cho các phần cứng và phần mềm chuyên dụng nhng thông thờng nó không tốt cho việc soạn thảo Trang 31 Lý thuyt x lý Video 24-bit Integer và 32-bit Integer: kiểu nén này đợc sử dụng cho audio 24-bit hoặc 32-bit nguyên mã nén này đợc sử dụng tốt cho các phần cứng và phần mềm chuyên dụng nhng... thảo video mà chỉ phù hợp cho việc chuyển một đoạn video thành kết quả cuối cùng Intel Indeo 5.10 đợc sử dụng cho các định dạng Video phân tán trên mạng Internet cho các máy tính có bộ xử lý MMX or Pentium II Đây là kiểu nén có đặc trng: lựa chọn nén nhanh, mềm dẻo Kiểu nén này cho phép ngời xử lý video có thể điều chỉnh việc hiển thị video đối với các băng thông khác nhau Ví dụ có thể điều chỉnh để video. .. này đợc sử dụng cho các tệp audio tại các trạm IMA 4:1 đợc phát triển bởi IMA sử dụng mã ADPCM 32-bit Floating và 64-bit Floating: Các kiểu nén này đợc sử dụng trong các thiết bị phần cứng và phần mềm chuyên dụng nhng thông thờng không sử dụng cho soạn thảo Video ALaw 2:1: giống mLaw nhng đợc sử dụng cho telephone số ở Châu âu QDesign Music Codec: Sử dụng để nén các tệp audio chất lợng cao sử dụng trên... nén vì vậy không hiển thị đợc các tệp video Chúng ta cần cần thêm mã nén của phần cứng đó vào danh sách mã nén cho QuickTime H.263: Sử dụng tạo các video cho hội thảo Mã nén này có tỷ lệ nén thấp Không nên sử dụng chuẩn này cho soạn thảo video thông thờng DV - PAL and DV NTSC : Sử dụng mã này tạo video số theo chuẩn PAL và NTSC Mã nén này dùng để tạo các tệp video với định dạng PAL, NTSC phục vụ in... thông qua digital -video capture card Chuẩn nén này rất hữu dụng cho việc chuyển dữ liệu video từ hệ thống máy tính này sang hệ thống khác hoặc từ thiết bị này sang thiết bị khác Cinepak : đợc sử dụng để nén video 24 bit Các tệp sử dụng kiểu nén này để dùng cho CD-ROM và Web video Mã nén này có tỷ lệ nén cao và tốc độ giải nén nhanh Cinepak dung thuật toán nén không đối xứng các tệp video có kích cỡ... mã nén này đợc sử dụng hiệu quả cho các khuôn hình có vùng màu đặc nh các tệp Animation Nó sử dụng thuật toán nén RLE kết hợp với kỹ thuật tạo mã animation (Animation codec) Đối với các thiết bị phần cứng hỗ trợ soạn thảo Video thờng có các kiểu nén riêng đợc viết bởi nhà sản xuất thiết bị phần cứng Trang 27 Lý thuyt x lý Video 1.2 Depth Tham số này xác định độ sâu màu hay số màu của video khi hiển thị... trợ các điểm có 8bit, 16 bit độ sâu Indeo (R) video R3:2 : Sử dụng để nén video 24 bit dùng cho đĩa CD Kiểu nén này có tỷ lệ nén tốt hơn, chất lợng tốt hơn, và tốc độ hiển thị (khi xem video) nhanh hơn so với kiểu nén Microsoft Video1 Cho kết quả tốt nhất nếu sử dụng mã nén Indeo Video trên dữ liệu video mà trớc đó dữ liệu không bị nén với tỷ lệ cao Khi sử dụng loại dữ liệu này để hiển thị lại thì chúng . NGHIÊN CỨU PHÁT TRI ỂN ỨNG DỤNG CÔNG NGHỆ ĐA PHƯƠNG TIỆN Ch ủ nhiệm đề tài: PGS.TS. Nguyễn Cát Hồ CẤP QUẢN LÝ: Nhà nước CƠ QUAN CHỦ TRÌ: Viện công. 4/2005 Lý thuyt x lý Video Trang 1Mục lục I. Khái niệm về Video 3 1. Khái niệm chung 3 2. Khái niệm Digital Video (Video số) 4 3. Đặc điểm Video số