LI CM N hon tt mt lun thc s yờu cu s trung, s c gng v c lp nghiờn cu Bn thõn tụi sau nhng nm thỏng hc vt v v nghiờn cu cng ó c gng hon thnh c lun ny Tụi luụn ghi nhn nhng s úng gúp giỳp nhit tỡnh ca nhng ngi bờn cnh mỡnh, s ng h, s h tr ca gia ỡnh bn bố giỳp tụi cú thờm ng lc hon thnh lun tt nghip, nhõn õy tụi mun gi li cm n nht ti h Li cm n trõn trng u tiờn tụi mun dnh ti TS Nguyn Th Hng Minh, ó hng dn tụi sut quỏ trỡnh lm lun vn, nh s nh hng ca cụ giỳp tụi t tin nghiờn cu nhng mi v gii quyt bi toỏn mt cỏch khoa hc Tụi xin trõn trng cm n Ban giỏm hiu trng i hc cụng ngh thụng tin, i hc Thỏi nguyờn, khoa CNTT ó to cỏc iu kin cho chỳng tụi c hc v lm khúa lun mt cỏch thun li Li cm n sõu sc mun c gi ti cỏc thy cụ giỏo ó dy d v m cho chỳng tụi thy chõn tri tri thc mi, hng dn chỳng tụi cỏch khỏm phỏ v lm ch cụng ngh mi Tụi mun gi li cm n chõn thnh n th lp CHK11D-KHMT ó cựng tụi i qua nhng thỏng ngy mit mi hc tp, cựng chia s nhng nim vui ni bun, ng viờn tụi i qua nhng khú khn, tụi vng bc vt qua nhng vt v, quyt tõm hon thnh lun ny Tuy nhiờn thi gian cú hn, mc dự ó n lc c gng ht mỡnh nhng chc rng lun khú trỏnh nhng thiu sút Rt mong c s ch bo, gúp ý tn tỡnh ca Quý thy cụ v cỏc bn Mục lục Lời cảm ơn Phần mở đầu Chương 1: Khái quát video toán tái tạo video 1.1 Khái quát video 1.1.1 Một số khái niệm 1.1.1.1 Các dạng video 1.1.1.2 Một số định chuẩn video 10 1.1.2 Video thao tác video 26 1.1.2.1 Các hiệu ứng biên tập video 276 1.1.2.2 Một số thuộc tính đặc tr-ng video 287 1.1.2.2.1 Màu(Color) 287 1.1.2.2.2 Kết cấu (Texture) 298 1.1.2.2.3 Hình dáng (Shape) 308 1.1.2.2.4 Chuyển động (Motion) 309 1.2 Bài toán tái tạo video 30 Chương 2: Một số vấn đề tái tạo video 33 2.1 Trích rút video 33 2.1.1 Kỹ thuật trừ ảnh xác định video 33 2.1.2 Trừ ảnh dựa vào điểm ảnh 34 2.1.3 Trừ ảnh phân khối 36 2.1.4 Trừ ảnh dựa vào biểu đồ 38 2.2 Một số kỹ thuật tái tạo video 44 2.2.1 Kỹ thuật nội suy không gian 50 2.2.3 Kỹ thuật nội suy bù chuyển động 52 Chương 3: Chương trình thử nghiệm 57 3.1 Đặt vấn đề 57 3.2 Phân tích, lựa chọn công cụ 57 3.3 Một số giao diện ch-ơng trình 58 Phần kết luận 60 Danh mục tài liệu tham khảo 671 Danh mục hình vẽ Hỡnh 1.1 : Cu trỳc phõn cp video Hỡnh 1.2 : Minh chuyn i gia cỏc lia Hỡnh 1.3 :S gii nộn MPEG-1(ISO/IEC 11172) 18 Hỡnh 1.4 : S nộn d liu õm 18 Hỡnh 1.5 : Mụ hỡnh h thng gii mó MPEG-2 20 Hỡnh 1.6 : Mụ hỡnh nộn v gii nộn theo tng lp ca MPEG-4 23 Hỡnh 1.7 : Mt s wipe c bn 27 Hỡnh 1.8 : Cỏc nh rt khỏc nhng cú cựng biu mu 28 Hỡnh 1.9 : Biu th hin loi nh c bn 28 Hỡnh 1.10 : Cỏc thao tỏc camera 29 Hỡnh 1.11 : Mụ hỡnh chung ca phộp cng nh 30 Hỡnh 1.12 : nh x cỏc c trng 31 Hỡnh 2.1 : Quỏ trỡnh phõn on video 34 Hỡnh 2.2 : Cỏc ca s c s thut toỏn so sỏnh thc 37 Hỡnh 2.3 : Chờnh lch biờt , * ct cnh, chng m 38 Hỡnh 2.4 : So sỏnh biu mu gia hai nh 39 Hỡnh 2.5 : So sỏnh cỏc cp a, Chờnh lch biu liờn tip b, Chờnh lch biờt tớch ly 42 Hỡnh 2.6 : Phỏt hin chuyn cnh dn dn bng k thut so sỏnh cp 43 Hỡnh 2.7 : Biu din giỏ tr fc(x,y)bng ni suy song tuyn 49 Hỡnh 2.8 : nh tn tin di chuyn dx, dy 51 Hỡnh 2.9 : Ni suy sinh khung trung gian f(n1, n2, t) 53 Hỡnh 2.10 : Mụ t ni suy theo thi gian 54 Hỡnh 2.11 : tỏi to cnh theo ba bc (1) hỡnh nh gc I0 v I1 c kộo gión to nhng hỡnh nh song song I^0 v I^1 (2)I^S c to bng cỏch phi hp hai hỡnh nh kộo gión( trung gian).(3) I^S c co li to thnh IS 55 Hỡnh 3.1 : Giao din module trớch rỳt video 58 Hỡnh 3.2 : Giao din module tỏi to video 59 Phần Mở đầu Video i vo nhng nm u ca th k XX v phỏt trin khỏ mnh m, nhng phi n cui thp k XX video s mi phỏt trin Vi s i v phỏt trin mnh ca mỏy tớnh v h thng vin thụng, d liu video ó c s hoỏ v a vo x lý trờn h thng mỏy tớnh Vic x lý d liu video c s hoỏ trờn mỏy tớnh t khỏ hiu qu Kt qu l d liu video s ó c a vo rt nhiu ng dng thc t nh truyn hỡnh, o to in t da vo mỏy tớnh, h tr o to trờn mng, h thng mụ phng, video theo yờu cu Video l phng tin thụng tin i chỳng cú phõn gii cao v ni dung thụng tin rt phong phỳ Tuy nhiờn vỡ nhiu nguyờn nhõn nh: cht lng thit b thu nhn video, chuyn ng ca i tng lm thiu khuyt cỏc khung hỡnh video, nh hng n ni dung, cht lng ca video Do ú cn tỏi to cỏc khung hỡnh b thiu khuyt video Hin cú rt nhiu cụng trỡnh nghiờn cu tỏi to cỏc khung hỡnh b thiu khuyt video v ó t c nhng kt qu nht nh Tuy nhiờn vic s dng k thut ni suy bự chuyn ng tỏi to khung hỡnh b thiu khuyt video cha cú nhiu s u t, nghiờn cu chuyờn sõu Xut phỏt hon cnh ú lun la chn ti: Tỏi to video da vo k thut ni suy bự chuyn ng Để đạt đ-ợc mục tiêu đề ra, luận văn tập trung nghiên cứu số vấn đề sau đây: "Nghiên cứu tổng quan video" Phần trình bày số khái niệm vấn đề xử lý tái tạo video "Nghiên cứu số kỹ thuật trích rút tái tạo video" Phần trình bày nghiên cứu kỹ thuật trừ ảnh lọc ảnh, -u nh-ợc điểm kỹ thuật việc xác định cảnh video trích rút khung hình đặc tr-ng cảnh video để l-u trữ Phần trình bày nghiên cứu kỹ thuật tạo lập khung hình trung gian việc tái tạo đoạn video từ khung hình đại diện dựa vào kỹ thuật nội suy bù chuyển động "Nghiên cứu ứng dụng kỹ thuật tái tạo video" Đ-a số ứng dụng kỹ thuật tái tạo video Cài đặt thử nghiệm đánh giá kỹ thuật tái tạo video dựa vào kỹ thuật nội suy bù chuyển động để khôi phục lại khung hình bị thiếu khuyết từ khung hình trích rút Trên sở mục tiêu đặt ra, cấu trúc luận văn bao gồm ch-ơng: Chương 1: Khái quát video toán tái tạo video Chương 2: Một số vấn đề tái tạo video Chương 3: Ch-ơng trình thử nghiệm Chương kháI quát video toán táI tạo video 1.1 Khái quát video 1.1.1 Một số khái niệm Video tập hợp khung hình (frames), khung hình ảnh Shot (hay lia) đơn vị sở video Một lia đơn vị vật lý dòng video, gồm chuỗi khung hình liên tiếp, chia nhỏ hơn, ứng với thao tác camera đơn Scene (cảnh) đơn vị logic dòng video, cảnh gồm lia liên quan không gian liền kề thời gian, mô tả nội dung ngữ nghĩa tình tiết Khi phim đ-ợc chiếu, khung hình lần l-ợt đ-ợc hiển thị tốc độ định Tốc độ th-ờng thấy định dạng video khác 25 30 hình/s Nh- vậy, video có số l-ợng khung hình t-ơng ứng 90000 1080000 Cấu trúc phân cấp video đ-ợc thể hình d-ới Hình 1.1: Cấu trúc phân cấp video Phân đoạn video trình phân tích chia nội dung hình ảnh video thành đơn vị sở gọi lia (shot) Việc lấy mẫu chọn gần khung video đại diện cho lia (hoặc nhiều tuỳ theo mức độ phức tạp nội dung hình ảnh lia) đ-ợc gọi khung khoá Khung khoá khung hình đại diện mô tả nội dung shot Quá trình phân đoạn liệu video tiến hành, phát chuyển đổi từ lia sang lia khác phát ranh giới lia (đó đo khác khung hình liền kề) Trong hình d-ới minh họa chuyển đổi lia: Hình 1.2: Minh hoạ chuyển đổi lia 1.1.1.1.Cỏc dng video 1.1.1.1.1.Video tng t NTSC Video: õy l dng Video tng t vi 525 dũng trờn mt khung hỡnh, 30 khung hỡnh mt giõy, quột cỏch dũng, chia lm hai trng (mi trng 262.5 dũng), cú 20 dũng d tr cho thụng tin iu khin ti thi im bt u mi trng PAL Video: Dng Video ny cú 625 dũng trờn mt khung hỡnh, 25 khung hỡnh mt giõy, quột cỏch dũng Khung gm hai trng chn l, mi trng bao gm 312.5 dũng 1.1.1.1.2.Video s Mt s tiờu chun ca Video s ly theo tiờu chun CCI phõn gii chúi CCIR CCIR 601525/60 601625/50 NTSC PAL/SECAM 720x480 360x576 CIF QCIF 352x288 176x144 phõn gii 360x480 360x576 176x144 88x72 Ly mu mu 4:2:2 4:2:2 4:2:0 4:2:0 S trng /s 60 50 30,15,10,7.5 30,15,10,7.5 Cỏch quột Cỏch dũng Cỏch dũng Liờn tc Liờn tc mu sc Bng 1: Cỏc tiờu chun ca Video s 1.1.1.2.Mt s nh chun video S chun húa ca video tng t nhng nm u ca thp niờn 1950 (NTSC) v nhng nm cui ca 1960 (SECAM v PAL) lm cho nh chuyn ng xut hin hu nh khp ni, vi cỏc thit b vụ tuyn c dựng rng rói cho mc ớch gii trớ, cỏc h thng ng dng cụng ngh nh phỏt hin chuyn ng tip tc c phỏt trin Vo nm 1990, cỏc t chc v chun húa nh t chc ISO-IEC (International Organization for Standard International Electrotechnical Commission) ó a chun MJPEG cho video k thut s, t chc chun ITU-T ó a chun H.261 v mt s cỏc chun liờn quan khỏc i kốm vi nú l cỏc thit b tin hc giỏ r ó to nờn s phỏt trin bựng n cho cỏc ng dng a phng tin Trong quỏ trỡnh son tho, x lý v kt xut video cn hiu rừ v cỏc nh chun video Vớ d: to mt video s dng trờn Intermet chỳng ta cn phi thit lp cỏc tham s nộn m bo video theo ỳng nh dng v mc ớch s dng Ngoi cỏc yu t k thut, vic xỏc nh nh dng ca video cũn ph thuc vo cỏc yu t kinh nghim ca ngi x lý MPEG, AVI cho Windows, MOV cho QuickTime l cỏc nh dng c s dng rng rói Trong phn ny chỳng ta lm rừ cỏc nh chun vi mc ớch s dng, cỏc k thut nộn, kớch c, thi gian x lý nộn v gii nộn 10 c nh giỏ bng phộp t hp tuyn tớnh ca f(n1,n2) pixel gn nht Gi s ta mun nh giỏ f(x,y) thỡ cho: n1T1 x (n1 +1)T1 v n2T2 y (n2 +1)T2 ta cú th biu din trờn hỡnh nh sau: Hỡnh 2.7: Biu din giỏ tr fc(x,y) bng ni suy song tuyn Trong hỡnh thỡ fc(x,y) c ni suy t pixel lõn cn f c(n1T1, n2T2), f c ((n1 + 1)T1 , n2T2 ) , f c ((n1T1 , (n2 + 1)T2 ) , f c ((n1 + 1)T1 , (n2 +1)T2 ) Nh vy phng phỏp ni suy song tuyn ny thỡ giỏ tr fc(x,y) s c tớnh nh sau: fc (x, y) (x)(y) f (n1 , n2 ) y(1x) f (n1 , n2 1) x n1T1 , y n2T2 T1 T2 x(1y) f (n1 1, n2 ) xyf (n1 1, n2 1) (1.4) Trong ú: 2.2.2 Phng phỏp c lng chuyn ng: Bng ni suy thi gian ngi ta cú th cú t nhng khung hỡnh ó cú to nhng khung hỡnh mi Khỏc vi ni suy khụng gian, ni suy thi gian 55 yờu cu lu tr mt lng ln, vỡ vy thng phi to mt khung mi gia hai khung lin k; mt cỏi thuc v quỏ kh, cỏi thuc v tng lai so vi khung c to ra.Phng phỏp n gin nht thng dựng thc t l phng phỏp bc khụng (Zer-order hold method) to mt khung mi bng cỏch lp li khung ó cú thi im gn k nht Khi bin i nh ng 24 khung/sec sang tớn hiu NTSC 60 trng /sec, t mt khung nh ng to trng k tip nhau, sau ú t khung nh ng k theo li to trng k tip na Quỏ trỡnh c lp nh th cho n ht cỏc nh ng, ú l phng phỏp g dn (Pull-Down Method) Vi a s cnh (scene) khụng cú chuyn ng ton b ln thỡ kt qu khỏ tt, nhiờn cú chuyn ng ton b ln thỡ s cú hin tng git git Mt cỏch ci thin hin tng git git ny l bự chuyn ng nh ng hoc truyn hỡnh qung bỏ l mt dóy cỏc khung tnh c hin th liờn tip vi tc cao Tc (hay nhp hin th cn thit) gõy cm nhn nh chuyn ng t nhiờn thng phi khỏ cao, m bo mt d tha v thi gian gia cỏc khung k Phn ln bin thiờn cng t khung ny sang khung k theo sau l i tng chuyn ng Quỏ trỡnh xỏc nh ng ca cỏc i tng mt dóy khung nh gi l c lng chuyn ng X lý nh cú xột n s tn ti ca chuyn ng gi l x lý nh cú bự chuyn ng X lý nh cú bự chuyn ng cú nhiu ng dng, mt nhng ng dng ú l ni suy nh Bng cỏch c lng cỏc thụng s chuyn ng ta cú th to mt khung mi gia hai khung ó cú Ngoi ta cng cú th loi b vi khung v xõy dng li nhng khung b loi b bng ni suy t nhng khung ó mó hoỏ Bi toỏn c lng chuyn ng m ta xột õy l chuyn ng tnh tinca cỏc i tng t f (x, y, t-1 ) v f (x, y, t0 ) theo th t l cng nh ti thi im t-1 v t0 ta gi f (x, y, t-1 ) l khung quỏ kh, f (x, t, t0 ) l khung ang xột f (x, y, t0 ) = f (x - d x , y - d y ,t -1) 56 (2.5) Trong ú dx l dch chuyn ngang, dy l dch chuyn thng ng gia t-1 v t0 a) f(x,y,t-1) b) f(x,y,t0) Hỡnh 2.8: nh tnh tin di chuyn dx, dy Trong ú: vx, vy l tc theo phng nm ngang v phng thng ng Hỡnh biu din mt vớ d ca f (x, y, t-1 ) v f (x, y, t0 ) tha phng trỡnh (2.5) Gi s cú chuyn ng u t-1 v t0 ú: f (x, y, t-1 ) = f (x - vx(t-t-1),y-vy(t-t-1),t-1) (2.6) Gi thit tnh tin n gin dn n phng trỡnh: (2.7) v gi thit b sung coi phộp tnh tin cú tc u dn n phng trỡnh (2.6) cú nhiu hn ch Chng hn khụng c cho i tng quay, khụng phúng to, thu nh ng kớnh, cỏc vựng khụng b trựm ph bi s tnh tin i tng, cỏc i tng khụng c chuyn ng vi nhng tc vx, vy khỏc Tuy vy bng cỏch gi thit ch cú chuyn ng tnh tin u cc b, v ch c lng thụng s chuyn ng (dx,dy) hay (vx,vy) mi pixel hay mi hỡnh thỡ cụng thc (2.7) cú hiu lc nhng vựng nn khụng b nh hng bi s chuyn ng ca i tng Nhng vựng ny chim mt t l ỏng k ca dóy khung hỡnh Nu nhn bit cỏc vựng m ú c lng chuyn ng khụng chớnh xỏc, cú th loi b phộp x lý bự chuyn ng nhng vựng ú, chng hn ni suy nh ta cú th gi thit vx= vy = 57 2.2.3 Kỹ thuật nột suy bù chuyển động i vi cỏc ng dng nộn video, cỏc khung hỡnh thng c chia thnh cỏc vi kớch thc nh hn v thụng tin chuyn ng ca tng c th hin bng cỏc vộct chuyn ng (motion vector: MV) K thut MCFI c chia lm loi tựy vo vic s dng vộct ny: k thut MCFI dựng vộct chuyn ng cú sn b gii mó hay k thut MCFI phi tỡm vộct chuyn ng Gi s ta cú khung liờn tip: khung quỏ kh f (n1, n2 ,t 1) v khung ang xột f (n1, n2 ,t0 ) nh hỡnh 2.9, Ta mun to mt khung mi f (n1, n2 ,t) ú t1 t t0 Cỏch n gin l chn mt khung gc gn k v thi gian vi khung mong mun, th nhng cú mt hin tng xy l nu dóy khung cú mt chuyn ng tng ln thỡ s cú hin tng git git Nu ta s dng phộp ni suy thi gian cú bự chuyn ng thỡ t khung hỡnh liờn tip f(n1,n2,t-1) v f(n1,n2,t0) ta tớnh cỏc tc f(n1,n2,t), sau ú ta chiu cỏc tc lờn khung t-1 hoc t0 v mt thi gian gn vi thi im mong mun t Hỡnh 2.9: Ni suy sinh khung trung gian f(n1,n2,t) Vỡ im chiu khụng gian thng khụng nm trờn li ly mu gc, nờn 58 cn phi ni suy khụng gian nhn c khung ni suy Nu tc c lng ti mt pixel c bit f(n1,n2,t-1) khụng c coi l chớnh xỏc thỡ gi thit l tc bng Trong trng hp ny, giỏ tr pixel c ni suy cú giỏ tr ging nh giỏ tr pixel cựng v trớ f(n1,n2,t-1) hoc f(n1,n2,t0) tu theo khung no v thi gian gn vi thi im mong mun t Khụng th dựng nh tnh minh ho cỏc c trng chuyn ng ca phộp ni suy khung cú bự chuyn ng, nhng ta cú th xem mt khung tnh c to t hai khung nh bng phng phỏp ny Hỡnh 2.10 trỡnh by mt b khung: khung gc trờn hỡnh 3.(a), v (c) cũn hai khung ni suy trờn hỡnh 3.(b) Khung c ni suy hỡnh (b) nhn c bng cỏch ly trung bỡnh ca khung gc Ta thy rng s dng phng phỏp bự chuyn ng thỡ v c bn khung ni suy cú cht lng ging nh hai khung gc Phng phỏp c lng c dựng õy l phng phỏp rng buc khụng gian - thi gian vi phộp ni suy a thc Hỡnh 2.10: Mụ t ni suy theo thi gian (a): Khung gc (b): Khung ni suy bng ly trung bỡnh gia khung (c): Khung gc Trong hỡnh 2.9 to f(n1,n2,t) bng ni suy f(n1,n2,t-1) v f(n1,n2,t0) Trong vớ d ny dch chuyn (dx,dy) nhn t f(n1,n2,t-1) v f(n1,n2,t0) tng pixel (n1 n2) ti thi im t Mi pixel ti thi im t c chiu vo v trớ khụng gian 59 tng ng ti thi im t-1 ( vớ d ny t gn t-1 hn t0) v cng pixel xỏc nh theo f(n1,n2,t-1) ti v trớ pixel c chiu n thc hin thut toỏn ny cn ni suy khụng gian ca f(n1,n2,t-1) Phộp ni suy cú bự chuyn ng cú ng dng vic thay i nhp khung S thay i nhp khung cú th phi hp vi vic thay i thang thi gian ca õm thay i di ca nh ng ca chng trỡnh Tivi Vi mt s cnh in hỡnh s thay i nhp khung ca video qua phộp ni suy bự chuyn ng cú th to tớn hiu video cú cht lng so sỏnh c vi tớn hiu gc, ngoi tr nhng nhp chuyn ng khụng t nhiờn i vi mt s ng tỏc nh i b v núi chuyn xut hin h s thay i nhp cao Thut toỏn ba bc sinh khung hỡnh trung gian S dng phộp phn chiu to mt hỡnh trung gian gi nguyờn gc t c mc ớch ny, hóy coi I0 , I1 l hai vin cnh vi ma trn chiu [H0 H0C0 ] v [H1 H1C1 ] [2.17] S thun tin hn nhiu nu ta chn mt h thng cho C0 ,C1 cựng nm trờn trc X, vớ d: C0 [ X 0 0]T v C1 [ X1 0]T Hai trc cũn li nờn c la chn theo cỏch m cú th gim ti a nhng sai lch cú th xy quỏ trỡnh phn chiu hỡnh nh Mt s la chn n gin m hiu qu thc t ú l chn trc Y theo hng ct ca hai hỡnh nh trờn nhng phỏp tuyn hỡnh nh phng 60 Hỡnh 2.11: Tỏi to cnh theo ba bc (1) hỡnh nh gc I0 v I1 c kộo gión to nhng hỡnh nh song song I^0 v I^1 (2) I^s c to bng cỏch phi hp hai hỡnh nh kộo gión (trung gian) (3) I^s c co li to thnh Is Cỏc na hỡnh nh trờn ng thng C0C1 cú th c to bng s phi hp gia phn chiu v trung ho hỡnh nh, mụ t hỡnh thỡ s [H s H sCs ] vi Cs c tớnh bi cụng thc Cs=(8Cx,8Cy,0) Kộo cng hỡnh nh -1 thnh v -1 thnh , ta c im nh v ^ B1: To hỡnh trung gian: T I^s phi hp cỏc ng k v mu sc ca cỏc im tng ng I^0 v I^1, ỏp dng cụng thc Cs=(8Cx,8Cy,0) B2: Hỡnh thnh hỡnh nh (phi hp, co): Hs thnh I^s B3: Kộo gión hỡnh nh cho ta nhng mt phng nh theo hng m khụng cn phi thay i cỏc tõm kớnh ca c hai cameras Vic tỏi to nhng hỡnh nh kộo gión a tõm kớnh v Cs Thu hỡnh nh li (hỡnh thnh hỡnh nh) bin i mt phng nh ca hỡnh nh mi v ỳng v trớ v hng chun ca hỡnh nh mong i Cỏc thao tỏc kộo cng hỡnh nh ri thu gn hỡnh nh, phi hp vi nhng hỡnh trung gian n gin, ũi hi mt lot cỏc thao tỏc tỏi to mu, iu ny cú th cú nhng tỏc ng ỏng k vic lm m i cỏc na hỡnh nh trung gian Nhng nh hng ca vic tỏi to mu hỡnh nh cú th c gim thiu bng cỏch phúng i cỏc hỡnh mu u vo hoc bng cỏch phi kt hp tt c nhng bin th hỡnh nh thnh mt hp cho mi mt hỡnh nh S phi hp ngc li, tỏi to hỡnh trung gian, v kộo cng hỡnh nh cú th trc tip múc ni thnh mt bn o ngc Tuy nhiờn, s kt hp cú nhng mt hn ch bao gm c vic nú cú th lm mt i nhng u th cú ca vic s dng cỏc cụng c tỏi to hỡnh nh to nhng hỡnh nh n gin 61 Kỹ thuật trích rút tái tạo video lĩnh vực đ-ợc nhiều nhóm nhà khoa học quan tâm nghiên cứu Nhiều ứng dụng sử dụng kỹ thuật trích rút tái tạo video đem lại hiệu rõ rệt việc phục vụ đời sống xã hội ng-ời Chương chương trình thử nghiệm 3.1 Đặt vấn đề Trong phm vi khúa lun, em ó ng dng k thut ni suy tỏi to li video sau video ó c trớch rỳt để giải toán giảm thiểu không gian l-u trữ video Các file video sau trích chọn khung hình đặc tr-ng l-u trữ nhằm giảm dung l-ợng video Để tái tạo video, em sử dụng kỹ thuật nội suy bù chuyển động để tạo khung hình trung gian nhằm tái tạo lại video 3.2 Phõn tớch, la chn cụng c Nhm kim chng k thut xut chng 2, chỳng tụi ó tin hnh ci t chng trỡnh demo thao tỏc tỏi to video t khung hỡnh c trớch rỳt 62 t on video Chng trỡnh c phỏt trin trờn mụi trng Visual Basic 6.0 vi b th vin mó ngun m OpenCV Chc nng ni suy l chc nng chớnh chng trỡnh ci t, chc nng ny dựng thc hin ni suy nh Tc l sinh cỏc hỡnh nh trung gian t nh ngun v nh ớch, cỏc nh trung gian sinh chuyn ng liờn tc Quỏ trỡnh ni suy nh sau: - a mt file nh lm nh ngun (nh vo) - a mt file nh lm nh ớch (nh ớch) - Thut toỏn ni suy (morphing) s thc hin ni suy t nh ngun v nh ớch cho cỏc hỡnh nh trung gian S hỡnh nh trung gian c ci t thut toỏn ni suy khụng gian (sinh 20 khung hỡnh trung gian) Thut toỏn ni suy cng thc hin kim tra nh xem nh vo, nh cú phi l 24 bit, khụng Nu ỳng thỡ thc hin ni suy cho cỏc khung hỡnh trung gian - Quỏ trỡnh ni suy chng trỡnh c ci t c ni suy suụi v ni suy ngc - Trong chc nng ny cng cho phộp thc hin to mt bn video cú uụi *.avi v save thc hin chy nh mt on video 3.3 Mt s giao din ca chng trỡnh 63 Hình 3.2: Giao diện module trích rút video 64 Hình 3.3: Giao diện module tái tạo video Phần kết luận Thực tế đặt nhiều toán liên quan đến xử lý liệu video, thao tác đa ảnh nh-: xác định 65 cảnh video, tách đối t-ợng, tách cảnh, nhận dạng đối t-ợng chuyển động, tái tạo, giảm dung l-ợng video Bởi vậy, kỹ thuật trích rút tái tạo video dựa thao tác đa ảnh đ-ợc quan tâm nhà nghiên cứu, vấn đề hấp dẫn mang đầy tính thực tiễn Những nội dung mà luận văn nghiên cứu bao gồm: - Trình bày tổng quan khái niệm vấn đề việc xử lý video - Hệ thống hoá kỹ thuật trích rút tái tạo video đồng thời có phân tích, đánh giá -u nh-ợc điểm kỹ thuật - Đ-a ứng dụng dựa kỹ thuật trích rút, kỹ thuật tái tạo ứng dụng kết hợp hai kỹ thuật trích rút tái tạo video việc giải toán giảm thiểu dung l-ợng video Ngoài việc giải toán bù khuyết khung hình bị thiếu để táI tạo video, kỹ thuật đ-ợc phát triển tiếp để ứng dụng giải toán khác video nh-: toán tổ chức l-u trữ,nén video, Đây h-ớng phát triển luận văn sau 66 tài liệu tham khảo Ting Vit Nng Ton, Phm Vit Bỡnh (2007) Giỏo trỡnh x lý nh, Nh xut bn i hc H Ni Lng Xuõn Cng, Xuõn Tin, Trung Tun (2004), K thut nõng cao kh nng phỏn oỏn d liu video ng dng e-learning, Bỏo cỏo khoa hc ti Hi tho quc gia Mt s chn lc ca Cụng ngh thụng tin, Nng, thỏng 8/2004 Lng Mnh Bỏ, Nguyn Thanh Thy Nhp mụn x lý nh s, Nh xut bn Khoa hc k thut, H Ni Ting Anh A Amir, J Argillander, M Berg, S-F Chang, et al.IBM Research TRECVID2004 Video Retrieval System. Proc TRECVID 2004 LarsLau Raket, Lars Roholm,Andrộs Bruhn and Joachim Weickert Motion Compensated Frame Interpolation with a Symmetric Optical Flow Constraint Advances in Visual Computing, volume 7431 of Lecture Notes in Computer Science, Springer Berlin Heidellberg, (2012) Xu, C., Corso, J.J.: Evaluation of super-voxel methods for early video processing In: CVPR.(2012) Gửkce Dane Temporal frame interpolation by motion analysis and processing University of California, San Diego, 2005 Saranta Ponla Frame rate up conversion by block base affin transform Mahidol University, 2009 67 Ya-Ting Yang, Yi-Shin Tung, Ja-Ling Wu, Chung-Yi Wen Low-Bitrate Video Quality Enhancenment by Frame Rate Up-Conversion and Adaptive Fram Encoding Advances in Multimedia Information Processing PCM 2005, pp 841-853 Jianning Zhang, Lifeng Sun, Yuzhuo Zhong A Novel Spatial-Temporal Position Prediction Motion-Compensated Interpolation for Frame Rate UpConversion Advances in Multimedia Information Processing - PCM 2006, pp.870-879 Gargi, U., Kasturi, R., & Strayer, S H, 2000 Performance characterization of video-shot-change detection methods IEEE Transactions on Circuits and Systems for Video Technology, 10(1), 1-13 Sarah Porter, Majid Mirmehdi, Barry Thomas, 2003 Temporal video segmentation and classication of edit effects Image and Vision Computing 21 (2003) 10971106 10 Sawhney, H.S., Hafner, J.L., Efficient color histogram indexing, Proceedings of the IEEE International Conference on Image Processing, Volume: , 994,pp 66 11 Efthymia Tsamoura, Vasileios M ezaris, Ioannis Kompatsiaris, 2008 Video Shot Meta-Segmentation Based On Multiple Criteria For Gradual Transition Detection Content-Based Multimedia Indexing, 2008 CBMI 2008 International Workshop on 18-20 June 2008, pp51 57 12 Efthymia Tsamoura, Vasileios Mezaris, Ioannis Kompatsiaris, 2008 Gradual Transition Detection Using Color Coherence And Other Criteria In A Video Shot Meta-Segmentation Framework Image Processing, 2008 ICIP 2008 15th IEEE International Conference on Oct 2008, page(s): 45 48 13 Yong Rui, Thomas S Huang, Sahrad Merohtra, Constructing Table-of-Content for Video, Beckman Institude for Advanced Science and Technology, University of Illinois at Urbana Champaign, 2003 68 69 ... nội suy bù chuyển động "Nghiên cứu ứng dụng kỹ thuật tái tạo video" Đ-a số ứng dụng kỹ thuật tái tạo video Cài đặt thử nghiệm đánh giá kỹ thuật tái tạo video dựa vào kỹ thuật nội suy bù chuyển động. .. phân khối 36 2.1.4 Trừ ảnh dựa vào biểu đồ 38 2.2 Một số kỹ thuật tái tạo video 44 2.2.1 Kỹ thuật nội suy không gian 50 2.2.3 Kỹ thuật nội suy bù chuyển động 52 Chương 3: Chương trình... cảnh video trích rút khung hình đặc tr-ng cảnh video để l-u trữ Phần trình bày nghiên cứu kỹ thuật tạo lập khung hình trung gian việc tái tạo đoạn video từ khung hình đại diện dựa vào kỹ thuật nội