ĐỀ CƯƠNG ÔN TẬP LÝ THUYẾT THÔNG TIN Lý thuyết thông tin: Đoán số, đo - B1: Tính độ bất định đối tượng cần xác định (từ đề bài) Dùng phép đặt câu hỏi đo lường - B2: Xác định lượng thông tin nhận sau lần đo hỏi, phụ thuộc chất phép đo VD: Bài toán tìm tiền giả - B3:Tính số phép đo, số câu hỏi cần thiết n= I a i /h b n m in = I a i /max h b Đối với nhị phân, max h b = 1bit Tam phân, max h b = log3 - B4: Xác định thuật toán đo ( xác suất để kiện xuất đồng xác suất) Bài em không hiểu nên thầy nói em viết  Cây Huffman: Cho A = a1 1/2 a2 1/4 a3 a4 a5 a6 a7 1/8 1/16 1/32 1/64 1/64 - B1: Sắp xếp tin theo thứ tự giảm dần xác suất xuất - B2: Trong danh sách chọn có trọng số nhỏ ghép lại để tạo thành có trọng số tổng trọng số con, quay lại B1 G 1/2 1/4 1/8 1 1/16 1 1/32 1/2 1/4 1/8 1/16 a1 a2 a3 a4 1/32 1/64 a5 a6 1/64 a7 - B3: Tính từ gốc G, đường đến a1 1, a2 01… TT a i P(a i ) 1/2 1/4 1/8 1/16 1/32 1/64 1/64 a1 a2 a3 a4 a5 a6 a7 α ni i (mô tả đường a i ) 01 001 0001 00001 000001 000000 n i (độ dài a i ) 6 - B4: Đánh giá hiệu giải thuật Tính độ dài trung bình n n = ∑ n p (a ) i =1 i = 1.1/2 + 2.1/4 + 3.1/8 + 4.1/16 + 5.1/32 + 6.1/64 + 6.1/64 i 63 (dấu mã) 32 Tính H(A) = H(A) = ∑ p(a ) log p(a ) i =1 i = 1/2.log2 + 1/4.log4 + 1/8.log8 + 1/16.log16 + i 1/32.log32 + 1/64.log64 + 1/64.log64 63 = (bit) 32 (chú ý: tính theo bit nên ta ngầm hiểu log số 2, log2=1, log4=2…) Vậy n = H(A) nên mã hóa tối ưu - B5: Giải mã đoạn mã cho 1010011100110 Ban đầu ta có trỏ P trỏ vào gốc G Khi gặp bit 1, trỏ P nhảy sang nhánh trái G, thấy a1 nên in a1 trỏ P trở G G 1/2 a1 Bit 0, trỏ P nhảy sanh nhánh phải G, thấy chưa phải nên đọc bit bit 1, P lại nhảy sanh nhánh trái, thấy nên in a2 trỏ P trở G G 1/2 1/4 a2 Cứ ta đoạn giải mã a1 a2 a3 a1 a1 a3 a1 … Thuật toán bước Cho mã Xyclic (7,3) có đa thức sinh g(X) = + X + X + X đa thức thông tin a(X) = + X Dùng thuật toán bước để thiết lập từ mã hệ thống mã Bài giải Mã Xyclic (7,3,4)  n = 7, k = - B1: Mã hóa đối chứng tin a i đa thức thông tin a(X) Ví dụ A0 B1 CX D  X2 E1+X F  X + X2 G  + X2 H  + X + X2 người ta cho a(X) nên ko cần mã hóa - B2: Nâng bậc a i (X) cách nhân với X n -k a(X) = a(X) X n -k với n =7, k = a(X) = (1 + X ) X = X + X - B3: Chia a(X) bước cho 4 g(X) để tìm phần dư r(X) X +X X +X +X +1 Vậy r(X) = X + 2 X +X +X +X X +X+1 - B4: Từ mã f(X) = a(X) + r(X) X +X = X + X + X+ X +X +X +X  1010011 X … X X +X +X +X Tại vị trí tương ứng X4 + X3 + X2 + f(X) có bit bit =1, X+1 = 0, X có nên bit 1, X nên bit thứ = 0, X có nên bit = 1… X có nên bit =1, X (=1) có nên bit = * Mô tả sơ đồ chức năng: Từ đa thức sinh g(X) ta có bậc nên có ô nhớ g = g = g = g =1; g =0 ( g(X) có X , X , X , X , X ) 13 + + Vào + Ra 47 17 TT Vào 1 0 0 1 1 0 0 Trạng thái ô nhớ 1 1 1 0 0 0 1 Ra 1 0 1 Ban đầu trạng thái ô nhớ =0 - Nhịp 1, 2, đầu giống hệt đầu vào - Nhịp 4, 5,6 ,7 phép dịch phải trạng thái ô nhớ Chia dịch vòng: Cho mã Xyclic (7, 3, 4) có đa thức sinh g(X) = + X + X + X Giả sử từ mã nhận mã có dạng v(X) = + X + X Sử dụng thuật toán chia dịch vòng để tìm lại từ mã phát Bài giải Từ đề cho (7, 3, 4) ta có n = 7, k = 3, d = - B1: Chia v(X) cho g(X) ta thấy bậc v(X) nhỏ bậc g(X) nên v(X) phần dư phép chia  r (X) = X + X +  trọng số phần dư w(r (X)) = > t với t = phần nguyên ^ d0 −1 −1 = phần nguyên =1 2 - B2: Dịch vòng phải cách nhân v(X) với X lại chia cho g(X) để tìm phần dư So sánh trọng số phần dư với t X.v(X) = X + X + X chia cho g(X) dư r (X) = X + X + X  w(r (X)) = > t Ta lại dịch vòng phải lần X v(X) = X + X + X chia cho g(X) dư  r (X) =1  w(r (X)) =1 = t - B3: Xác định từ mã (vì ta dịch phải lần, tức nhân X nên để tìm từ mã ta phải chia cho X ) f(X) = X v ( X ) + r2 ( X ) X + X + X +1 = = X2 + X + + X5 2 X X (vì ta coi (= X ) = X ) Ta từ mã 111001 So với v(X) = 111000 Ta thấy sai vị trí X sửa Chú ý: Nếu không thực dịch vòng phải, thực dịch vòng trái cách chia v(X) cho X Khi đó:  v( X )  + r2 ( X )  = X (X + X + + X ) = X + + X + X giống  X  f(X) = X  dịch vòng trái