Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 GIÁO TRÌNH LÝ THUYẾT THÔNG TIN Bộ môn Khoa học máy tính 2010 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 Mục lục CHƯƠNG 1: NHỮNG KHÁI NIỆM CƠ BẢN .5 1.1 Giới thiệu lý thuyết truyền tin .5 1.1.1 Giới thiệu lý thuyết truyền tin 1.2 Hệ thống truyền tin 1.2.1 Các quan điểm để phân loại hệ thống truyền tin 1.2.2 Sơ đồ truyền tin số khái niệm hệ thống truyền tin .6 1.2.3 Nguồn tin nguyên thuỷ 1.2.3.1 Khái niệm 1.2.3.2 Bản chất thông tin theo quan điểm truyền tin .8 1.2.4 Kênh tin 12 1.2.5 Nhận tin 14 1.2.6 Vấn đề hệ thống truyền tin 14 1.2.6.1 Là khả giảm tối đa sai nhầm thông tin đường truyền 15 1.3 Rời rạc hóa nguồn tin liên tục 15 1.3.1 Lấy mẫu 15 1.3.2 Lượng tử hoá 17 Tóm lại: Việc biến nguồn liên tục thành nguồn rời rạc cần hai phép biến đổi: lấy mẫu lượng tử hoá Thứ tự thực hai phép biến đổi phụ thuộc vào điều kiện cụ thể hệ thống: 18 1.4 Độ đo thông tin 18 1.5 Mã hoá 20 1.5.1 Khái niệm 20 1.5.2 Phương pháp mã hoá .20 1.6 Điều chế 21 1.6.1 Khái niệm điều chế 21 1.6.2 Các phương pháp điều chế 21 1.6.3 Giải điều chế 22 CHƯƠNG LƯỢNG TIN VÀ ENTROPI NGUỒN RỜi RẠC 23 1.7 Lượng tin nguồn rời rạc 23 1.7.1 Mối liên hệ lượng tin lý thuyết xác suất 23 1.7.2 Lượng tin riêng, lượng tin tương hỗ, lượng tin có điều kiện 28 1.7.3 Tính chất lượng tin 31 1.7.4 Lượng tin trung bình .32 Đối với trường hợp nguồn phức tạp 33 1.8 Entropi nguồn rời rạc .33 1.8.1 Khái niệm entropi 33 1.8.2 Entropi nguồn Markov 34 1.8.3 Tính chất entropi 35 1.8.4 Entropi đồng thời Entropi có điều kiện 35 1.9 Mối quan hệ lượng tin tương hỗ trung bình Entropi 36 1.10 Tốc độ lập tin nguồn rời rạc thông lượng kênh rời rạc 38 1.10.1 Tốc độ lập tin 38 1.10.1.1 Khái niệm .38 1.10.1.2 Độ dư nguồn 39 1.10.2 Thông lượng kênh 39 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 CHƯƠNG LÝ THUYẾT MÃ 42 2.1 Khái niệm điều kiện thiết lập mã 42 2.1.1 Mã hiệu thông số 42 2.1.2 Điều kiện thiết lập mã 44 2.2 Các phương pháp biểu diễn mã 46 2.2.1 Biểu diễn bảng liệt kê (Bảng đối chiếu mã) 46 2.2.2 Biểu diễn toạ độ mã 46 2.2.3 Đồ hình mã 47 2.2.4 Phương pháp hàm cấu trúc mã 49 2.3 Mã có tính phân tách được, mã có tính prefix .49 2.3.1 Điều kiện để mã phân tách .50 2.3.2 Mã có tính prefix .52 2.3.3 Bất đẳng thức Kraft 53 2.4 Mã thống kê tối ưu 54 2.4.1 Giới hạn độ dài trung bình từ mã .54 2.4.1.1 Giới hạn 54 2.4.1.2 Giới hạn 55 2.4.2 Tiêu chuẩn mã kinh tế tối ưu 55 2.4.3 Mã thống kê Fano –Shanon 56 2.4.3.1 Phương pháp mã theo Fano .56 2.4.3.2 Phương pháp mã theo Shanon 57 2.4.4 Mã Huffman 59 2.5 Thuật toán mã hoá Lempel-Ziv 61 2.5.1 Lập mã 62 2.5.2 Giải mã 63 2.6 Mã chống nhiễu 64 2.6.1 Khái niêm mã phát sai sửa sai .64 2.6.2 Cơ chế phát sai 65 2.6.3 Cơ chế sửa sai 66 2.6.4 Xây dựng mã sửa sai bảng chọn 68 B3: 1011, 1110 , 0100 sửa thành a3 69 2.6.5 Xây dựng mã sửa sai trọng số Hamming khoảng cách Hamming 70 2.6.5.1 Trọng số Hamming 70 2.6.5.2 Khoảng cách Hamming 70 2.6.5.3 Cơ chế phát sai khoảng cách Hamming 71 2.6.5.4 Cơ chế sửa sai khảng cách Haming 71 2.6.6 Một số biện pháp phát sai đơn giản 72 2.6.6.1 Dùng Parity 72 2.6.6.2 Mã khối 72 2.7 Mã tuyến tính 73 2.7.1 Phương pháp xây dựng mã tuyến tính 73 2.7.1.1 Biểu diễn ma trận sinh .73 2.7.1.2 Biểu diễn ma trận thử 74 2.7.1.3 Mã hệ thống .75 2.7.2 Nguyên lý giải mã 75 2.7.3 Một số giới hạn mã tuyến tính 77 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 2.7.3.1 Giới hạn khoảng cách mã tối thiểu .77 2.7.3.2 Giới hạn Plotkin(về số ký hiệu thử) 78 2.7.3.3 Giới hạn Haming 78 2.8 Mã vòng 78 2.8.1 Khái niệm: .78 2.8.2 Nguyên lý lập mã 79 2.8.3 Nguyên lý giải mã 80 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 CHƯƠNG 1: NHỮNG KHÁI NIỆM CƠ BẢN 1.1 Giới thiệu lý thuyết truyền tin 1.1.1 Giới thiệu lý thuyết truyền tin Vật liệu ban đầu gia công hệ thống truyền tin thông tin Thông tin mang dạng lượng khác gọi vật mang, vật mang có chứa thông tin gọi tín hiệu Lý thuyết lượng giải tốt vấn đề xây dựng mạch, tín hiệu vấn đề tốc độ, tượng nhiễu, mối liên hệ dạng lượng khác thông tin…chưa giải mà phải cần có lý thuyết khác lý thuyết truyền tin Lý thuyết truyền tin giải vấn đề truyền tin tốc độ, khả chống nhiễu hệ thống 1.2 Hệ thống truyền tin Những hệ thống truyền tin cụ thể mà người sử dụng khai thác có nhiều dạng, phân loại chúng người ta dựa nhiều sở khác 1.2.1 Các quan điểm để phân loại hệ thống truyền tin • Theo lượng -Năng lượng chiều (điện tín) -Vô tuyến điện (sóng điện từ) -Quang (cáp quang) -Sóng siêu âm (la-de) • Theo biểu bên -Hệ thống truyền số liệu -Hệ thống truyền hình phát -Hệ thống thông tin thoại • Theo dạng tín hiệu -Hệ thống truyền tin rời rạc -Hệ thống truyền tin liên tục Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 1.2.2 Sơ đồ truyền tin số khái niệm hệ thống truyền tin Truyền tin(transmission): Là trình dịch chuyển thông tin từ điểm sang điểm khác môi trường xác định Hai điểm gọi điểm nguồn tin (information source) điểm nhận tin (information destination) Môi trường truyền tin gọi kênh tin (chanel) Sơ đồ khối chức hệ thống truyền tin tổng quát gồm có khâu chính: Nguồn tin, kênh tin nhận tin NGUỒN TIN KÊNH TIN NHẬN TIN Nguồn tin: nơi sản sinh hay chứa tin cần truyền Khi đường truyền thiết lập để truyền tin từ nguồn tin đến nhận tin, dãy phần tử sở (các tin) nguồn truyền với phân bố xác suất Dãy gọi tin (Message) Vậy ta định nghĩa: Nguồn tin tập hợp tin mà hệ thống truyền tin dùng để lập tin khác để truyền tin Kênh tin: môi trường lan truyền thông tin Để lan truyền thông tin môi trường vật lý xác định, thông tin phải chuyển thành tín hiệu thích hợp với môi trường truyền lan Vậy Kênh tin nơi hình thành truyền tín hiệu mang tin đồng thời sinh tạp nhiễu phá huỷ thông tin Trong lý thuyết truyền tin kênh khái niệm trìu tượng đại biểu cho hỗn hợp tín hiệu tạp nhiễu Từ khái niệm này, phân loại kênh dễ dàng hơn, thực tế kênh tin có nhiều dạng khác nhau, ví dụ -Truyền tin theo dây song hành, cáp đồng trục, ống dẫn sóng -Tín hiệu truyền lan qua tầng điện ly -Tín hiệu truyền lan qua tầng đối lưu -Tín hiệu truyền lan mặt đất, đất -Tín hiệu truyền lan nước Nhận tin: Là cấu khôi phục thông tin ban đầu từ tín hiệu lấy từ đầu kênh Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 Để tìm hiểu chi tiết ta sâu vào khối chức sơ đồ truyền tin xét đến nhiệm vụ khối 1.2.3 Nguồn tin nguyên thuỷ 1.2.3.1 Khái niệm Nguồn tin nguyên thuỷ tập hợp tin nguyên thuỷ (chưa qua phép biến đối nhân tạo nào) Các tin nguyên thuỷ phần nhiều hàm liên tục theo thời gian f (t ) hàm biến đổi theo thời gian nhiều thông số khác hình ảnh đen trắng h( x, y, t ) x, y toạ độ không gian hình, thông tin khí tượng: g (λi , t ) λi thông số khí tượng nhiệt độ, độ ẩm, tốc độ gió, Thông tin nguyên thuỷ hệ hàm theo thời gian thông số trường hợp thông tin hình ảnh màu:  f ( x, y , z )   g ( x, y , z )  h ( x, y , z )  Các tin nguyên thuỷ phần lớn hàm liên tục thời gian mức: Nghĩa biểu diễn thông dạng hàm s (t ) tồn quãng thời gian T lấy giá trị phạm vi ( S , S max ) Smax Smin Tin nguyên thuỷ trực tiếp đưa vào truyền thường qua biến đổi cho phù hợp với hệ thống Xét quan điểm truyền tin có hai loại tin hai loại hệ thống tương ứng: Tin rời rạc Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 -Nguồn rời rạc -Kênh rời rạc Tin liên tục -Nguồn liên tục -Kênh liên tục Sự phân biệt chất nguồn rời rạc với nguồn liên tục số lượng tin nguồn rời rạc hữu hạn số lượng tin nguồn liên tục không đếm Nói chung tin rời rạc, nguyên thuỷ rời rạc, nguyên thuỷ liên tục rời rạc hoá trước đưa vào kênh thông thường qua thiết bị mã hoá Thiết bị mã hoá biến đổi tập tin nguyên thuỷ thành tập hợp tin thích hợp với đặc điểm kênh khả cho qua (thông lượng), tính chất tín hiệu tập nhiễu Tóm lại mã hoá phép biến đổi tính thống kê tính chất chống nhiễu nguồn tin 1.2.3.2 Bản chất thông tin theo quan điểm truyền tin Chỉ có trình ngẫu nhiên tạo thông tin Một hàm gọi ngẫu nhiên với giá trị đối số giá trị hàm đại lượng ngẫu nhiên (các đại lượng vật lí thiên nhiên nhiệt độ môi trường, áp suất không khí… hàm ngẫu nhiên thời gian) Một trình ngẫu nhiên quan sát tập thể Quá trình ngẫu nhiên gọi biết rõ thu nhận xử lí tập đủ nhiều thể đăc trưng Giả sử trình ngẫu nhiên X(t) có tập mẫu (hay gọi thể hiện) x(t) ta biểu diễn sau: X(t) = {x(t) } Việc đoán trước giá trị ngẫu nhiên khó khăn Ta tìm quy luật phân bố thể thông qua việc áp dụng qui luật toán thống kê để xử lý giá trị thể mà ta thu từ tín hiệu Quá trình ngẫu nhiên không gian nhiều chiều, xét theo chiều ta có luật phân bố chiều: (F) F1(x,t1) = P (ξ (t1) ≤ x) Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 Mật độ phân bố xác suất chiều W1(x,t) ∂F1 W1(x,t) = dx x: Các thể trình ngẫu nhiên P: Xác suất xuất thể ξ (t) Xét theo hai chiều ta có luật phân bố hai chiều: F2(x1,t1;x2,t2) = P(ξ (t1) ≤ x1; ξ (t2) ≤ x2) ∂2F2 ⇒ W2(x1,t1;x2,t2) = ∂x1 ∂x2 Hàm phản ánh thống kê hai thể hai thời điểm chưa đủ Vậy phải dùng W(nhiều, nhiều) qui luật phân bố số thể tuỳ ý với số chiều n tuỳ ý Vấn đề thực tế cần n để hiểu rõ trình ngẫu nhiên Ta khó nói xác n ta xét tập đủ nhiều số điều kiện sau: Đối xứng: Qui luật phân bố n chiều không đổi hoán vị cặp x i,ti có: W2(x1,t1;x2,t2) = W2(x2,t2;x1,t1) Điều kiện kết hợp: Mọi qui luật phân bố k chiều lấy từ qui luật phân bố n chiều với k ≤ n Qui luật phân bố n chiều đầy đủ nhiều phức tạp Thông thường người ta dùng số đặc tính thống kê đơn giản giải yêu cầu đặt (1) Trị trung bình (kì vọng toán học) trình ngẫu nhiên x(t) x (t) = +∞ = M[x(t)] = ∫ xW ( x , t )dx −∞ (2) Trị trung bình bình phương Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 +∞ x2(t) = M[x2(t)] ∫ x W ( x , t )dx = 1 −∞ (3) Phương sai +∞ ∫ ( x − x) D[x(t)] = M [x(t) - x(t)] = w1 ( x, t )dx −∞ (4) Hàm tương quan Nói lên mối quan hệ thống kê trị trình ngẫu nhiên X(t 1) X(t2) thời điểm t1, t2 +∞ +∞ ∫ ∫ x x w (x t ; x t Bx(t1t2) = M [x(t1) x(t2)] = 2 1 2 ) dx1 dx − ∞− ∞ Nếu hai trình khác hai thời điểm khác nhau: +∞+∞ Bxy(t1t2) = M [x(t1) y(t2)] = ∫ ∫ xyw ( x, t ; y, t 2 )dxdy − ∞− ∞ Để giải toán cách thực tế người ta xác định tức thời mà lấy trị trung bình trình ngẫu nhiên Có hai loại trị trung bình theo tập hợp trị trung bình theo thời gian Ta cần nghiên cứu trị trung bình theo tập hợp gặp nhiều khó khăn nhận xử lý tức thời thể thể biến đổi theo thời gian Tính trị trung bình theo thời gian ta chọn thời gian đủ lớn để quan sát thể dễ có điều kiện quan sát sử dụng thuật toán thông kê: T X(t) = lim ∫ x(t )dt T0 T→∞ Trị trung bình bình phương: T X (t) = lim ∫ x (t )dt T0 T→∞ Khi thời gian quan sát T dần đến vô trị trung bình tập hợp trị trung bình thời gian 10 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 Ta thấy nhận tổ hợp ‘0111’ ‘1101’ sai ký hiệu ta giải mã sửa thành ‘0101’ ( a2 ), theo nguyên tắc ta sửa sai cho mã Tuy nhiên mã cho thấy sửa không xác tổ hợp ‘1101’ sửa thành a2 sửa thành a4 Để giải người ta khắc phục cách dùng bảng chọn tính khoảng cách mã mã 2.6.4 Xây dựng mã sửa sai bảng chọn Bằng cách lập bảng chọn ta chọn tổ hợp từ mã dùng, hợp lý đảm bảo sửa sai Ví dụ: Xâydựng bảng mã có từ mã từ mã có ký hiệu Xây dựng bảng có 2n = 24 cột sau: SỐ CỘT 10 11 12 13 14 15 16 v 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111 e 0011 0011 0010 0001 0000 0111 0110 0101 0100 1011 1010 1001 1000 1111 1110 1101 1100 0110 0110 0111 0100 0101 0010 0011 0000 0001 1110 1111 1100 1101 1010 1001 1000 1001 1100 1100 1101 1110 1111 1000 1001 1010 1011 0100 0101 0110 0111 0000 0001 0010 0011 v : vec tơ mã, e : vec tơ sai Từ bảng ta chọn từ mã để sử dụng cách: Chọn từ ví dụ chọn từ mã a2 = 0001 ta xem thân tổ hợp cấm trùng với tổ hợp từ mã đánh dấu cột i để loại Như loại cột 3, 5, 8, 12, 14, 15 Chọn từ mã thứ cột lại giả sử chọn a6 loại cột có tổ hợp trùng với tổ hợp cấm a6 ta loại cột 1, 4, 7, 10, 11, 16 Chọn tiếp tương tự ta chọn từ mã là: a1 = 0001 (cột 2) 68 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 a2 = 0101 (cột 6) a3 = 1000 (cột 9) a4 = 1100 (cột 13) Với từ mã nhận mã sai ứng với kênh phân tích ta sửa sai tương đối xác ví dụ: B1: 0010, 0111, 1101 sửa thành a1 B2: 0110, 0011, 1001 sửa thành a2 B3: 1011, 1110 , 0100 sửa thành a3 B4: 1111, 1010, 0000 sửa thành a4 Thuật toán: V: Tập từ mã Bi: Tập tổ hợp cấm tương ứng với B: Tập tổ hợp cấm tương ứng với từ mã từ mã chọn N: Số tin nguồn, tương ứng với số từ mã V=∅ ; B=∅ ; k=0; For i:=1 to 2n Begin if Bi ∩ B = ∅ then Begin V=V ∪ ai; B = B ∪ B i; k:=k+1; 69 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 if k=N then break; End; End; 2.6.5 Xây dựng mã sửa sai trọng số Hamming khoảng cách Hamming 2.6.5.1 Trọng số Hamming Trọng lượng Hamming (Hamming weight) dãy ký tự số phần tử dãy ký tự có giá trị khác không (0): dãy ký tự nhị phân (binary string), số ký tự có giá trị (1), lấy ví dụ trọng lượng Hamming dãy ký tự 11101 Cho V(v1,v2,v3, ,vn) vec tơ n thành phần nhị phân Trọng số Hamming V, ký hiệu W(V) định nghĩa số thành phần khác V Ví dụ: Véc tơ V(v) = 01011 có W(v) = 2.6.5.2 Khoảng cách Hamming Trong lý thuyết thông tin, Khoảng cách Hamming (tiếng Anh: Hamming distance) hai dãy ký tự (strings) có chiều dài số ký hiệu vị trí tương đương có giá trị khác Nói cách khác, khoảng cách Hamming đo số lượng thay cần phải có để đổi giá trị dãy ký tự sang dãy ký tự khác, hay số lượng lỗi xảy biến đổi dãy ký tự sang dãy ký tự khác Lấy ví dụ: Khoảng cách Hamming 1011101 1001001 Khoảng cách Hamming 2143896 2233796 Khoảng cách Hamming "toned" "roses" Khoảng cách Hamming hai véc tơ U(u1,u2,u3, ,un), V(v1,v2,v3, ,vn) số toạ độ khác chúng Ký hiệu D(U,V) Ví dụ: Tính khoảng cách hai véc tơ 11001 10110 Từ định nghĩa khoảng cách Hamming hai vec tơ ta có kết sau: 70 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 D(U,V) = W(U+V) Trong U+V vec tơ có từ phép cộng modul hai vec tơ U vec tơ V Ví dụ: U = 11001 V = 10110: U + V = 01111 Như khoảng cách U V W(U + V) = 2.6.5.3 Cơ chế phát sai khoảng cách Hamming Ta thấy khoảng cách hai từ mã thay đổi đơn vị thay đôỉ ký hiệu từ mã Khoảng cách từ mã trùng (không phân biệt được) Vậy mã hiệu có khoảng cách D = không phát sai ký hiệu Muốn phát sai ký hiệu hai từ mã phải có khoảng cách mã D tối thiểu Vậy muốn phát từ mã sai t ký hiệu khoảng cách mã phải thoả mãn điều kiện sau: D ≥ t+1 Ví dụ1: Từ mã 1110 tác dụng từ mã sai 0001 thành 1111, ta chọn a1 = 1110, a2 = 1111 (D =1) a1 sai ký hiệu thành ‘1111’ nhận ta không phát sai Ví dụ 2: Giả sử có mã: a1 = 0011; a2 = 0101; a3 = 1100; a4 = 1111 Bộ mã có D = từ mã sai ký hiệu ta nhận Giả sử từ mã a1 sai ký hiệu trở thành 0111, 1011, 0001, 0010 ta nhận thấy tổ hợp tổ hợp không dùng có tượng sai 2.6.5.4 Cơ chế sửa sai khảng cách Haming Bây xét điều kiện mã phát sai mà sửa chữa sai nhầm Điều kiện thoả mãn nêú sai nhầm làm chuyển đổi từ mã ban đầu thành tổ hợp mã gần từ mã từ mã khác Ta thấy từ mã sai t ký hiệu khoảng cách so với từ mã khác lệch t đơn vị Vậy từ mã sai lệch so với từ mã gốc khoảng cách nhỏ D/2 ta quy từ mã gốc 71 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 Do từ mã sai t ký hiệu, ta muốn xác định tổ hợp sai thuộc từ mã khoảng cách mã phải thoả mãn điều kiện: D ≥ 2t +1 Ví dụ: Cho mã: a1 = 00000, a2 = 01101, a3 = 10110, a4 = 11011 Bộ mã có D = nên sửa sai cho ký hiệu Giả sử từ mã a2 bị sai ký hiệu thành a2’ = 01111 Ta tính khoảng cách mã a2’ với từ mã có: D(a1,a2’) = 4, D(a2’,a2) = 1, D(a2’,a3) = 3, D(a2’,a4) = Như a2’ gần a2 ta sửa a2’ thành a2 = 01101 Rõ ràng việc sửa xác 2.6.6 Một số biện pháp phát sai đơn giản 2.6.6.1 Dùng Parity Khi xây dựng bảng tin để phát ta thêm vào bit vào cuối nội dung thông tin để tạo tổng số bít mang trị chẵn (Parity chẵn) hay lẻ (Parity lẻ) Khi nhận tin ta kiểm tra tổng bít để xem có bị thay đổi không (chẵn-lẻ) dùng Parity chẵn mà tổng số bít lẻ ta biết nhận tin sai Muốn khôi phục tin ta tách bít parity khỏi tin Ví dụ: Ta có parity chẵn bít parity thêm vào sau: Thông tin Parity 1 1 1 1 0 1 0 2.6.6.2 Mã khối Phương pháp ta làm giống dùng Parity mức độ cao Ta tạo tin thành khối dòng, cột ta thêm bít parity theo cách Như ta kiểm tra hai lần theo dòng theo cột nên khả phát cao nhiều, ta có khả sửa sai xác định toạ độ sai xác Ví dụ: 72 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 1 0 0 1 1 0 1 1 1 1 2.7 Mã tuyến tính 1 Mã tuyến tính thuộc phạm vi đại số tuyến tính, cách biểu diễn mã thuận tiện gọn phương pháp biểu diễn ma trận 2.7.1 Phương pháp xây dựng mã tuyến tính Người ta sử dụng phép toán đại số tuyến tính để biểu diễn mã Giả sử mã V gồm từ mã có độ dài n , từ mã gọi vec tơ mã gồm n thành phần Cơ số mã m (trong trường hợp nhị phân m = ) 2.7.1.1 Biểu diễn ma trận sinh Dùng ma trận G gồm k hàng, hàng từ mã thuộc V gọi vec tơ mã V , G gọi ma trận sinh mã V từ mã thuộc V tổ hợp tuyến tính hàng ma trận V V gọi không gian hàng ma trận sinh G , số chiều không gian vec tơ V k ma trận G có k hàng Như tổ hợp tuyến tính khác tương ứng với vec tơ mã khác nhau, Nếu V có k vec tơ hệ gồm k vec tơ hệ độc lập tuyến 73 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 a1  a  tính Giả sử G =   vec tơ mã v = α1a1 + α a1 + + α k ak Trong   ak  α i ký hiệu mã Mã V (n, k ) có m k từ mã Ví dụ: Ta có ma trận sinh sau: a1 = 01101 ; a2 = 10110 01101 G=  10110 Mã V (5, 2) có n = k = , từ mã sau: v = α1a1 + α a2 V = {00000; 01101; 10110; 11011} Ví dụ: Xác định mã V (5,3) từ có ma trận sinh G : 10011  G = 01010 00101 Ta thấy số tổ hợp 25 có 32 tổ hợp ta dùng tổ hợp (8 vec tơ mã) lại tổ hợp không dùng, mã cho phép ta phát sửa sai Cách biểu diễn gọn thuận tiện, số n k lớn ta biểu diễn bảng mã cồng kềnh không thực Ngoài ra, ma trận sinh gọi ma trận sinh mã kiểm tra chẵn lẻ 2.7.1.2 Biểu diễn ma trận thử Xây dựng ma trận H gồm n-k hàng độc lập tuyến tính (trong k số hàng ma trận G ), H ma trận mà vec tơ mã v ∈V vH T = (0 vec tơ không, H T chuyển vị H ) Không gian vec tơ V ' tạo ma trận H gọi không gian không không gian hàng V ( hay V ' không gian hàng ma trận H , không gian không G ) H gọi ma trận thử mã V 74 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 Mỗi vec tơ mã V trực giao với vec tơ thuộc V '(n, n − k ) Ví dụ : 10011  G = 01010 00101 có ma trận thử 11010 H =  10101 2.7.1.3 Mã hệ thống Xét mã nhị phân Nếu phép biến đổi ta chuyển ma trận G 10 p11 p12 p1, n − k    dạng sau: G′ = 01 p2,1 p2, p2, n − k  00 p p p  k ,1 k , k ,n−k   Với α = (α1 , α , , α k ) ta có vectơ mã v = α G ' k v = (α1 , α , , α k , C1 , , Cn − k ) C j = ∑α i pi , j i =1 k thành phần đầu v gọi ký hiệu mang tin, n − k thành phần sau gọi ký hiệu dư hay ký hiệu thử (ký hiệu r ) Ta thấy n − k thành phần sau tổ hợp thành phần đầu Vì trình mã hoá đơn giản Bộ mã gọi mã hệ thống 2.7.2 Nguyên lý giải mã Trong nội dung trên, việc giải mã thực đối chiếu vec tơ nhận lớp kề bảng giải mã, nhiên cách làm không hiệu n, k lớn Để khắc phục hạn chế ta thực theo thuật toán dựa sở tính Syndrom Cho V mã tuyến tính (n, k ) bao gồm từ mã vec tơ : h1 (vec tơ không) vec tơ mã lại h2 , h3 , , h2 Các vec tơ sai e1 , e2 , , e p Để k thuận tiện trình lập thuật toán giải mã ta định nghĩa khái niệm lớp kề sau : 75 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 k Định nghĩa : V j lớp kề thứ j V j = { v : v = hi + e j , i = 1, 2, , } , e j v gọi vec tơ tạo lớp kề Định lý 1: Nếu bảng giải mã theo cách xếp lớp kề, nhận vec tơ v giải mã thành vec tơ u vec tơ sai v + u vec tơ tạo lớp kề Định nghĩa : Syndrom vec tơ v gồm r thành phần xác định S = vH T Khi v từ mã Syndrom không, ngược lại Syndrom khác Định lý 2: Hai vec tơ v1 , v2 nằm lớp kề Syndrom chúng Trên sở Định lý trên, ta có thuật toán giải mã : Bước 1: Thiết lập bảng giải mã cách xếp lớp kề với Syndrom tương ứng cho lớp Bước : Khi nhận dãy v ' dài n tính Syndrom v ' tìm lớp kề V j ứng với Syndrom tính Bước : Từ mã gốc v = v '+ e j e j vec tơ tạo lớp kề V j Ví dụ : Cho ma trận sinh G 10011  G = 01010 00101 có ma trận thử 11010 H =  10101 Bước 1: Xếp lớp kề: v 00000 00101 01010 01111 10011 10110 11001 11100 e V1 00001 00100 01011 01110 10010 10111 11000 11101 V2 00010 00111 01000 01101 10001 10100 11011 11110 76 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 V3 10000 10101 11010 11111 00011 00110 01001 01100 Tính Syndrom lớp 1, 2, : 01, 10, 11 Các vec tơ tạo lớp kề : 00001, 00010, 10000 vec tơ sai Mã không sửa hết tất từ mã sai bit, khoảng cách mã tối thiểu D = Muốn sửa D = Bước 2: Giả thiết nhận v ' = 10111 , Syndrom S = v ' H T = 01 ứng với vec tơ tạo lớp kề 00001 Bước 3: Từ mã gốc: v = 10111 + 00001 = 10110 2.7.3 Một số giới hạn mã tuyến tính Trong mã tuyến tính, khả sửa sai mã tiêu chuẩn hàng đầu Khả biểu thị số ký hiệu sai tối đa sửa tổ hợp mã có liên quan đến trọng lượng tối thiểu mã (Khoảng cách mã) Cho nên xây dựng mã sửa sai tối ưu, cần phải xác định trước số giới hạn mã tuyến tính mã giới hạn trọng lượng tối thiểu (hay khoảng cách mã), giới hạn số ký hiệu thử mã tuyến tính Dưới số giới hạn mã nhị phân 2.7.3.1 Giới hạn khoảng cách mã tối thiểu Tổng trọng số mã tuyến tính (n,k) sau: Mỗi từ mã có n ký hiệu, mã có 2k từ mã Như có tổng số ký hiệu n 2k Trong có ký hiệu khác Giả thiết p (0) = p (1) = 2 - Tổng trọng số là: n.2k = n.2k −1 Ta thấy khoảng cách mã từ mã đến từ mã có trọng số thấp trọng số từ mã giả thiết trọng số tối thiểu D Rõ ràng trọng số tối 77 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 thiểu phải nhỏ trọng số trung bình Từ ta rút điều kiện cho khoảng cách mã D phải thoả mãn điều kiện: D ≤ n k −1 2k −1 Như D phải nhỏ lớn tỷ số trên, giới hạn khoảng cách mã tối thiểu 2.7.3.2 Giới hạn Plotkin(về số ký hiệu thử) Điều kiện xét r nhỏ ký hiệu mang tin có trị làm cho D vượt giới hạn xét Bằng tính toán ta có giới hạn số ký hiệu thử r sau gọi giới hạn Plotkin: r ≥ D r = n − k , k số ký hiệu mang tin, n : độ dài từ mã 2.7.3.3 Giới hạn Haming Ta thấy Bộ mã có số 2, từ mã có độ dài n có t ký hiệu sai số phương án t t i =1 i =1 i k i sai là: ∑ Cn Cả mã có 2k từ mã nên có số phương án sai là: ∑ Cn Để phát sai số tổ hợp cấm phải không số phương án sai ta có điều kiện sau: t N – N ≥ 2k ∑ Cni ⇔ i =1 t 2n − k ≥ + ∑ Cni ⇔ i =1 t t i =0 i =0 2n − k ≥ ∑ Cni ⇔ n − k ≥ log ∑ Cni Giới hạn gọi giới hạn Haming Định lý: Một mã dài n với trọng số tối thiểu D = 2t + lớn t i phải có số ký hiệu thử r là: log ∑ Cn i =0 2.8 Mã vòng 2.8.1 Khái niệm: Mã vòng loại mã mà từ mã biểu diễn dạng đa thức: an −1 x n −1 + an − x n −2 + + a2 x + a1 x1 + a0 có đặc điểm sau: • Nếu a0 , a1 , a2 , , an −1 từ mã tổ hợp dịch chuyển bậc an −1 , a0 , a1 , a2 , , an − tổ hợp mã 78 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 • Những từ mã chia chẵn cho đa thức P( x) gọi đa thức sinh (Đa thức tạo mã, từ đa thức tạo từ mã mã vòng xuất phát từ mã đơn giản) Nếu bậc mã đơn giản A( x) k, bậc mã vòng F ( x) n bậc đa thức sinh P ( x ) r=n-k 2.8.2 Nguyên lý lập mã Nếu đa thức sinh biểu diễn dạng tổ hợp: a0 , a1 , , ar , mã vòng biểu diễn ma trận sinh có dạng:  a0 a1 ar 0   a a a 0  r     G=     0 a0 a1    uuaurr   0suu0 0u uuuuuuuuuu r asu k −1 r +1     k     Bằng phép biến đổi tuyến tính ma trận G biến đổi dạng chuẩn tắc sau:  p11 p12 p1r 0     p21 p22 p2 r  G =        p p p 1 r r suuuuuuuu  suku1uuuku2uuuuuukru r k Cách biểu diễn ma trận sinh dạng chuẩn tắc cho thấy: từ mã gồm có hai phần, phần có r ký hiệu thử phần lại có k ký hiệu mang tin Để xác định đa thức sinh cần dựa tính chất chia chẵn nhị thức + x n Từ tính chất trực tiếp xây dựng ma trận sinh dạng chuẩn tắc cách chia x n cho P( x) , số thừa phép chia thành ma trận Cn − k ,k , hợp với ma trận I% k 79 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 0 0  0    * ° I% k =   tạo thành ma trận sinh Gn , k =  I k , Cn − k , k      0   1 0  Ví dụ : Xây dựng mã vòng (7, 4) Trước hết xác định đa thức sinh P( x) lấy thừa số chung nhị thức: x + = ( x + 1)( x + x + 1)( x + x + 1) r = n − k = ⇒ P ( x) = x + x + , viết dạng tổ hợp nhị phân là: 1101 Xác định ma trận số thừa C3,4 phép chia x cho P( x) Sau thực phép chia nhị phân ta ma trận: C3,4 1  0 0 1  1 1  0 1 1  *  => G7,4  = = 0 1  0 0 1      1  1 0 1  Để thực cách thuận tiện thiết bị tạo mã giải mã, cần có thuật toán lập giải mã Các thuật toán dựa tính chất từ mã chia chẵn cho đa thức sinh Từ mã tìm được: F ( x) = P ( x).Q( x) = x n − k A( x) + R ( x) Trong Q( x) = x n −k A( x) R ( x ) + P ( x) P( x) Ví dụ : Tổ hợp mã đơn giản A( x) = x + 1, x n −k = x , x n − k A( x) = x + x Đem chia x + x cho P ( x ) = x + x + ta được: x5 + x x2 + x = x +x+ Vì tổ hợp x3 + x + x + x2 + mã là: x5 + x3 + x + x , viết dạng tổ hợp mã nhị phân 101110 2.8.3 Nguyên lý giải mã Đem chia từ mã nhận cho đa thức P( x) , phép chia chẵn chứng tỏ từ mã thu đúng, trường hợp phép chia số thừa chứng tỏ từ mã thu có ký hiệu sai Số thừa cho phép xác định vị trí ký hiệu sai Vec tơ gốc u = v + e Trong v: vec tơ thu được, e: vec tơ sai 80 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 Phương pháp thực sửa sai dựa ma trận phát sửa sai M n−k ,n  I% n −k    =  I%n   C  n − k ,k    Ví dụ: Đối với mã vòng (7, 4) ta có ma trận sau: C3,4 1  1 1   = 0 1    1  0    I% =   1 0   0 0 0 1 0 0 0 0   0 0 0   I% = 0 010 0   0 0 0   0 0 0 0 1 0 0 0    Các hàng ma trận I%7 đại biểu cho vec tơ sai, vị trí số đơn vị cho biết vị trí ký hiệu sai tổ hợp mã tuyến tính từ trái sang phải theo bậc từ cao giảm xuống thấp: x , x5 , x , x , x , x1 , x Ví dụ: hàng thứ ba ma trận số đơn vị vị trí thứ tương ứng với ký hiệu sai x Ma trận phát sai sửa sai mã (7, 4) là: M 10,7 0 0 0 0 0 0  0 0 0  = 0 0 0 0 0 0  0 0 0 1 0 0 0  0 1  0  1 111   11 1  Giả thiết thu từ mã: 0111100, đầu phát gửi từ mã: 0110100 Như trình truyền tin gây sai ký hiệu thứ kể từ trái Quá trinh phát sai sửa sai thực sau: Đa thức sinh chọn trước P ( x ) = x + x + 81 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 Kiểm tra tổ hợp mã thu hay sai cách đem chia từ mã cho đa thức sinh P ( x ) = x + x + Sau thực phép chia số thừa là: 101, đem đối chiếu ma trận M 10,3 thấy số thừa thuộc hàng thứ tư tương ứng với vec tơ sai: 0001000, điều cho thấy bit thứ tư từ mã sai Vec tơ gốc = 0111100+0001000 =0110100 Để thực sơ đồ tạo mã giải mã vòng, sử dụng mạch nhân, chia đa thức với đa thức Các mạch xây dựng sở phần tử mạch sau: • → ⊕ ¬ : Cộng mođun • → → : Nhân với hệ số • → X ¬ : Mạch ghi chuyển Sơ đồ nhân chia đa thức cho đa thức dạng tổ hợp khác phần tử Sơ đồ nhân đa thức với đa thức: A( x).P( x) A( x ) = a0 + a1 x + + x i A( x ) P( x) = a0b0 + (a0b1 + a1b0 ) x + (a0b2 + a1b1 + a2b0 ) x + + + (ai −1br + br −1 ) x i + r −1 + ( br ) x1+ r P ( x ) = b0 + b1 x + + br x r Output br Input br- br- aj aj+1 b1 aj+2 aj+r-2 b0 aj+r-1 Sơ đồ chia đa thức cho đa thức: b1 b0 Input Output -br- b2 br 82 r-1 r [...]... 18 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 Để xác định dạng của hàm này, chúng ta sử dụng tính chất thứ 3 Giả sử hai tin xi và xj là độc lập thống kê để mỗi tin không chứa các thông tin về tin còn lại Xác suất xuất hiện tương ứng là p(x i) và p(xj), lượng tin của mỗi tin sẽ là f(1/p(xi)) và f(1/p(xj)) Giả sử hai tin này cùng đồng thời xuất hiện, ta có tin (x i,xj), lượng tin. .. của lượng tin như là lượng tin tương hỗ cực đại giữa xi và y j (2) Lượng tin riêng là một đại lượng luôn dương(vì p ( xi ) ≤ 1 nên − log p ( xi ) ≥ 0 ) Nhưng lượng tin tương hỗ có thể dương, có thể âm do phụ thuộc lượng tin có điều kiện 31 Giáo trình Lý thuyết Thông tin - Bộ môn Khoa học máy tính - 2010 (3) Lượng tin của một cặp (xiyj) bằng tổng lượng tin riêng của từng tin trừ đi lượng tin tương... một tin khác với tin được phát, có nghĩa là xác suất để nhận được y(t) là đại diện của x(t) là p(y|x) với 0 < p(y|x) ... truyền tin 1.1.1 Giới thiệu lý thuyết truyền tin Vật liệu ban đầu gia công hệ thống truyền tin thông tin Thông tin mang dạng lượng khác gọi vật mang, vật mang có chứa thông tin gọi tín hiệu Lý thuyết. .. 1.2.5 Nhận tin Nhận tin đầu cuối hệ thống truyền tin Nhận tin thường gồm có nhận biết thông tin phát xử lý thông tin Nếu phận xử lý thông tin thiết bị tự động ta có hệ thống truyền tin tự động... lượng khác thông tin chưa giải mà phải cần có lý thuyết khác lý thuyết truyền tin Lý thuyết truyền tin giải vấn đề truyền tin tốc độ, khả chống nhiễu hệ thống 1.2 Hệ thống truyền tin Những hệ