lý thuyết thông tin

Giáo trình lý thuyết thông tin

... Phan Tấn Tài & Ks. Dương Văn Hiếu. 3Giáo trình: Lý thuyết thông tin. Mô hình lý thuyết thông tin theo quan điểm Shannon Lý thuyết thông tin được xét ở đây theo quan điểm của Shannon. Đối ... Hiếu. 29Giáo trình: Lý thuyết thông tin. CHƯƠNG 1: GIỚI THIỆU 1: Mục tiêu Sau khi hoàn tất bài học này bạn có thể biết: - Đối tượng nghiên cứu, - Mô hình lý thuyết thông tin theo quan điểm ... trình: Lý thuyết thông tin. CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN Mục tiêu: trình bày các khái niệm về độ đo lượng tin chưa biết và đã biết về một biến ngẫu nhiên X. Tính toán các lượng tin này thông...

95
1,585
10

Lý thuyết thông tin

Danh mục: Kỹ thuật lập trình

... đi m c a thông tin sộ ố ượ ể ủ ố(1). H th ng thông tin s th ng ph c t p h n m t h th ng t ng t t ng   " $         đ ng.(2). Chi phí l p đ t l n h n so v i thông tin t ng ... a h th ng thông tin sƯ ượ ể ủ ệ ố ố1.4.1. Nh ng u đi m c a thông tin sữ ư ể ủ ố (1). Tăng đ c kh năng truy n d n d li u    ' (2). Tăng kh năng tích h p, đ ph c t p và s tin c y c ... b ng 0.  M ch l c Nyquist đ c ng d ng trong nhi u lĩnh v c thông tin s , m t thí d   $       đ c nêu ra là thông tin vô tuy n s , kênh truy n d n t nó không ch u nh h ng  ...

Slide bài giảng môn môn học lý thuyết thông tin

Danh mục: Kỹ thuật lập trình

... (tt)()()xx1x1y11∑∑=====NnNnnNNEN()()()⎟⎟⎠⎞⎜⎜⎝⎛⎥⎦⎤⎢⎣⎡−=−=∑=2122yxx1yyNnnNNNEEδ()⎟⎟⎠⎞⎜⎜⎝⎛⎟⎟⎠⎞⎜⎜⎝⎛⎥⎦⎤⎢⎣⎡−=∑=21xx1NNENnn()()⎟⎟⎠⎞⎜⎜⎝⎛⎥⎦⎤⎢⎣⎡−=∑=212xx1NnnEN()()()NNNENNnn2x2x21221xx1δδ==−=∑=Trang 17 Thông tin  Thông tin là một khái niệm trừu tượng, phi vật chất và rất khó được định nghĩa chính xác. Hai định nghĩa về thông tin.  Thông tin là sự cảm hiểu của con ... thông qua sự tiếp xúc với nó. Thông tin là một hệ thống những tin báo và mệnh lệnh giúp loại trừ sự không chắc chắn (uncertainty) trong trạng thái của nơi nhận tin. Nói ngắn gọn, thông tin ... 1948)Trang 12Những ứng dụng của LT thông tin Cuộc cách mạng thông tin đang xảy ra, sự phát triển mạnh mẽcủa các phương tiện mới về truyền thông, lưu trữ thông tin làm thay đổi ngày càng sâu...

316
3,165
43

Bài tập nhóm môn lý thuyết thông tin

Danh mục: Kỹ thuật lập trình

... suất điều kiện p(yi | xi). Tính các lượng tin tương hỗ I(xi,yj), các lượng tin có điều kiện I(xi,yj), lượng tin tương hỗ trung bình I(X,Y), lượng tin có điều kiện trung bình I(X|Y).9. ... 7. Cho nguồn tin X. Hiện thực giải thuật mã hoá nguồn phổ quát với m=2.8. Xây dựng chương trình cho phép nhập vào hai nguồn tin X, Y, các xác suất p(xi) của X và ... ma trận sinh. Viết chương trình mã hoá thông báo thành từ mã. Viết chương trình phát hiện sai và sửa sai 1 bit cho một mã tuyến tính có d > 2 và rút ra thông báo tương ứng với từ mã nhận được.12....

2
3,724
27

Lý thuyết thông tin

Danh mục: Kỹ thuật lập trình

... Technical Journal - nơi đưa ra lý thuyết thông tin. Shannon đã giải thích hai khía cạnh này thông qua định lý mã hóa nguồn và định lý mã hóa kênh truyền của ông.(Định lý mã hóa nguồn của Shannon ... sổ, mục đích của những người thiết kế là chuyển đổi thông tin thành tín hiệu sổ, chuyển đi thông qua một môi trường truyền tin, nhận thông tin tại trạm cuối và tái hiện lại tín hiệu sổ một cách ... nhiễu.Entropy của một nguồn tin và khả năng kênh truyền là hai khái niệm quan trọng, dựa trên đó mà Shannon đã đưa ra định lý. 2.4 Định lý ShannonTrong một hệ thống truyền thông sổ, mục đích của...

3
1,072
10

Giáo trình: Lý thuyết thông tin 1

Danh mục: Cao đẳng - Đại học

... Giáo trình: Lý thuyết thông tin. Mô hình lý thuyết thông tin theo quan điểm Shannon Lý thuyết thông tin được xét ở đây theo quan điểm của Shannon. Đối ... với quy trình cơ bản: mã hóa, giải mã và bảo mật thông tin.  Lý thuyết thông tin cũng là một trong các môn học khó của ngành Công nghệ thông tin vì nó đòi hỏi người học phải có kiến thức cơ ... cứu, mô hình lý thuyết thông tin theo quan điểm của nhà toán học Shannon, khái niệm về lượng tin biết và chưa biết, định lý cơ bản của kỹ thuật truyền tin. Chương 2: Độ đo lượng tin. Chương...

10
1,001
9

Giáo trình: Lý thuyết thông tin 2

Danh mục: Kĩ thuật Viễn thông

... trình: Lý thuyết thông tin. CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN Mục tiêu: trình bày các khái niệm về độ đo lượng tin chưa biết và đã biết về một biến ngẫu nhiên X. Tính toán các lượng tin này thông ... thông tin. Một vấn đề quan trọng cần lưu ý là phải đồng bộ giữa tốc độ nạp thông tin (phát tín hiệu) với tốc độ truyền tin. Nếu tốc độ nạp thông tin bằng hoặc lớn hơn so với tốc độ truyền tin ... phải giảm tốc độ nạp thông tin sao cho nhỏ hơn tốc độ truyền tin. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 14Giáo trình: Lý thuyết thông tin. Minh họa kỹ...

Giáo trình: Lý thuyết thông tin 3

Danh mục: Cao đẳng - Đại học

... biết hoàn toàn về Y và một phần thông tin về X. Phần thông tin đó chính là lượng tin đã biết về X nhưng vẫn chưa biết hết về X. Bài toán ở đây là tính lượng tin đã biết về X khi Y xảy ra. ... định lý 1,2 và 3 cùng với các kết quả đã tính được để so sánh và minh họa. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 27Giáo trình: Lý thuyết thông tin. ... sinh viên. a. Tìm thông tin về trạng thái học tập của sinh viên khi biết điều kiện về phương tiện đi lại của họ. b. Tìm thông tin về tình trạng học tập của sinh viên khi biết tinh thần ái hữu...

Giáo trình: Lý thuyết thông tin 4

Danh mục: Cao đẳng - Đại học

... Ks. Dương Văn Hiếu. 33Giáo trình: Lý thuyết thông tin. BÀI 3.3: TÍNH TỐI ƯU CỦA ĐỘ DÀI MÃ Mục tiêu Sau khi hoàn tất bài học này bạn có thể: - Hiểu định lý Shannon (1948), - Biết được các ... Dương Văn Hiếu. 38Giáo trình: Lý thuyết thông tin. BÀI 3.2: QUAN HỆ GIỮA MÃ TÁCH ĐƯỢC VÀ ĐỘ DÀI MÃ Mục tiêu Sau khi hoàn tất bài học này bạn có thể hiểu: - Định lý Kraft (1949), - Định nghĩa ... Giáo trình: Lý thuyết thông tin. Tập hợp S4={00, 110} Tập hợp S5={01, 0, 011, 110} Tập hợp S6={0, 10, 001,...

Giáo trình: Lý thuyết thông tin 5

Danh mục: Cao đẳng - Đại học

... vật lý như sau: Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 45Giáo trình: Lý thuyết thông tin. Định nghĩa dung lượng kênh truyền Dựa vào ma trận truyền tin ... Lượng thông tin truyền trên kênh: I (X/Y)= I (Y/X)= H(Y) - H(Y/X) = 0,09 (bit) Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 47Giáo trình: Lý thuyết thông tin. ... Giáo trình: Lý thuyết thông tin. BAI 4.2: CÁC DẠNG KÊNH TRUYỀN Mục tiêu Sau khi hoàn tất bài học này bạn có thể:  Biết kênh truyền không mất tin,  Biết kênh truyền xác...

Giáo trình: Lý thuyết thông tin 6

Danh mục: Cao đẳng - Đại học

... Phan Tấn Tài & Ks. Dương Văn Hiếu. 52Giáo trình: Lý thuyết thông tin. Các khái niệm cơ bản của kỹ thuật truyền tin Xét sơ đồ truyền tin như sau: R Kênh Bộ tạo mã Bộ giải mã ký tự ... Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 60Giáo trình: Lý thuyết thông tin. 1 – H(β,1-β) Định lý về dung lượng kênh truyền Giả sử ma trạn A có dạng vuông và có ma trận ... Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 57Giáo trình: Lý thuyết thông tin. Bài tập 1 1. Cho ma trận truyền tin sau: ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡3/12/16/12/16/13/16/13/12/1321xxx...

Giáo trình: Lý thuyết thông tin 7

Danh mục: Cao đẳng - Đại học

... số bit thông tin ⇒ s=2k (vì với k bit thông tin thì ta chỉ có thể biểu diên tối đa 2k trạng thái thông tin k bit). + Đoạn kiểm tra: gồm m bit dùng để kiểm tra mã sai. + Đoạn thông tin: gồm ... trận A) Số bit thông tin k = n – m = 3 => Số từ mã s=2k=8 từ mã. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 66Giáo trình: Lý thuyết thông tin. BÀI 5.4: ... trình: Lý thuyết thông tin. - Biết tính chất cơ bản của phương pháp kiểm tra chẵn lẻ, - Hiểu và vận dụng tốt phương pháp sinh mã kiểm tra chẵn lẻ, - Hiểu và vận dụng tốt Định lý quan...

Giáo trình: Lý thuyết thông tin 8

Danh mục: Cao đẳng - Đại học

... trình: Lý thuyết thông tin. BÀI 5.7: THANH GHI LÙI TỪNG BƯỚC Mục tiêu Sau khi hoàn tất bài học này bạn có thể biết: - Đặt vấn đề về thanh ghi lùi từng bước, - Cách biểu diễn vật lý của ... soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 79Giáo trình: Lý thuyết thông tin. Ví dụ minh họa lược đồ sửa lỗi 3 bit Lược đồ sửa lỗi: Bước 1: Lập bảng sửa lỗi: ... soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 76Giáo trình: Lý thuyết thông tin. Lược đồ sửa lỗi theo các hiệp hợp Bước 1: Lập bảng các hiệp hợp ứng với các bộ lỗi...

Giáo trình: Lý thuyết thông tin 9

Danh mục: Cao đẳng - Đại học

... Giáo trình: Lý thuyết thông tin. Nhận xét: kết quả theo 3 cách sinh bộ mã xoay vòng nói trên la như nhau (cho cùng ... soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 89Giáo trình: Lý thuyết thông tin. Thủ tục sinh thanh ghi lùi từng bước Để sinh thanh ghi lùi từng bước với số bit là ... soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 87Giáo trình: Lý thuyết thông tin. BÀI 5.9: ĐA THỨC ĐẶC TRƯNG CỦA THANH GHI Mục tiêu Sau khi hoàn tất bài học này bạn...

Giáo trình: Lý thuyết thông tin 10

Danh mục: Cao đẳng - Đại học

... Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 93Giáo trình: Lý thuyết thông tin. TÀI LIỆU THAM KHẢO 12. G.J.ChaiTin, Algorithmic Information Theory, CamBridge University Express-1992. ... chẩn đoán đúng.(Lượng thông tin biết về Bệnh thông qua Triệu chứng) và tỷ lệ chẩn đoán đúng là bao nhiêu phần trăm. Câu 3: Bây giờ người ta sử dụng 2 bit để mã thông tin về Triệu chứng (có ... Xét một kênh truyền tin đặc biệt dạng : Truyền X Æ Nhận Y. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 91Giáo trình: Lý thuyết thông tin. Truyền một giá...