... | x)||q(y | x)).18]Entropy Cực Đại Và Ứng Dụng Ngày 7 tháng 6 năm 2013CHƯƠNG 1. ENTROPY, ENTROPY TƯƠNG ĐỐI VÀ THÔNG TIN TƯƠNG HỖBây giờ chúng ta đưa vào khái niệm thông tin tương hỗ, thông ... giá tri 0 và 1 và xét 2 phân phốip và q trong X với p(0) = 1 − r , p(1) = r và q(0) = 1 − s , q(1) = s.Khi đó:D(p||q) =x∈Xp(x)logp(x)q(x)= (1 − r)log1 − r1 − s+ rlogrs. Và ta có:D(q||p) ... là(12,14,18,18) và phân phối biên duyêncủa Y là (14,14,14,14) và entropy của X là H(X) = 7 4 và entropy của Y là H(Y) = 2bài toán đặt ra là tìm H(X | Y ) và H(X, Y ).Ta có:H(X,...