Xác suất điều kiện này không phụ thuộc vào . Vậy T(X) = (T 1 (X),…, T s (X)) là thống kê đủ đối với . * Điều kiện cần Giả sử (T 1 (X),…, T s (X)) là thống kê đủ đối với . Theo Định nghĩa ta có không phụ thuộc vào . Đặt h(x 1 ,…, x n ) = Ta biết rằng Mà Vậy ta có Điều kiện cần được chứng minh. Chứng minh định lí trong trường hợp phân phối liên tục xem trong [2]. Ví dụ 2.6. Giả sử (X 1 , X 2 ,…, X n ) là mẫu ngẫu nhiên độc lập từ phân phối chuẩn N(a; 2 ). Chứng minh rằng ; là thống kê đủ đối với (a; 2 ). Giải. Ta có hàm mật độ đồng thời của X 1 ,…, X n là = g trong đó h(x) = và g = Theo Định lí 2.5, cặp ( ) là thống kê đủ đối với (a; 2 ) Định nghĩa 2.7. Thống kê (X 1 ,…, X n ) xác định trên không gian mẫu R n và nhận giá trị trong không gian T được gọi là ước lượng của hàm tham số ( ) (Theo định nghĩa của thống kê thì (X) chỉ phụ thuộc X 1 ,…, X n mà không phụ thuộc ). Định nghĩa 2.8. Ước lượng (X 1 ,…, X n ) của hàm tham số ( ) được gọi là ước lượng không chệch nếu E (X 1 ,…, X n ) = ( ). Ví dụ 2.9. Giả sử (X 1 , X 2 ,…, X n ) là mẫu ngẫu nhiên độc lập từ phân phối chuẩn dạng tổng quát N(a; 2 ). * Trung bình mẫu là ước lượng không chệch của a vì = . * Phương sai mẫu điều chỉnh là ước lượng không chệch của 2 . Thật vậy = * Phương sai mẫu không là ước lượng không chệch của 2 vì Định nghĩa 2.10. Ước lượng (X 1 ,…, X n ) của hàm tham số ( ) được gọi là ước lượng không chệch tốt nhất nếu: i 1 . E (X 1 ,…, X n ) = ( ) i 2 . D (X 1 ,…, X n ) D * (X 1 ,…, X n ) trong đó *(X 1 ,…, X n ) là ước lượng không chệch bất kỳ của ( ), còn E , D là kí hiệu kỳ vọng toán và phương sai với điều kiện . Định nghĩa 2.11. Ước lượng (X 1 ,…, X n ) của tham số được gọi là ước lượng vững nếu (X 1 ,…, X n ) hội tụ về theo xác suất khi n , nghĩa là: với > 0 tuỳ ý cho trước. Ví dụ 2.12. Trong Ví dụ 2.9, là ước lượng vững của a. vì X 1 ,…, X n độc lập có phân phối như nhau với EX 1 = … = EX n = a và DX 1 = 2 ;…; DX n = 2 , nên theo Định lí Trêbưsep ta có hội tụ về a theo xác suất khi n . Chứng minh tương tự là ước lượng vững của . Định nghĩa 2.13. Phân phối f(x, ) được gọi là chính quy nếu nó thoả mãn các điều kiện sau: i 1 ) [x; f(x, ) > 0] không phụ thuộc vào . i 2 )Đối với mỗi x và mỗi , tồn tại đạo hàm riêng (x, ). i 3 ) = 0 Số J( ) = được gọi là lượng thông tin Fisher về chứa trong X. Định nghĩa 2.14. Ước lượng (X 1 , X 2 ,…, X n ) của hàm tham số ( ) được gọi là không chệch chính quy nếu với mọi nếu X có phân phối liên tục tuyệt đối hoặc nếu X có phân phối rời rạc Định nghĩa trên có thể phát biểu như sau Ước lượng (X 1 , X 2 ,…, X n ) của hàm tham số ( ) được gọi là không chệch chính quy nếu: Định lí 2.15. (Bất đẳng thức Cramer - Rao) Giả sử (X 1 , X 2 ,…, X n ) là mẫu ngẫu nhiên độc lập từ phân phối f(x, ) và ( ) là hàm tham số đã cho. Nếu (X 1 , X 2 ,…, X n ) là ước lượng không chệch chính quy của ( ), f(x, ) là phân phối chính quy thì Bất đẳng thức trở thành đẳng thức khi và chỉ khi với mọi thì: (X) - ( ) = b( ) với xác suất 1 Chứng minh . Do phân phối f(x, ) và ước lượng (X) là chính quy nên Vì và do X 1 ,X 2 ,…,X n độc lập, có cùng phân phối nên Mặt khác = Vì nên Từ đó ta suy ra hay . Định lí được chứng minh. Chú ý: Bất đẳng thức này có thể mở rộng cho trường hợp tham số là một vectơ = ( 1 ,…, r ). Định nghĩa 2.16. Ước lượng (X) của hàm tham số ( ) được gọi là ước lượng hiệu quả nếu D (X) = . Ví dụ 2.17. Giả sử (X 1 , X 2 ,…, X n ) là mẫu ngẫu nhiên từ phân phối Poisson với tham số > 0. Chứng minh rằng ước lượng là ước lượng hiệu quả của . Giải. Ta có ; và J( ) = Vậy hay là ước lượng hiệu quả của . . quát N(a; 2 ). * Trung bình mẫu là ước lượng không chệch của a vì = . * Phương sai mẫu điều chỉnh là ước lượng không chệch của 2 . Thật vậy = * Phương sai mẫu không là ước lượng không. với (a; 2 ). Giải. Ta có hàm mật độ đồng thời của X 1 ,…, X n là = g trong đó h(x) = và g = Theo Định lí 2. 5, cặp ( ) là thống kê đủ đối với (a; 2 ) Định nghĩa 2. 7. Thống kê (X 1 ,…,. định lí trong trường hợp phân phối liên tục xem trong [2] . Ví dụ 2. 6. Giả sử (X 1 , X 2 ,…, X n ) là mẫu ngẫu nhiên độc lập từ phân phối chuẩn N(a; 2 ). Chứng minh rằng ; là thống kê đủ đối