Ch ng 5: Tính hội tụ phân bố tiệm cận tham số Chương TÍNH HỘI TỤ VÀ PHÂN BỐ TIỆM CẬN CỦA THAM SỐ ƯỚC LƯNG Chương 5: TÍNH HỘI TỤ VÀ PHÂN BỐ TIỆM CẬN CỦA THAM SỐ ƯỚC LƯNG 5.1 Giới thiệu 5.2 Tính hội tụ tham số ước lượng 5.3 Phân bố tiệm cận tham số ước lượng Tham khảo: [1] L Ljung (1999), System Identification – Theory for the user chương 8, 5.1 GIỚI THIỆU Chương đề cập đến loại cấu trúc mô hình, phương pháp ước lượng tham số thuật toán ước ước lượng tham số Về nguyên tắc, ước lượng tham số ˆ N mô hình yˆ (t , ) từ tập liệu Z N Vấn đề đặt là: ˆ → ? N → ∞ N )? Chương trình bày sở lý thuyết để trả lời câu hỏi Phân bố xác suất biến ngẫu nhiên ( ˆ N − * 5.2 TÍNH HỘI TỤ CỦA THAM SỐ ƯỚC LƯNG 5.2.1 Chỉ xét tính hội tụ tham số mô hình tuyến tính bất biến y (t ) = G (q, )u (t ) + H (q, )e(t ) (5.1) Điều kiện tập liệu Cho tập liệu: Z N = {y (1), u (1),K, y ( N ), u ( N )} (5.2) ∞ N → ∞ ta có tập Z  Hu nh Thái Hồng – B mơn i u n T đ ng Ch ng 5: Tính hội tụ phân bố tiệm cận tham số Dữ liệu Z N tạo từ thí nghiệm thu thập liệu vòng hở vòng kín Sơ đồ khối thí nghiệm thu thập liệu hình 5.1 Chú ý thí nghiệm vòng hở hàm truyền khối chỉnh định r(t) y0=const u (t ) Chỉnh định e0(t) Hệ thống cần nhận dạng y(t) Hình 5.1: Sơ đồ khối thí nghiệm thu thập liệu Điều kiện D1: Tập liệu Z ∞ tập liệu cho tồn lọc d t(i ) (k ) , i = 1,4 , { } y (t ) vaø u (t ) biểu diễn dạng: y (t ) = u (t ) = ∞ ∞ k =1 ∞ k =1 ∞ k =1 k =1 ∑ dt(1) (k )r (t − k ) + ∑ dt( 2) (k )e0 (t − k ) (5.3) ∑ dt(3 ) (k )r (t − k ) + ∑ dt( 4) (k )e0 (t − k ) (5.4) đó: {r (t )} chuỗi tín hiệu vào bên ngoài, tiền định, bị chặn {e0 (t )} chuỗi biến ngẫu nhiên độc lập có trung bình moment đến bậc + δ , δ > bị chặn { } Các lọc d t(i ) (k ) ∞ k =1 ổn định ñeàu ( i = 1,4 , t = 1,2, ) Các tín hiệu {y (t )} , {u (t )} liên kết gần dừng • Nhắc lại khái niệm: Moment bậc k biến ngẫu nhiên X có hàm mật độ phân bố xác suất f X ( x) kỳ vọng đại lượng ngẫu nhiên ( X − a) k Nếu a = EX ta gọi moment trung tâm, ký hiệu µ k ; a = ta gọi moment gốc, ký hiệu vk +∞ µ k = ∫ ( x − a) k f X ( x)dx −∞  Hu nh Thái Hoàng – B môn i u n T đ ng (5.5) Ch ng 5: Tính hội tụ phân bố tiệm cận tham số ∞ Xét họ lọc Gα (q ) = ∑ gα (k )q − k , α ∈ A Họ lọc Gα (q) k =1 gọi ổn định neáu gα (k ) ≤ g (k ) , ∀α ∈ A vaø ∞ ∑ g (k ) ≤ ∞ k =1 Hai tín hiệu {y (t )} {u (t )} gọi liên kết gần dừng {y (t )} , {u (t )} tín hiệu gần dừng, đồng thời tồn tại: R yu (τ ) = E y (t )u (t − τ ) , ∀τ (5.6) Giả thiết S1: Tập liệu Z ∞ tạo hệ thống thật: S: y (t ) = G0 (q)u (t ) + H (q )e0 (t ) (5.7) {e0 (t )} chuỗi biến ngẫu nhiên độc lập có trung bình 0, phương sai λ0 moment bị chặn đến bậc + δ , δ > ; H (q) lọc ổn định, khả đảo monic Cho cấu trúc mô hình tuyến tính bất biến: M : {G (q, ), H (q, ) ∈ DM } (5.8) Ta cần xác định xem hệ thống thật (5.7) có nằm tập hợp định nghóa biểu thức (5.8) hay không? Ký hiệu: DT (S , M ) = θ ∈ DM | G (e jω ,θ ) = G0 (e jω ); { H (e jω ,θ ) = H (e jω );−π ≤ ω ≤ π Neáu DT (S , M ) ≠ ∅ S ∈ M } Bổ đề: Nếu giả thiết S1 thỏa mãn, tín hiệu vào chọn sau: u (t ) = − F (q) y (t ) + r (t ) cho có trễ G0 F , loïc: [1 + G0 (q ) F (q)]−1 G0 (q) , [1 + G0 (q) F (q )]−1 H (q ) F (q )[1 + G0 (q ) F (q )]−1 G0 (q ) , F (q )[1 + G0 (q) F (q)]−1 H (q) ổn định, {w(t )} gần dừng điều kiện D1 thỏa mãn  Hu nh Thái Hồng – B mơn i u n T đ ng (5.9) (5.10) Ch ng 5: Tính hội tụ phân bố tiệm cận tham số Thông tin tập liệu: • Tập liệu gần dừng Z ∞ gọi đủ giàu thông tin tập hợp mô hình M * cho hai mô hình W1 (q) W2 (q) thuộc M * : E[(W1 (q) − W2 (q)) z (t )]2 = (5.11) W1 (e jω ) ≡ W1 (e jω ) hầu hết tần số ω • Tập liệu gần dừng Z ∞ gọi giàu thông tin tập liệu đủ giàu thông tin tập hợp mô hình L* chứa tất mô hình tuyến tính bất biến Định lý 5.1: (Định lý 8.1, [Ljung,1999]) Tính giàu thông tin tập liệu thực nghiệm Tập liệu gần dừng Z ∞ giàu thông tin ma trận phổ Φ z (ω ) tín hiệu z (t ) = [u (t ) Trong đó: y (t )]T xác định dương hầu hết tất tần số ω  Φ u (ω ) Φ uy (ω ) Φ z (ω ) =   Φ yu (ω ) Φ y (ω )  Φ u (ω ) = Φ y (ω ) = (5.12) +∞ ∑ Ru (τ )e − jωτ (5.13) τ = −∞ +∞ ∑ R y (τ )e − jωτ (5.14) τ = −∞ Φ uy (ω ) = +∞ ∑ Ruy (τ )e − jωτ (5.15) τ = −∞ N ∑ Eu (t )u (t − τ ) N → ∞ N t =1 N R y (τ ) = E y (t ) y (t − τ ) = lim ∑ Ey (t ) y (t − τ ) N → ∞ N t =1 N Ruy (τ ) = E u (t ) y (t − τ ) = lim ∑ Eu (t ) y (t − τ ) N → ∞ N t =1 Ru (τ ) = E u (t )u (t − τ ) = lim  Hu nh Thái Hồng – B mơn i u n T đ ng (5.16) (5.17) (5.18) Ch 5.2.2 ng 5: Tính hội tụ phân bố tiệm cận tham số Tính hội tụ tham số ước lượng theo phương pháp sai số dự báo Tham số ước lượng theo phương pháp sai số dự báo là: θˆN = arg VN (θ , Z N ) (5.19) θ ∈DM đó: VN (θ , Z N ) = N N ∑ ε (t ,θ ) (5.20) t =1 N V (θ ) = E [ε (t ,θ )] = lim ∑ E[ε (t ,θ )] Đặt: (5.21) N → ∞ N t =1 Bổ đề: Xét cấu trúc mô hình tuyến tính bất biến ổn định M Nếu tập liệu thực nghiệm Z ∞ thỏa mãn giả thiết D1 sup | VN (θ , Z N ) − V (θ ) |→ θ ∈DM với xác suất N → ∞ Định lý 5.2: (Định lý 8.2, [Ljung,1999]) Tính hội tụ tham số ước lượng trường hợp cấu trúc mô hình tuyến tính bất biến tiêu chuẩn ước lượng dạng toàn phương Cho θˆN xác định (5.19) (5.20), ε (t ,θ ) định nghóa từ cấu trúc mô hình tuyến tính bất biến ổn định M Nếu tập liệu thực nghiệm thỏa mãn giả thiết D1 thì: (5.22) θˆN → DC với xác suất N → ∞ đó: DC = arg V (θ ) = θ ∈ DM | V (θ ) = V (θ ′) (5.23) θ ∈DM θ ′∈DM   Nếu tập hợp DC có phần tử θ ∗ , θ ∗ = arg V (θ ) (5.22) θ ∈DM viết lại là: θˆN → θ ∗ với xác suất N → ∞ (5.24) Chú ý: Các kết mở rộng cho trường hợp tiêu chuẩn ước lượng tổng quát: N VN (θ , Z N ) = ∑ l (ε (t , θ ),θ ) (5.25) N t =1 cấu trúc mô hình phi tuyến, biến đổi theo thời gian: yˆ (t ,θ ) = g ( Z t , t ,θ ) Kết tổng quát: θˆN → arg E [l (ε (t ,θ ),θ )] với xác suất baèng N → ∞ θ ∈DM  Hu nh Thái Hồng – B mơn i u n T đ ng ng 5: Tính hội tụ phân bố tiệm cận tham số Ch 5.2.3 Tính vững tính nhận dạng tham số ước lượng theo phương pháp sai số dự báo Ở mục trước ta rút kết luận điều kiện D1 thỏa mãn θˆN → θ ∗ với xác suất N → ∞ Vấn đề đặt θ ∗ = θ ? (với θ tham số “thật” hệ thống) Nếu θ ∗ = θ ước lượng θˆN gọi ước lượng vững Định lý 5.3: (Định lý 8.3, [Ljung,1999]) Tính vững ước lượng trường hợp S ∈ M tiêu chuẩn ước lượng dạng toàn phương Giả thiết: • tập liệu Z ∞ thỏa mãn giả thiết D1 S1, • M cấu trúc mô hình tuyến tính ổn định cho S ∈ M, • Z ∞ đủ giàu thông tin M • Nếu tín hiệu vào có chứa thành phần hồi tiếp từ ngõ giả thiết có khâu trể chỉnh định G0 (q) G (q,θ ) Kết luận: DC = DT (S , M ) (5.26) đó: DC = arg V (θ ) = θ ∈ DM | V (θ ) = V (θ ′) , V (θ ) = E [ε (t ,θ )] θ ∈DM θ ′∈DM   DT (S , M ) = θ ∈ DM | G (e jω ,θ ) = G0 (e jω ); { H (e jω ,θ ) = H (e jω );−π ≤ ω ≤ π } Ngoài cấu trúc mô hình nhận dạng toàn cục θ ∈ DT (S , M ) thì: DC = {θ } Kết hợp định lý 5.2 định lý 5.3, ta rút kết luận hàm truyền nhận dạng thỏa mãn:  G (e jω ,θˆN ) → G0 (e jω ) với xác suất N → ∞  jω ˆ jω  H (e ,θ N ) → H (e )  Hu nh Thái Hồng – B mơn i u n T đ ng Ch ng 5: Tính hội tụ phân bố tiệm cận tham số Định lý 5.4: (Định lý 8.4, [Ljung,1999]) Tính vững ước lượng trường hợp tập hợp mô hình mô tả xác hàm truyền G, mô tả xác lọc H tiêu chuẩn ước lượng dạng toàn phương Giả thiết: • tập liệu Z ∞ thỏa mãn giả thiết D1 S1, • M cấu trúc mô hình tuyến tính ổn định cho ♦ G H tham số hóa độc lập: ρ  θ =   G ( q, θ ) = G ( q , ρ ) H ( q,θ ) = H ( q ,η ) η   ♦ tập hợp DG ( S , M ) = ρ | G (e jω , ρ ) = G0 (e jω ), ∀ω ≠ ∅ { } • Z ∞ đủ giàu thông tin M • hệ thống hoạt động vòng hở, tức {u (t )} {e0 (t )} độc lập  ρˆ  • θˆ =   vector tham số lượng phương pháp sai số dự ηˆ  báo (công thức (5.19) (5.20)) Kết luận: ρˆ N → DG (S , M ) với xác suất N → ∞ (5.27) hay viết cách khaùc: G (e jω , ρˆ N ) = G0 (e jω ) với xác suất N → ∞ Định lý 5.5: (Định lý 8.5, [Ljung,1999]) Tính vững ước lượng trường hợp S ∈ M tiêu chuẩn ước lượng tổng quát l (ε ) Giả thiết: • l ( x) hàm khả vi hai laàn cho: El′(e0 (t )) = l ′′( x) ≥ δ > 0, ∀x • Các giả thiết định lý 5.3 thỏa mãn Kết luận: DC = DT (S , M ) (5.28) đó: DC = arg V (θ ) = θ ∈ DM | V (θ ) = V (θ ′) , V (θ ) = E [ l (ε (t ,θ ))] θ ∈DM θ ′∈DM   jω jω DT (S , M ) = θ ∈ DM | G (e ,θ ) = G0 (e ); { H (e jω ,θ ) = H (e jω );−π ≤ ω ≤ π }  Hu nh Thái Hoàng – B môn i u n T đ ng Ch ng 5: Tính hội tụ phân bố tiệm cận tham số 5.2.4 Biểu diễn mô hình giới hạn hệ tuyến tính bất biến miền tần số Nhắc lại: Hàm hiệp phương sai tín hiệu s (t ) laø: Rs (τ ) = E s (t ) s (t − τ ) (5.29) Phổ tín hiệu s (t ) biến đổi Fourier hàm hiệp phương sai: Φ s (ω ) = +∞ ∑ Rs (τ )e − jτω (5.30) τ = −∞ Có thể tính hàm hiệp phương sai Rs (τ ) biết phổ Φ s (ω ) cách lấy biến đổi Fourier ngược: π Rs (τ ) = Φ s (ω )e jτω dω (5.31) ∫ 2π =π Biểu diễn V (θ ) miền tần số: Theo công thức ta có: V (θ ) = E [ε (t ,θ )] = Rε (0,θ ) = 2π π ∫ Φ ε (ω ,θ )dω (5.32) −π Theo giả thiết S1: y (t ) = G0 (q)u (t ) + H (q)e0 (t ) e0 (t ) nhiễu ngẫu nhiên có phương sai λ0 (5.33) Ta biểu diễn sai số dự báo sau: ε (t ,θ ) = H −1 (q,θ )[ y (t ) − G (q,θ )u (t )] = H −1 (q,θ ){[G0 (q) − G (q,θ )u (t )] + H (q)e0 (t )} = H −1 (q,θ ){[G0 (q) − G (q,θ )u (t )] + [ H (q ) − H (q,θ )]e0 (t )} + e0 (t )   u (t )   = H −1 (q,θ )[G0 (q) − G (q,θ )] [ H (q ) − H (q,θ )]   + e0 (t ) (5.34) ( ) e t    Giả thiết: • hệ thống hoạt động vòng kín, có trì hoãn hệ thống mô hình (nghóa G0 (q) G (q,θ ) có trể) chỉnh định (sao cho u (t ) phụ thuộc vào y (t − k ) , k ≥ ) • hàm truyền H (q) H (q,θ ) momic nên thành phần [ H (q ) − H (q,θ )]e0 (t ) độc lập với e0 (t ) ⇒ e0 (t ) không tương quan với thành phần biểu thức (5.34)  Hu nh Thái Hồng – B mơn i u n T đ ng Ch ng 5: Tính hội tụ phân bố tiệm cận tham số Do phổ sai số dự báo biểu diễn sau: Φ ε (ω ,θ ) = G0 (e jω ) − G (e jω ,θ )] [ H (e jω ) − H (e jω ,θ ) H (e jω ,θ ) [ ]  Φ u (ω ) Φ ue (ω )  G0 (e jω ) − G (e jω ,θ )  ×  + λ (5.35)  λ0   H (e jω ) − H (e jω ,θ ) Φ eu (ω ) (dấu gạch ngang ký hiệu liên hợp phức) Chú ý phổ liệu phân tích sau:  I 0 Φ u (ω )  Φ u (ω ) Φ ue (ω )  I =   ω ( ) Φ ω ( ) Φ   eu Φ (ω ) λ0 − Φeuu (ω )  0 λ0   Φ u (ω ) I    eu B(e jω ,θ ) = Đặt: Φ ue (ω )  Φ u (ω ) I [ H (e jω ) − H (e jω ,θ )]Φ ue (ω ) Φ u (ω )  (5.36)  (5.37) Thay (5.36) vào (5.35), để ý (5.37) ta viết lại phổ sai số dự báo sau: Φ ε (ω ,θ ) = G0 (e jω ) + B(e jω ,θ ) − G (e jω ,θ ) Φ u (ω ) H ( e jω , θ ) + 2 H (e jω ) − H (e jω , θ )  λ −  H (e jω ,θ ) Φ ue (ω ) Φ u (ω ) Thay (5.38) vào (5.32), ta được: π  H − Hθ  λ0 −  G0 + Bθ − Gθ Φ u  V (θ ) = +  2 2π  Hθ Hθ −π  (trong (5.39) ta giản lược đối số hàm) Tham số ước lượng trường hợp N → ∞ laø: DC = arg V (θ ) ∫ Φ ue Φu Φ ue Φu 2    + λ0     + λ  dω 0   (5.38) (5.39) θ π  2   G0 + Bθ − Gθ Φ u H − Hθ  λ0 − DC = arg   + 2 θ H Hθ −π  θ   ∫      + λ  dω  (5.40)  0      Hu nh Thái Hoàng – B môn i u n T đ ng Ch ng 5: Tính hội tụ phân bố tiệm cận tham số 10 Nhận xét: Nếu tồn vector tham soá θ cho G (e jω ,θ ) = G0 (e jω ) vaø H (e jω ,θ ) = H (e jω ) (5.39) đạt cực tiểu hai thành phần biểu thức dấu tích phân bị triệt tiêu Kết biết đến định lý 5.3 Trong trường hợp cấu trúc mô hình chọn không thích hợp nhận dạng xác hệ thống thật Để biểu thức (5.39) đạt cực tiểu thì: Φu G (e jω ,θ ) bị “kéo” G0 (e jω ) + B(e jω ,θ ) với trọng số Hθ  λ − Φ ue   Φu   H (e jω ,θ ) bị “kéo” H (e jω ) với trọng số  Hθ Để cụ thể hơn, ta xét số trường hợp: Trường hợp nhận dạng vòng hở: Nếu hệ thống hoạt động vòng hở, u (t ) e(t ) độc lập, Φ ue (ω ) = , B(e jω ,θ ) = Nếu mô hình nhiễu chọn cố định H (q, θ ) = H * (q) , từ (5.40) ta suy ra: π  DC = arg  ∫ G0 (e jω ) − G (e jω ,θ ) Q* (ω )dω  (5.41) θ −π  Φ u (ω ) (5.42) đó: Q* (ω ) = jω H * (e ) Đặt θ * ∈ DC , trường hợp mô hình giới hạn G (e jω ,θ * ) xấp xỉ mô hình thật G0 (e jω ) theo chuẩn bình phương với trọng số Q* (ω ) Trường hợp nhận dạng vòng kín: Nếu chỉnh định tuyến tính, tức u (t ) hàm tuyến tính tính hiệu chuẩn r (t ) nhiễu e0 (t ) giả thiết D1, ta phân tích phổ tín hiệu vào Φ u (ω ) nhö sau: Φ u (ω ) = Φ ur (ω ) + Φ ue (ω ) (5.43) Nếu lọc tuyến tính xác định tín hiệu vào u (t ) bất biến: u (t ) = K1 (q)r (t ) + K (q)e0 (t ) ta thaáy raèng Φ ue (ω ) = λ0 K (e jω ) , vậy: Φ ue (ω ) = λ0 Φ ue (ω )  Hu nh Thái Hồng – B mơn i u n T đ ng (5.44) Ch ng 5: Tính hội tụ phân bố tiệm cận tham số 11 Do B(e jω ,θ ) biểu diễn rõ sau: λ0 Φ ue (ω ) B (e , θ ) = H ( e jω ) − H ( e jω , θ ) Φ u (ω ) Φ u (ω ) jω Vì tham số xác định bởi: π   π  G + B − G Φ  H − Hθ θ θ u * θ = arg  ∫  ω λ d +   ∫ 2 θ Hθ  −π  −π   Hθ 5.2.5 (5.45) Φ ur    dω  Φ u    Tính hội tụ tính vững tham số ước lượng theo phương pháp tương quan Học viên tự đọc tài liệu [Ljung,1999], trang 269-273 5.3 PHÂN BỐ TIỆM CẬN CỦA THAM SỐ ƯỚC LƯNG - Ở mục 5.2 ta biết liệu thực nghiệm thỏa mãn điều kiện D1 thì: θˆN → θ ∗ = arg E [l (ε (t ,θ ),θ )] với xác suất N → ∞ θ ∈DM - Câu hỏi đặt tốc độ hội tụ θˆN đến θ ∗ ? ⇒ Cần xác định phân bố xác xuất biến ngẫu nhiên θˆN − θ ∗ hay cụ thể xác định ma trận hiệp phương sai biến ngẫu nhiên θˆ − θ ∗ N Do ta xác định ma trận hiệp phương sai biến ngẫu nhiên ˆ θ N − θ ∗ trường hợp N lớn nên phương sai gọi phương sai tiệm cận tham số ước lượng Nhắc lại lý thuyết xác suất thống kê Phân bố chuẩn: Đại lượng ngẫu nhiên X gọi có phân bố chuẩn với hai tham số µ λ hàm mật độ phân bố xác suất là: f X ( x) = Ký hiệu:  ( x − µ )2  exp −  2λ  2π  X ∈ N (µ , λ )  Hu nh Thái Hoàng – B môn i u n T đ ng (5.46) (5.47) Ch ng 5: Tính hội tụ phân bố tiệm cận tham số 12 Định lý giới hạn trung taâm Lyapunov: N X N = ∑ α (t , N ) w(t ) Cho t =1 {w(t )} chuổi biến ngẫu nhiên độc lập thỏa: E[ w(t )] = E[ w2 (t )] = λt E[| w3 (t ) |] = γ t N Neáu: lim ∑ α (t , N )λt = λ N → ∞ k =1 N lim ∑ α (t , N )γ t = N → ∞ k =1 Thì X N đại lượng ngẫu nhiên có phân bố xấp xỉ chuẩn với giá trị trung bình phương sai λ Ký hieäu: X N ∈ As N (0, λ ) (5.48) Phát biểu khác định lý giới hạn trung tâm: Nếu {X k } chuỗi biến ngẫu nhiên độc lập có phân bố xác suất với giá trị trung bình µ phương sai λ trung bình cộng N YN = ∑ X k có phân bố xấp xỉ chuẩn với giá trị trung bình µ N k =1 phương sai λ N 5.3.1 Phương sai tiệm cận tham số ước lượng theo phương pháp sai số dự báo Phân tích trực giác θˆN = arg VN (θ , Z N ) (5.49) Vì θ ∈DM nên N ∑ ε (t ,θ ) N t =1 VN′ (θ , Z N ) = VN (θ , Z N ) = (5.50) (5.51) Giả sử tập hợp DC biểu thức (5.23) có phần tử θ ∗ : θ ∗ = arg V (θ ) θ ∈DM  Hu nh Thái Hồng – B mơn i u n T đ ng (5.52) Ch ng 5: Tính hội tụ phân bố tiệm cận tham số Khai triển Taylor VN′ (θ , Z N ) xung quanh θ ∗ ta được: = V ′ (θ * , Z ) + V ′′ (ξ , Z )(θˆ − θ * ) N N N N ∗ N 13 (5.53) N ξ N giá trị “nằm giữa” θˆN θ Khi N → ∞ : VN′′ (ξ N , Z N ) → V ′′(θ * ) (5.54) Thay (5.54) vào (5.53) ta được: θˆN − θ * = −[V ′′(θ * )]−1VN′ (θ * , Z N ) (5.55) Dễ thấy: N ψ (t ,θ * )ε (t ,θ * ) ∑ N t =1 ∂yˆ (t ,θ ) ψ (t ,θ * ) = * ∂θ θ =θ − VN′ (θ * , Z N ) = đó: (5.56) (5.57) Theo định nghóa (θ * ), ta có: N →∞ N V ′(θ * ) = − E[ψ (t ,θ * )ε (t ,θ * )] = − lim Đặt: 1 DN = E  N N ∑ E[ψ (t ,θ * )ε (t ,θ * )] = (5.58) t =1 N  t =1  ∑ [ψ (t ,θ * )ε (t ,θ * ) − E [ψ (t ,θ * )ε (t ,θ * )] (5.59) Neáu DN suy giảm nhanh biểu thức (5.56) tổng biến ngẫu nhiên độc lập ψ (t ,θ * )ε (t ,θ * ) coù trung bình Do theo định lý giới hạn trung tâm ta rút ta được: N (5.60) ∑ψ (t ,θ * )ε (t ,θ * ) ∈ AsN (0, Q) N t =1 đó: Q = lim N E [VN′ (θ * , Z N )][VN′ (θ * , Z N )]T (5.61) N →∞ { } Nếu (5.60) thỏa mãn từ (5.55) ta suy ra: N (θˆN − θ * ) ∈ AsN (0, Pθ ) (5.62) Pθ = [V ′′(θ * )]−1 Q[V ′′(θ * )]−1 (5.63) Chứng minh chặt chẽ: xem phụ luïc 9A, trang 309-313, [Ljung, 1999]  Hu nh Thái Hồng – B mơn i u n T đ ng Ch ng 5: Tính hội tụ phân bố tiệm cận tham số 14 Định lý 5.6 (Định lý 9.1, [Ljung, 1999] trang 282) Phân bố tiệm cận tham số ước lượng theo phương pháp sai số dự báo với tiêu chuẩn ước lượng dạng toàn phương Xét ước lượng θˆN xác định biểu thức (5.49) vaø (5.50) θˆ = arg V (θ , Z ) N θ ∈DM VN (θ , Z N ) = N N N N ∑ ε (t ,θ ) t =1 Giả thiết: • Cấu trúc mô hình tuyến tính, ổn định • Tập liệu thực nghiệm Z ∞ thỏa mãn giả thiết D1 • Tồn giá trị θ * ∈ DM cho: ♦ θˆ → θ * với xác suất N → ∞ N ♦ V ′′(θ * ) > ♦ N DN → N → ∞ , với DN định nghóa biểu thức (5.59): 1 DN = E  N N  t =1  ∑ [ψ (t ,θ * )ε (t ,θ * ) − E [ψ (t ,θ * )ε (t ,θ * )] Kết luận: N (θˆN − θ * ) ∈ AsN (0, Pθ )  P  (θˆN − θ * ) ∈ AsN  0, θ   N hay với Pθ cho biểu thức (5.63) (5.61): Pθ = [V ′′(θ * )]−1 Q[V ′′(θ * )]−1 { Q = lim N E [VN′ (θ * , Z N )][VN′ (θ * , Z N )]T N →∞ } Ma trận Pθ ma trận hiệp phương sai phân bố tiệm cận N (θˆ − θ * ) Do ta viết: N cov θˆN ~ Pθ N  Hu nh Thái Hoàng – B môn i u n T đ ng (5.64) Ch ng 5: Tính hội tụ phân bố tiệm cận tham số 15 Các kết luận định lý trường hợp chuẩn ước lượng l (ε ,θ , t ) tổng quát đủ trơn theo ε θ Tuy nhiên trường hợp tính toán đạo hàm VN′ V ′′ phức tạp Xét: VN (θ , Z N ) = N N ∑ l (ε (t ,θ ),θ , t ) (5.65) t =1 Ta có: • VN′ (θ , Z N ) = N N ∑ [−ψ (t ,θ ) lε′ (ε (t ,θ ) ,θ , t ) + lθ′ (ε (t ,θ ) ,θ , t )] ∂ l (ε ,θ , t ) ∂ε ∂ lθ′ (ε (t ,θ ) ,θ , t ) = l (ε ,θ , t ) ∂θ • V ′′(θ ) = E [ψ (t ,θ ) lεε′′ (ε (t ,θ ) ,θ , t )ψ T (t ,θ )] − E [ψ θ′ (t ,θ ) lε′ (ε (t ,θ ) ,θ , t )] − E [ψ (t ,θ ) lε′′θ (ε (t ,θ ) ,θ , t )] đó: lε′ (ε (t ,θ ) ,θ , t ) = ′′ (ε (t ,θ ) ,θ , t )] − E [ lθ′′ε (ε (t ,θ ) ,θ , t )ψ T (t ,θ )] + E [ lθθ 5.3.2 (5.66) t =1 (5.67) (5.68) (5.69) Biểu thức phương sai tiệm cận Biểu thức tính Pθ trường hợp tổng quát phức tạp, mục tính Pθ cho số trường hợp cụ thể Trường hợp 1: S ∈ M tiêu chuẩn ước lượng dạng toàn phương Giả thiết điều kiện định lý 5.3 thỏa mãn Thế θ ∗ = θ vaø ε (t ,θ ) = e0 (t ) chuỗi biến ngẫu nhiên độc lập có trung bình phương sai λ0 Theo (5.61): Q = lim N E {[VN′ (θ * , Z N )][VN′ (θ * , Z N )]T } N →∞ Vaø (5.56): VN′ (θ * , Z N ) = − N N ∑ψ (t ,θ * )ε (t ,θ * ) t =1 Ta coù:  N   N • Q = lim N E   ∑ψ (t ,θ * )ε (t ,θ * )  ∑ ε ( s,θ * )ψ T ( s,θ * )  N →∞   N s =1   N t =1 N N  = lim E ∑ ∑ψ (t ,θ * )ε (t ,θ * )ε ( s,θ * )ψ T ( s,θ * ) N →∞ N t =1 s =1  N  E ∑ λ0ψ (t ,θ * )ψ T (t ,θ * ) N →∞ N  t =1 Q = λ0 E ψ (t ,θ )ψ T (t ,θ ) = lim ⇒ { }  Hu nh Thái Hoàng – B môn i u n T đ ng (5.70) Ch ng 5: Tính hội tụ phân bố tiệm cận tham số 16 • V ′′(θ ) = E [ψ (t ,θ )ψ T (t ,θ )] − E [ψ θ′ (t ,θ )e0 (t )] Do ψ θ′ (t ,θ ) chứa liệu khứ Z t −1 nên E [ψ θ′ (t ,θ )e0 (t )] = V ′′(θ ) = E [ψ (t ,θ )ψ T (t ,θ )] ⇒ (5.71) Thay (5.70) (5.71) vào (5.63) ta được: [{ }] Pθ = λ0 E ψ (t ,θ )ψ T (t ,θ ) −1 (5.72) Ý nghóa: độ nhạy dự báo tham số lớn phương sai tham số ước lượng nhỏ Có thể tính gần Pθ dựa vào N mẫu liệu thực nghiệm tham số ước lượng θˆ sau: N  1 N PˆN = λˆN  ∑ψ (t ,θˆN )ψ T (t ,θˆN )   N t =1 N λˆN = ∑ ε (t ,θˆN ) N t =1 −1 (5.73) (5.74) Trường hợp 2: S ∈ M tiêu chuẩn ước lượng tổng quát l (ε ) Xét chuẩn l (ε ,θ , t ) = l (ε ) (không phụ thuộc tường minh vào θ t) Giả thiết S ∈ M , θ ∗ = θ ε (t ,θ ) = e0 (t ) chuỗi biến ngẫu nhiên độc lập Ta có: N • VN′ (θ , Z N ) = − ∑ [ψ (t ,θ ) l ′(e0 (t ) )] N t =1  N   N • Q = lim N E   ∑ψ (t ,θ ) l′(e0 (t ) )  ∑ l′(e0 ( s) )ψ T ( s,θ )  N →∞   N s =1   N t =1  N N  = lim E   ∑ ∑ψ (t ,θ ) l′(e0 (t ) ) l ′(e0 ( s) )ψ T ( s,θ )  N →∞ N    t =1 s =1 ⇒ { }{ } Q = E [ l ′(e0 (t ) ]2 E ψ (t ,θ )ψ T (t ,θ ) (5.75) • V ′′(θ ) = E [ψ (t ,θ ) l′′(e(t ) )ψ T (t ,θ )] ⇒ V ′′(θ ) = E [ l′′(e(t ) )].E [ψ (t , θ )ψ T (t ,θ )]  Hu nh Thái Hồng – B mơn i u n T đ ng (5.76) Ch ng 5: Tính hội tụ phân bố tiệm cận tham số 17 Thay (5.75) (5.76) vào (5.63) ta được: [{ }] Pθ = κ ( l ) E ψ (t ,θ )ψ T (t ,θ ) { −1 (5.77) } E [ l ′(e0 (t ) ]2 κ (l) = {E [l′′(e0 (t ))]}2 đó: (5.78) Dễ dàng kiểm chứng l (ε ) = ε hai công thức (5.77) (5.78) rút gọn thành (5.72) 5.3.3 Biểu thức phương sai tiệm cận miền tần số Trường hợp S ∈ M tiêu chuẩn ước lượng chuẩn toàn phương  π CovθˆN ~  ∫ T ′(e jω , θ )Φ χ (ω )T ′T (e − jω ,θ )dω  N −π Φ v (ω )  đó:  Φ (ω ) Φ χ (ω ) =  u  Φ eu (ω ) Φ v (ω ) = λ0 H (e jω ) Φ ue (ω )  λ  ∂ T ( e jω , θ ) ∂θ  G (e jω ,θ )  jω T (e , θ ) =   jω  H (e , θ )  T ′(e jω , θ ) = Biểu thức phương sai tiệm cận hàm truyền: −1  G (e jω ,θˆN )  n  Φ u (ω ) Φ ue (−ω ) ≈ Φ v (ω )  Cov  jω ˆ  λ0  Φ ue (ω )  H (e , θ N )  N Hệ quả: Trường hợp nhận dạng hệ hở: Φ ue (ω ) = : n Φ v (ω ) Cov G (e jω ,θˆN ) ≈ N Φ u (ω ) n Cov H (e jω , θˆN ) ≈ H (e jω ) N  Hu nh Thái Hoàng – B môn i u n T đ ng −1 (5.79) (5.80) (5.81) (5.82) (5.83) (5.84) (5.85) (5.86) ... (5.17) (5.18) Ch 5.2.2 ng 5: Tính hội tụ phân bố tiệm cận tham số Tính hội tụ tham số ước lượng theo phương pháp sai số dự báo Tham số ước lượng theo phương pháp sai số dự báo là: θˆN = arg VN... Ch ng 5: Tính hội tụ phân bố tiệm cận tham số 14 Định lý 5.6 (Định lý 9.1, [Ljung, 1999] trang 282) Phân bố tiệm cận tham số ước lượng theo phương pháp sai số dự báo với tiêu chuẩn ước lượng dạng...   Tính hội tụ tính vững tham số ước lượng theo phương pháp tương quan Học viên tự đọc tài liệu [Ljung,1999], trang 269-273 5.3 PHÂN BỐ TIỆM CẬN CỦA THAM SỐ ƯỚC LƯNG - Ở mục 5.2 ta biết liệu