PHƯƠNG PHÁP THỐNG KÊ TRONG KHÍ HẬU Phan Văn Tân NXB Đại học Quốc gia Hà Nội 2005 Từ khoá: Tần suất, mật độ, phân bố, xác suất, ngẫu nhiên, thống kê, thể hiện, phổ, cấu trúc, tương quan, kỳ vọng, phương sai, mô men, số đông, số giữa, độ nhọn, đồng nhất, phù hợp, tiêu, Tài liệu Thư viện điện tử Đại học Khoa học Tự nhiên sử dụng cho mục đích học tập nghiên cứu cá nhân Nghiêm cấm hình thức chép, in ấn phục vụ mục đích khác không chấp thuận nhà xuất tác giả PHAN VĂN TÂN PHƯƠNG PHÁP THỐNG KÊ TRONG KHÍ HẬU NHÀ XUẤT BẢN ĐẠI HỌC QUỐC GIA HÀ NỘI MỤC LỤC LỜI NÓI ĐẦU MỞ ĐẦU 12 CHƯƠNG MỘT SỐ KIẾN THỨC CƠ BẢN CỦA LÝ THUYẾT XÁC SUẤT VÀ ÚNG DỤNG TRONG KHÍ TƯỢNG KHÍ HẬU 16 1.1 SỰ KIỆN, KHÔNG GIAN SỰ KIỆN VÀ TẦN SUẤT SỰ KIỆN 16 1.1.1 Phép thử kiện 16 1.1.2 Không gian kiện 17 1.1.3 Tần suất kiện 18 1.2 MỘT SỐ PHÉP TÍNH VÀ QUAN HỆ VỀ SỰ KIỆN VÀ XÁC SUẤT SỰ KIỆN 19 1.3 CÔNG THỨC BERNOULLI VÀ XÁC SUẤT CÁC SỰ KIỆN THÔNG THƯỜNG 27 1.4 ĐỊNH LÝ POISSON VÀ XÁC SUẤT CÁC SỰ KIỆN HIẾM 28 1.5 ĐẠI LƯỢNG NGẪU NHIÊN VÀ HÀM PHÂN BỐ XÁC SUẤT 30 1.6 PHÂN BỐ XÁC SUẤT THỰC NGHIỆM 33 1.6.1 Xây dựng hàm phân bố thực nghiệm theo công thức kinh nghiệm 33 1.6.2 Phương pháp phân nhóm xây dựng hàm phân bố thực nghiệm 36 1.7 PHÂN BỐ GUMBELL VÀ CÁC ĐẠI LƯỢNG KHÍ HẬU CỰC TRỊ 45 1.8 THỜI GIAN LẶP LẠI HIỆN TƯỢNG 46 1.9 MỘT SỐ BÀI TOÁN VỀ CÁC ĐẠI LƯỢNG CỰC TRỊ 47 1.10 TOÁN ĐỒ XÁC SUẤT 50 CHƯƠNG CÁC ĐẶC TRƯNG SỐ CỦA PHÂN BỐ VÀ VẤN ĐỀ PHÂN TÍCH KHẢO SÁT SỐ LIỆU 53 2.1 ĐẶT VẤN ĐỀ 53 2.2 CÁC PHÂN VỊ (QUANTILES) VÀ MỐT (MODE) 54 2.3 CÁC MÔMEN PHÂN BỐ 59 2.3.1 Mômen gốc 60 2.3.2 Mômen trung tâm 61 2.3.3 Các phương pháp tính mơmen 63 2.4 TRUNG BÌNH SỐ HỌC 66 2.5 PHƯƠNG SAI VÀ ĐỘ LỆCH TIÊU CHUẨN 69 2.6 MỘT SỐ ĐẶC TRƯNG THÔNG DỤNG KHÁC 71 2.6.1 Độ bất đối xứng 71 2.6.2 Hệ số độ nhọn 72 2.6.3 Độ lệch trung bình tuyệt đối 73 2.6.4 Hệ số biến thiên 73 2.6.5 Biên độ 74 2.7 PHÂN TÍCH, KHẢO SÁT SỐ LIỆU DỰA TRÊN CÁC ĐẶC TRƯNG SỐ 74 2.7.1 Độ tập trung 74 2.7.2 Độ phân tán 75 2.7.3 Tính đối xứng 77 CHƯƠNG MỘT SỐ PHÂN BỐ LÝ THUYẾT 79 3.1 KHÁI NIỆM MỞ ĐẦU 79 3.2 PHÂN BỐ NHỊ THỨC 81 3.3 PHÂN BỐ POISSON 83 3.4 PHÂN BỐ CHUẨN VÀ PHÂN BỐ CHUẨN CHUẨN HOÁ 85 3.5 PHÂN BỐ GAMMA 89 3.6 PHÂN BỐ WEIBULL 91 3.7 PHÂN BỐ χ2 (KHI BÌNH PHƯƠNG) 92 3.8 PHÂN BỐ STUDENT (T) 94 3.9 PHÂN BỐ FISHER (F) 96 3.10 MỘT SỐ PHÂN BỐ KHÁC 97 CHƯƠNG KIỂM NGHIỆM CÁC GIẢ THIẾT THỐNG KÊ TRONG KHÍ HẬU 100 4.1 KHÁI NIỆM VỀ KIỂM NGHIỆM GIẢ THIẾT THỐNG KÊ 100 4.1.1 Giả thiết thống kê toán kiểm nghiệm giả thiết thống kê 100 4.1.2 Các loại sai lầm 101 4.1.3 Kiểm nghiệm tham số kiểm nghiệm phi tham số 102 4.1.4 Các bước tiến hành toán kiểm nghiệm giả thiết thống kê 102 4.1.5 Miền thừa nhận miền loại bỏ 103 4.2 NHỮNG VẤN ĐỀ THỰC TẾ VÀ VIỆC HÌNH THÀNH GIẢ THIẾT THỐNG KÊ 104 4.2.1.Tính đồng chuỗi 104 4.2.2 Một số tốn điển hình 106 4.3 KIỂM NGHIỆM U 108 4.3.1 So sánh kỳ vọng với số cho trước 108 4.3.2 So sánh hai kỳ vọng 111 4.4 KIỂM NGHIỆM T 113 4.4.1 So sánh kỳ vọng với số cho trước 113 4.4.2 So sánh hai kỳ vọng 115 4.5 KIỂM NGHIỆM F 118 4.6 KIỂM NGHIỆM χ2 120 4.7 KIỂM NGHIỆM U PHI THAM SỐ 124 CHƯƠNG PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI 129 5.1 NHỮNG KHÁI NIỆM MỞ ĐẦU 129 5.2 TƯƠNG QUAN TUYẾN TÍNH 131 5.2.1 Hệ số tương quan tổng thể 131 5.2.2 Hệ số tương quan mẫu 133 5.2.3 Cách tính hệ số tương quan mẫu 137 5.2.4 Ma trận tương quan 140 5.2.5 Khảo sát mối quan hệ tương quan hai biến 141 5.3 HỒI QUI TUYẾN TÍNH MỘT BIẾN 145 5.3.1 Khái niệm hồi qui 145 5.3.2 Xây dựng phương trình hồi qui tuyến tính biến từ số liệu thực nghiệm 147 5.3.3 Phân tích phương sai phương trình hồi qui tuyến tính biến 150 5.3.4 Sự dao động điểm thực nghiệm xung quanh đường hồi qui153 5.3.5 Đánh giá chất lượng phương trình hồi qui 154 5.3.6 Hồi qui bình phương trung bình trực giao 156 TƯƠNG QUAN PHI TUYẾN TỶ SỐ TƯƠNG QUAN 157 5.4.1 Tỷ số tương quan tổng thể 157 5.4.2 Tỷ số tương quan mẫu 160 5.4.3 Hồi qui phi tuyến biến 162 5.5 HỒI QUI TUYẾN TÍNH NHIỀU BIẾN 164 5.5.1 Mặt hồi qui 164 5.5.2 Xây dựng phương trình hồi qui tuyến tính nhiều biến thực nghiệm 166 5.5.3 Thặng dư phương sai thặng dư 170 5.5.4 Tương quan riêng 174 5.5.5 Tương quan bội 177 5.5.6 Đánh giá chất lượng phương trình hồi qui tuyến tính nhiều biến180 5.6 TƯƠNG QUAN VÀ HỒI QUI PHI TUYẾN NHIỀU BIẾN 181 5.6.1 Liên kết mối quan hệ riêng rẽ 182 5.6.2 Dạng phụ thuộc bậc hai (dạng toàn phương) 183 5.6.3 Dạng luỹ thừa 184 5.7 HỒI QUI TỪNG BƯỚC 185 5.7.1 Đặt vấn đề 185 5.7.2 Các bước thực 186 CHƯƠNG CHỈNH LÝ SỐ LIỆU KHÍ HẬU 189 6.1 ĐẶT VẤN ĐỀ 189 6.2 KHỬ SAI SỐ TRONG SỐ LIỆU BAN ĐẦU 190 6.3 BỔ KHUYẾT SỐ LIỆU VÀ KÉO DÀI CHUỖI 194 6.3.1 Đặt toán 194 6.3.2 Các phương pháp bổ khuyết số liệu 195 6.4 QUI SỐ LIỆU TRUNG BÌNH VỀ CÙNG THỜI KỲ DÀI 198 6.5 LIÊN TỤC HOÁ CHUỖI SỐ LIỆU 201 6.5.1 Đặt toán 201 6.5.2 Phương pháp nội suy tuyến tính tối ưu lấp đầy chuỗi 202 6.5.3 Nội suy parabol 204 CHƯƠNG PHÂN TÍCH CHUỖI THỜI GIAN 206 7.1 CẤU TRÚC CHUỖI THỜI GIAN 206 7.2 VÀI NÉT VỀ PHÂN TÍCH CHUỖI THỜI GIAN TRONG KHÍ TƯỢNG, KHÍ HẬU 209 7.3 CÁC PHÉP BIẾN ĐỔI VÀ LỌC CHUỖI 211 7.3.1 Phép biến đổi luỹ thừa 212 7.3.2 Biến đổi qui tâm chuẩn hoá số liệu 213 7.3.3 Lọc chuỗi phương pháp trung bình trượt 214 7.3.4 Lọc chuỗi phép lọc có trọng lượng 218 7.4 SỬ DỤNG HÀM TỰ TƯƠNG QUAN XÁC ĐỊNH CHU KỲ DAO ĐỘNG 220 7.5 PHƯƠNG PHÁP PHÂN TÍCH ĐIỀU HỒ BIỂU DIỄN CHUỖI THỜI GIAN222 7.5.1 Khái niệm 222 7.5.2 Ước lượng biên độ pha dao động điều hồ đơn 223 7.5.3 Phân tích điều hoà xác định chu kỳ dao động 226 7.5.4 Vài nét phương pháp FFT (Fast Fourier Transforms) 230 7.6 PHỔ CỦA CÁC QUÁ TRÌNH LIÊN TỤC 231 7.6.1 Mật độ phổ trình ngẫu nhiên 231 7.6.2 Đánh giá độ tin cậy đặc trưng phổ 237 7.7 ƯỚC LƯỢNG PHỔ NĂNG LƯỢNG BẰNG PHƯƠNG PHÁP ENTROPY CỰC ĐẠI 240 7.8 PHƯƠNG PHÁP CHUẨN SAI TÍCH LUỸ PHÂN TÍCH XU THẾ 244 7.9 PHƯƠNG PHÁP HỒI QUI PHÂN TÍCH XU THẾ 248 PHẦN PHỤ LỤC 250 PHỤ LỤC MỘT SỐ KIẾN THỨC VỀ MA TRẬN VÀ ĐỊNH THỨC 250 Ma trận 250 Định thức 251 PHỤ LỤC MỘT SỐ HÀM ĐẶC BIỆT 252 Hàm Gamma 252 Hàm Bêta 253 PHỤ LỤC MỘT SỐ BẢNG TÍNH SẴN 253 Bảng giá trị hàm Laplas Φ(x) 253 Phân bố χ2 254 Phân bố Student (t) 255 TÀI LIỆU THAM KHẢO 257 LỜI NĨI ĐẦU Khí hậu ln phận quan trọng điều kiện tự nhiên mơi trường, có ý nghĩa định đến nhiều mặt hoạt động sản xuất đời sống Điều kiện khí hậu nhân tố tạo nên hình thành, tồn phát triển giới sinh vật, ảnh hưởng quan trọng đến nhiều lĩnh vực kinh tế xã hội nhân văn loài người Bởi vậy, nói đến miền đất người ta khơng thể khơng nhắc tới điều kiện khí hậu Trong trình tồn phát triển người ln phải tìm hiểu, nghiên cứu điều kiện tự nhiên môi trường để nắm bắt qui luật biến đổi với mục đích cải tạo, chinh phục khai thác Vì khí hậu ln đối tượng cần tìm hiểu nghiên cứu Một phương pháp ứng dụng phổ biến nghiên cứu khí hậu phương pháp xác suất thống kê Đây cơng cụ tốn học áp dụng rộng rãi có hiệu nhiều lĩnh vực "Phương pháp thống kê khí hậu" vận dụng số nguyên lý lý thuyết xác suất thống kê tốn học, tính tốn thơng kê đặc trưng khí tượng, khí hậu, giải số toán nghiên cứu qui luật, chất, đặc tính vấn đề liên quan đến cấu trúc trường khí Nó cầu nối lý thuyết xác suất thống kê toán học khoa học khí quyển, mơn học mang tính phương pháp Hiện có nhiều tài liệu viết lý thuyết xác suất thống kê lưu hành Tuy vậy, cách tương đối phân chia tài liệu làm hai loại Loại thứ thiên tốn học, trình bày chặt chẽ lý thuyết xác suất dựa tốn học trình độ cao Những tài liệu thường dùng cho chuyên gia toán nên khó sinh viên số chuyên gia ngành khí tượng thuỷ văn Loại thứ hai bao gồm tài liệu thống kê chuyên ngành, chuyên gia thuộc nhiều lĩnh vực chuyên môn khác viết Đối với loại tài liệu này, tuỳ thuộc vào chuyên ngành mà nội dung khai thác kiến thức lý thuyết xác suất thống kê khơng qn Nói chung tài liệu thường sâu số khía cạnh coi nhẹ phần khác, đặc biệt trọng trình bày ví dụ mang tính đặc thù chun ngành hẹp Điều gây khơng khó khăn cho việc ứng dụng chúng chuyên ngành khí tượng khí hậu Trước tình hình đó, sách biên soạn việc giải yêu cầu thúc bách thực tế Đúng với tên gọi - "Phương pháp thống kê khí hậu" - nội dung sách trọng trình bày khía cạnh ứng dụng cơng cụ thống kê tốn học vào chuyên ngành khí hậu Quyển sách viết sở tập giảng mà tác giả dùng để giảng dạy cho sinh viên ngành khí tượng khí hậu trường Đại học Tổng hợp Hà Nội, Đại học Quốc gia Hà Nội, nhiều năm gần Mục đích viết sách nhằm tạo cho sinh viên có tài liệu thống q trình tiếp thu mơn học "Phương pháp thống kê khí hậu" trường Quyển sách dùng làm tài liệu tham khảo bổ ích cho cán bộ, kỹ sư thuộc ngành khí tượng khí hậu độc giả thuộc chuyên ngành gần gũi thuỷ văn, hải dương q trình làm cơng tác nghiên cứu ứng dụng nghiệp vụ Ngoài ra, độc giả khác có quan tâm đến lĩnh vực ứng dụng lý thuyết xác suất thống kê đọc khai thác Quyển sách viết cho đối tượng trang bị kiến thức toán cao cấp lý thuyết xác suất thống kê tốn học dành cho sinh viên ngành khí tượng thuỷ văn Bởi vậy, trình trình bày số khái niệm, định nghĩa xem biết, chúng nêu cách ngắn gọn mà không sâu chi tiết Mặt khác, bám sát mục tiêu chương trình đào tạo đại học chuyên ngành khí tượng khí hậu, sách viết hình thức giáo trình mơn học Trừ phần mở đầu phụ lục, sách bố cục chương: Chương Một số kiến thức lý thuyết xác suất úng dụng khí tượng khí hậu Chương trình bày khái niệm lý thuyết xác suất phương thức vận dụng chúng việc giải số toán thường gặp thực tế tuý giá trị trung bình chuỗi nằm vị trí khoảng chuỗi, thành phần đầu chuỗi chuẩn sai dt mang dấu âm thành phần cuối chuỗi mang dấu dương Các giá trị chuẩn sai tích luỹ Dt âm t tăng khoảng chuỗi, sau giảm dần giá trị tuyệt đối (nhưng mang dấu âm) Tình ngược lại xảy chuỗi có xu giảm tuý Các hình 7.14a 7.14b dẫn ví dụ mơ minh hoạ cho trường hợp này, xu tăng, giảm cho theo qui luật gần tuyến tính Dt t Dt t Hình 7.14a Xu tăng tuý Hình 7.14b Xu giảm tuý Nếu chuỗi có xu tăng giảm giảm tăng, tức theo biến trình thời gian chuỗi có cực đại cực tiểu, trị số trung bình chuỗi nằm hai ví trí khoảng đoạn đầu khoảng đoạn cuối chuỗi Các chuẩn sai dt bắt đầu giá trị âm (nếu chuỗi tăng giảm) dương (nếu chuỗi giảm tăng), khoảng đoạn đầu mang dấu ngược lại giữ nguyên dấu đến khoảng đoạn cuối lại đổi dấu hết chuỗi Minh hoạ cho trường hợp dẫn hình 7.15a 7.15b 245 Dt Dt t t Hình 7.15a Xu tăng giảm Hình 7.15b Xu giảm tăng Trên hình 7.16a 7.16b dẫn đồ thị biểu diễn biến đổi Dt theo t ứng với tình chuỗi có xu tăng giảm sau tăng giảm tăng sau giảm Từ hình 7.14-7.16 nhận thấy tính chất chung chuẩn sai tích luỹ Dt là, nhìn chung với Dt âm chuỗi có xu tăng cịn với Dt dương chuỗi có xu giảm Dt Dt t t Hình 7.16a Xu tăng giảm Hình 7.16b Xu giảm tăng sau lại tăng sau lại giảm Trường hợp thành phần chuỗi dao động ngẫu nhiên xung quanh giá trị trung bình, chuẩn sai dt có dấu âm dương đan xen nhau, giá trị tuyệt đối chúng khơng khác nhiều, nói chuỗi khơng có xu Đồ thị chuẩn sai tích luỹ Dt theo t dao động ngẫu nhiên xung quanh trị số có khơng thể rõ ràng qui luật biến đổi Ví dụ 7.8 Bảng 7.4 dẫn trích đoạn chuỗi số liệu tổng lượng mưa năm 246 trạm kết tính chuẩn sai dt chuẩn sai tích luỹ Dt chuỗi Trị số trung bình tồn chuỗi 1899.2 (mm) Kết tính tốn biểu diễn hình 7.17 Từ hình ta thấy biến đổi chuỗi lương mưa năm chia làm hai giai đoạn Giai đoạn từ đầu kỷ đến khoảng năm đầu thập kỷ bốn mươi lượng mưa có xu tăng dần theo thời gian Giai đoạn từ đầu thập kỷ bốn mươi đến cuối năm tám mươi lượng mưa có xu giảm dần Tuy vậy, nhấp nhô đồ thị phản ánh xu biến thiên chuỗi đan xen thời kỳ có tổng lượng mưa vượt chuẩn chuẩn Hay nói cách khác, tồn chuỗi luân phiên thời đoạn có dấu chuẩn sai dương âm Bảng 7.4 Chuẩn sai chuẩn sai tích luỹ tổng lượng mưa năm (mm) Năm Tổng lượng mưa năm Chuẩn sai dt 1907 1906.2 7.0 7.0 1908 1837.4 -61.8 -54.7 1909 1644.0 -255.2 -309.9 1910 3029.6 1130.4 820.6 1911 1233.8 -665.4 155.2 1912 1239.9 -659.3 -504.0 1985 2346.4 447.2 166.5 1986 1669.9 -229.3 -62.8 1987 1838.8 -60.4 -123.1 1988 2022.3 123.1 0.0 247 Chuẩn sai tớch lu Dt Dt t (năm) -2 -4 -6 -8 -10 -12 -14 1905 1915 1925 1935 1945 1955 1965 1975 1985 Hình 7.17 Đường chuẩn sai tích luỹ tổng lượng mưa năm 7.9 PHƯƠNG PHÁP HỒI QUI PHÂN TÍCH XU THẾ Một phương pháp phân tích xu thường xét đến việc nghiên cứu dao động khí hậu phương pháp hồi qui Phương pháp hồi qui đề cập hồi qui biến khí hậu x thời gian t, tức biến đổi x theo t: x = f(t) Nếu f(t) hàm tuyến tính ta có xu biến đổi tuyến tính Trong trường hợp khác ta gọi xu khơng tuyến tính Để nghiên cứu xu biến đổi tuyến tính ta thành lập phương trình hồi qui: x(t) = at + b (*) a b hệ số hồi qui xác định bởi: n ∑ ( x t − x)( t − t ) a= t =1 n n ∑ ( x t − x) ∑ ( t − t ) t =1 , b = x − at t =1 x= n ∑ xt , n t =1 t= n ∑t n t =1 Từ phương trình (*) ta nhận biết xu biến đổi chuỗi 248 thơng qua phân tích hệ số góc a Dấu hệ số a xác định xu tăng (khi a>0) giảm (khi a