Đang tải... (xem toàn văn)
Luận văn Thạc sĩ - Chưa phân loại | Hanoi University of Science, VNU tài liệu, giáo án, bài giảng , luận văn, luận án, đ...
THÔNG TIN VỀ LUẬN VĂN THẠC SĨ Họ tên học viên: Phạm Thị Hoa Giới tính: Nữ Ngày sinh: 07/7/1986 Nơi sinh: Văn Lâm - Hưng Yên Quyết định công nhận học viên số: , ngày tháng năm Các thay đổi trình đào tạo: Không có Tên đề tài luận văn: “Một số tiêu chuẩn lựa chọn mô hình” Chuyên ngành: Lý thuyết xác suất thống kê toán học Mã số: 60 46 15 10 Cán hướng dẫn khoa học: TS Trần Mạnh Cường – Trường Đại học Khoa học Tự nhiên- Đại học Quốc Gia Hà Nội 11 Tóm tắt kết luận văn: Lựa chọn mô hình toán thống kê nhiều ngành khoa học khác học máy, kinh tế lượng, Theo R A Fisher có toán thống kê suy luận dự báo gồm - Xác định mô hình - Ước lượng tham số - Dự báo Trước năm 1970 hầu hết nghiên cứu tập trung vào hai toán sau với giả thiết mô hình biết Sau xuất công trình Akaike (1973) toán lựa chọn mô hình thu hút quan tâm cộng đồng làm thống kê Với liệu đưa ra, đặt vào nhiều mô hình với mô hình đưa ra, mô hình tốt nhất? Để trả lời cho câu hỏi trên, người ta đưa tiêu chuẩn thông tin để lựa chọn mô hình phù hợp tiêu chuẩn thông tin Akaike (AIC) tiêu chuẩn thông tin Bayesian (BIC) Việc lựa chọn mô hình phù hợp trung tâm cho tất công tác thống kê với liệu Lựa chọn biến để sử dụng mô hình hồi quy ví dụ quan trọng Luận văn trình bày hai tiêu chuẩn thông tin quan trọng tiêu chuẩn thông tin Akaike tiêu chuẩn thông tin Bayesian Luận văn chia làm ba chương Chương Kiến thức chuẩn bị 1.1.Lượng thông tin Fisher Định nghĩa lượng thông tin Fisher đưa ví dụ 1.2 Ước lượng hợp lý cực đại Định nghĩa ước lượng hợp lý cực đại, phương pháp tìm ước lượng hợp lý cực đại ví dụ 1.3 Hồi quy tuyến tính Giới thiệu mô hình hồi quy tuyến tính cổ điển, phương pháp ước lượng bình phương cực tiểu, tính chất ước lượng phương pháp bình phương cực tiểu 1.4 Hồi quy Poisson Giới thiệu mô hình hồi quy Poisson 1.5 Hồi quy logistic Giới thiệu mô hình hồi quy logistic Chương Một số tiêu chuẩn lựa chọn mô hình 2.1 Tiêu chuẩn thông tin Akaike 2.1.1 Khoảng cách Kullback- Leibler Trình bày định nghĩa tính chất khoảng cách Kullback- Leibler 2.1.2 Ước lượng hợp lý cực đại khoảng cách Kullback- Leibler Trình bày mối liên hệ ước lượng hợp lý cực đại khoảng cách KullbackLeibler hai trường hợp độc lập phân bố trường hợp hồi quy 2.1.3 Định nghĩa AIC Đối với mô hình tham số M, tiêu chuẩn thông tin Akaike(AIC) xác định sau: ˆ − 2length(θ) = AIC(M ) = n (θ) n,max − 2length(θ), length(θ) số tham số ước lượng mô hình, n,max cực đại loga hàm hợp lý 2.1.4 AIC khoảng cách Kullback- Leibler Phần công thức AIC cho hai trường hợp độc lập phân bố mô hình hồi quy có dạng: ˆ − 2length(θ) = AIC(M ) = n (θ) n,max − 2length(θ), 2.1.5 Tiêu chuẩn Takeuchi Phần trình bày tiêu chuẩn Takeuchi trường hợp không muốn giả định mô hình sử dụng mô hình thật Takeuchi (1976) đề nghị tiêu chuẩn thông tin sau: ˆ − 2pˆ∗ , TIC = n (θ) ˆ với pˆ∗ = Tr(Jˆ− K) (1) 2.1.6 AIC hiệu chỉnh cho hồi quy tuyến tính Trình bày sửa đổi kích thước mẫu AIC mô hình hồi quy tuyến tính để AICc AICc∗ 2.2 Tiêu chuẩn thông tin Bayesian(BIC) 2.2.1 Nguồn gốc BIC Phần trình bày xác suất hậu nghiệm mô hình nguồn gốc BIC, BIC ∗ , BIC exact 2.2.2 Định nghĩa BIC Tiêu chuẩn thông tin Bayesian Schwarz (1978) Akaike (1977, 1978) đưa đến dạng hình phạt loga hàm hợp lý Cụ thể là, ˆ − (logn)dim(M ), BIC(M ) = n (θ) với dim(M) số tham số ước lượng mô hình n kích thước mẫu 2.2.3 Ai người viết ’The Quiet Don’ ? Áp dụng mục 2.2.1 để tính giá trị BIC ∗ cho ba mô hình đưa M1 , M2 , M3 chọn mô hình thích hợp Chương Áp dụng 3.1 Giới thiệu phần mềm R 3.2 Áp dụng với số liệu Đưa số liệu bốn phép đo hộp sọ người Ai Cập qua năm khoảng thời gian khác Sử dụng phần mềm R tính giá trị AIC BIC cho năm mô hình ứng cử viên lựa chọn mô hình tốt 12 Khả ứng dụng thực tiễn: không 13 Những hướng nghiên cứu tiếp theo: không 14 Các công trình công bố có liên quan đến luận văn: không Ngày 27 tháng năm 2013 Học viên (Kí ghi rõ họ tên) Phạm Thị Hoa INFORMATION ON MASTER’THESIS Full name: Pham Thi Hoa Sex: female Date of birth:07/7/1986 Place of birth: Van Lam – Hung Yen Admission decision number: Dated Changes in academic process: no Official thesis title: “ Some of the model selection criteria” Major: Probability theory and mathematical statistics Code: 60 46 15 10 Supervisors: Dr Tran Manh Cuong 11 Summary of the finding of the thesis: Model selection is a fundamental problem of statistics as well as other sciences, such as machine learning, econometrics, According to R.A Fisher, there are three main problems in statistical inference and forecasting: - Model specification - Estimation of model parameters - Prediction Before the 1970s most of the researches focused focuses on the two last problems with the assumption that the model has been known After the appearance of Akaike’s work (1973), the model selection problem attracted the attention of the statistical community Given a data set, can be put on it so many models and models made, what is the best model? To answer that question, they came up with the criterion information to select appropriate model as the Akaike’s information criteria (AIC) and Bayesian information criteria (BIC) Choosing a suitable model is central to all statistical work with data Selecting the variables for use in a regression model is one important example My thesis presents two important information criteria, they are Akaike’s information criterion and Bayesian information criterion The thesis is divided into three chapters Chapter Prepared knowledge 1.1.Fisher information The definition of the Fisher information and examples 1.2.Maximum likelihood estimate The definition of the maximum likelihood estimate, methods of finding the maximum likelihood estimate and example 1.3 Linear regression Introduction to the classical linear regression model, method of the minimum square estimate, the properties of method of the minimum square estimate 1.4.Poisson regression Introduction to Poisson regression model 1.5 Logistic regression Introduction to the logistic regression model Chapter Some of the model selection criterion 2.1 Akaike information criteria 2.1.1 Kullback-Leibler distance The definition and properties of the Kullback –Leibler distance 2.1.2 Maximum likelihood estimator and Kullback-Leibler distance The relationship between the maximum likelihood estimate and Kullback-Leibler distance in both cases identical independent distribution and regression 2.1.3 AIC definition For a parametric model M, Akaike information criterion (AIC) is defined as follows: ˆ − 2length(θ) = AIC(M ) = n (θ) n,max − 2length(θ), where length(θ) is number of parameters in model, n,max is maximum of loglikelihood function 2.1.4 AIC and Kullback-Leibler distance This section indicates why AIC formula for both identical independent distribution and regression model as follows: ˆ − 2length(θ) = AIC(M ) = n (θ) n,max − 2length(θ), 2.1.5.Takeuchi criterion This section presents Takeuchi criterion in case one does not want to make the assumption that the model used is the true model Takeuchi (1976) has proposed information a criterion as follows: ˆ − 2pˆ∗ , TIC = n (θ) ˆ with pˆ∗ = Tr(Jˆ− K) 2.1.6 Corrected AIC for linear regression Presenting sample size modifications of AIC in linear regression model to be AICc and AICc∗ 2.2.Bayesian information criterion (BIC) 2.2.1 Derivation of the BIC This section presents posterior probability of a model and derivation of the BIC, BIC ∗ , BIC exact 2.2.2 BIC definition Schwarz’s Bayesian information criterion (1978) and Akaike (1977, 1978) led to a form of a penalised log- likelihood function Namely, ˆ − (logn)dim(M ), BIC(M ) = n (θ) With dim(M) being the number of parameters estimated in the model, and n the sample size of the data 2.2.3 Who wrote ‘ The Quiet Don‘ ? Applying the section 2.2.1 to calculate the BIC ∗ values for the three given models M1, M2, M3 and select the most appropriate model Chapter applying 3.1 Introduction of the software R 3.2 Applied to data set Given a data set of four measurements on skulls of Egyptians through five different time Using software R to calculate the AIC and BIC values for five candidate models and select the best model 12 Practical applicability: no 13 Further research directions: no 14 Thesis-related publications: no Date:27/2/2013 Signature: Full name: Pham Thi Hoa ... problems in statistical inference and forecasting: - Model specification - Estimation of model parameters - Prediction Before the 1970s most of the researches focused focuses on the two last problems... applying 3.1 Introduction of the software R 3.2 Applied to data set Given a data set of four measurements on skulls of Egyptians through five different time Using software R to calculate the... quan đến luận văn: không Ngày 27 tháng năm 2013 Học viên (Kí ghi rõ họ tên) Phạm Thị Hoa INFORMATION ON MASTER’THESIS Full name: Pham Thi Hoa Sex: female Date of birth:07/7/1986 Place of birth: