Định lý xấp xỉ tối ưu trong không gian vectơ và ứng dụng ứng dụng giải bài toán bình phương tối thiểu

PHÂN HIỆU - TRƯỜNG ĐẠI HỌC LÂM NGHIỆP KHOA KHOA HỌC CƠ BẢNBÁO CÁOSINH HOẠT HỌC THUẬT KHOA HỌC NĂM HOC 2018 - 2019Tên báo cáo: ĐỊNH LÝ XẤP XỈ TỐI ƯU TRONG KHÔNG GIAN VECTƠ VÀ ỨNG DỤNG ỨNG

PHÂN HIỆU - TRƯỜNG ĐẠI HỌC LÂM NGHIỆP KHOA KHOA HỌC CƠ BẢN

BÁO CÁO

SINH HOẠT HỌC THUẬT KHOA HỌC NĂM HOC 2018 - 2019

Tên báo cáo:

ĐỊNH LÝ XẤP XỈ TỐI ƯU TRONG KHÔNG GIAN VECTƠ VÀ ỨNG DỤNG ỨNG DỤNG GIẢI BÀI TOÁN BÌNH PHƯƠNG TỐI THIỂU

Đơn vị quản lý: KHOA KHCB Báo cáo viên : LÊ ĐÌNH LƯƠNG

Đồng Nai, tháng 5 năm 2019

TÊN BÁO CÁO:

Định lý xấp xỉ tối ưu trong không gian vectơ và ứng dụng ứng dụng giải bài toán bình phương tối thiểu

ĐẶT VẤN ĐỀ:

Trong toán học, bài toán bình phương tối thiểu, còn gọi là bình phương nhỏ nhất hay bình phương trung bình tối thiểu, là một phương pháp tối ưu hóa để lựa chọn một đường khớp nhất cho một dải dữ liệu ứng với cực trị của tổng bình phương các sai số giữa đường khớp và dữ liệu Phương pháp này có nhiều ứng dụng trong toán tối ưu Đặc biệt, các bài toán liên quan đến hồi quy tuyến tính Việc giải bài toán trên, thông thường, dựa vào cực trị của hàm nhiều biến Tuy nhiên, dưới góc độ của đại số tuyến tính, chúng ta hoàn toàn có thể giải bài toán bình phương tối thiểu trên một cách khá nhẹ nhàng thông qua việc áp dụng định lí xấp xỉ tối ưu

Tại phân hiệu trường Đại học Lâm nghiệp, việc ứng dụng đại số tuyến tính giải bài toán này cho phép trang bị thêm cho người học một công cụ toán học khá hữu hiệu để giải toán, đặc biệt là trong các bài toán hồi quy tuyến tính nhiều biến.

Với lí do trên, tác giả đề xuất trình bày chuyên đề sinh hoạt học thuật “Định lý xấp xỉ tối ưu trong không gian vectơ và ứng dụng ứng dụng giải bài toán bình phương tối thiểu”

PHẦN 1: MỤC TIÊU, NỘI DUNG, PHƯƠNG PHÁP NGHIÊN CỨU 1 Mục tiêu của báo cáo:

Phổ biến cho người học và người dạy nội dung về phương pháp ứng dụng đại số tuyến tính (ma trận và hệ phương trình tuyến tính) giải bài toán bình phương tối thiểu và ứng dụng của nó trong bài toán bình phương tối thiểu

2 Nội dung nghiên cứu: Phép chiếu trực giao trong không gian vectơ, bài toán bình phương tối thiểu, bài toán hồi quy tuyến tính đơn, hồi quy tuyến tính bội

3 Đối tượng nghiên cứu: Đại số, giải tích và thống kê toán học 4 Phương pháp nghiên cứu: Tham khảo tài liệu

PHẦN 2 KẾT QUẢ NGHIÊN CỨU VÀ THẢO LUẬN 1 Kết quả nghiên cứu theo nội dung:

1.1 Tích trực giao

Để đi đến giải bài toán bình phương tối thiểu, ta cần trang bị một số khái niệm và tính chất về trực giao trong không gian vectơ như sau:

1.1.1 Tích trong của các vectơ trong không gian ℝn

Định nghĩa 1: Cho u và v là các vectơ trong ℝ ,ta có thể xem u , v như là các ma trận cỡ nx1 trong trường số thực Tích trong của chúng, kí hiệu là u v, là một số thực được định nghĩa như sau : 1

Ta dễ dàng kiểm tra các tính chất sau:

Định lí 1: Cho u, v và w là các vectơ trong ℝn, a là một đại lượng vô hướng Khi đó:

(1) u v=v u

(2) (u+v) w= u w+ v w (3) (au) v= a(u v)= u (av) (4) u u≥0, u u=0⇔u=0

1.1.2 Độ dài của vectơ, khoảng cách giữa các vectơ

Sử dụng khái niệm tích trong, ta xây dựng độ dài của vectơ như sau:

Định nghĩa 2: Cho u là một vectơ trong ℝn,độ dài của u là một số thực, kí hiệu là ǁuǁ, và được định nghĩa như sau:

ǁuǁ=√u u Từ định nghĩa trên, ta dễ dàng có định lí sau: Định lí 1.2: Cho u và v là hai vectơ trong ℝn

Ngoài ra, để tính ǁu ± vǁ,trước hết ta tính w= u ± vrồi tính ǁwǁ Định nghĩa 3: Cho uvà u là các vectơ trong ℝn

.Khoảng cách giữa hai vectơ u và v, khí hiệu là dist(u , v), là độ dài của hiệu hai vectơ đó.

dist(u , v)=ǁu − vǁ 1.1.3 Các vectơ trực giao, các tập trực giao.

Định nghĩa 4: Hai vectơ u và v trong ℝn được gọi là trực giao với nhau, kí hiệu là u⊥v , nếu tích trong của chúng bằng 0

Định lí 3: (Định lí Pythagore) u⊥v⇔ǁu+vǁ2

Định lí được suy ra trực tiếp từ định nghĩa 1.4 và định lí 1.2 Định nghĩa 5: Cho W là một không gian vectơ con của ℝn

.Vec tơ u thuộc ℝn

được gọi là trực giao với W, kí hiệu là u⊥W , nếu u trực giao với mọi vectơ x thuộc W Tập hợp các vectơ trong ℝntrực giao với W được gọi là phần bù trực giao của W trong ℝnvà được kí hiệu là Wo

Định nghĩa 6: Một tập các vectơ S ={u1,u2,… , uk} trong ℝnđược gọi là một tập hợp trực giao nếu hai vectơ bất kỳ, phân biệt thuộc S trực giao với nhau Khi đó:

Nếu S là một cơ sở của không gian con W của ℝnthì S được gọi là mộ cơ sở trực của W

Nếu S là một cơ sở trực giao của W và ǁuǁi=1 với mọi i= 1, k thì S được gọi là một cơ sở trực chuẩn của W Khi đó mỗi vectơ thuộc S đều gọi là vectơ đơn vị.

Nhận xét 1: Mỗi tập hợp trực giao gồm các vectơ khác không của ℝn là một tập độc lập tuyến tính

Định lí 4: Cho W là một không gian vectơ con của ℝnvà S={u1 ,u2 ,… , uk}là một cơ sở trực giao của W Khi đó, với mỗi y∈Wcó được biểu diễn tổ hợp tuyến tính duy nhất của S với

u1.u2= u1 u3= u2 u3= 0nên tậpS={u1 ,u2 ,u3}là tập trực giao Hơp nữa, vì các vectơ này đều khác 0 nên chúng tạo nên một cơ sở trực giao của ℝ3

Chứng minh: Đặt u=∑

y ui ui.ui

W ta chỉ cần chỉ ra v∈ W0. Thực vậy, với mỗi j=1,2,…,k ta có

Định nghĩa 1.7: Thành phân vectơ u của y được xác định trong định lí 1.5 được gọi là hình chiếu trực giao của y vào W, kí hiệu là projWy

Ta nhận thấy rằng với mỗi y∈ℝn và không gian con W = span (S) thì projWy là duy nhất Hơn nữa, nếu y∈W thì projWy= y

Cho ma trận A=[ aij]mxn trên trường số thực Nếu ta xem mỗi cột của A là một vectơ trong ℝm thì A như là một bộ gồm n vectơ trong ℝm và ta viết

A=[u1 u2 un] với ui=[a1 i

a2 i

ami], (i= 1,2, n) Như vậy ta có thể xét tính trực giao của A như sau:

Định nghĩa 8: Ma trận A=[ aij]mxn được gọi là có các cột trực giao nếu {ui}i= 1

n là một cơ sở trực giao trong ℝn

Định lí 6: Ma trận A được xác định như trong Định nghĩa 1.8 có các cột trực giao khi và chỉ khi AT

thành In.

Chứng minh:

Vậy nên, nếu ATA= En thì ui.uj= 0 với mọi i≠ j và ui.ui=eii≠0

nhiên AT

A= En.

Từ Định lí 6, ta rút ra tính chất quan trọng sau:

Định lí 7: Cho A=[ aij]nxm với các cột trực giao thõa mãn ATA=In thì với mọi vectơ x và y trong ℝn

ǁ yư uǁ≤ǁ yư vǁ với mọi v∈W Dấu đẳng thức xãy ra khi và chì khi u= v

Chứng minh: Vì y ư v =( y ư u)+(uư v ) nên ta có uưv ∈W và yưu∈W0

nên theo định lí Pythagore, ta có

ǁ yư vǁ2=ǁ y ư uǁ2+ǁ u ư vǁ2

Từ đó, ta có điều phải chứng minh Hơn nữa, từ kết quả của phép phân tích trực giao thì u là duy nhất

1.2.2 Nghiệm bình phương tối thiểu

Định nghĩa 1.9: Nếu A là một ma trện cỡ mxn và b là vectơ trong

Ta cần xác định ^x∈ ColA như vậy sao cho A^x là ảnh của phép chiếu trực giao b lên ColA Đặt ^b= projColAb thì ^x là nghiệm của phương trình:

A x=^b (1)

Giả sử (1) có một nghiệm ^x thõa mãn A ^x=^b Vì b−^b trực giao với ColA nên A ^x=^b khi và chỉ khi b− A ^x trực giao với các cột của A Điều đó tương đương với được gọi là phương trình chuẩn) Từ đó, ta có định lí sau:

Tập nghiệm bình phương tối thiểu của phương trình

Kí hiệu dist( y , W ) là khoảng cách giữa y và W thì ta có dist( y , W )=ǁ y− uǁ với u proj= Wy

1.2.3.2 Bài toán bình phương tối thiểu

Giả sử từ các kết quả thực nghiệm về hai đại lượng X và Y cho ta các kết quả như sau:

Từ một hệ hàm cơ sở {f1( x), f2(x ), … , fn(x)} ta cần tìm các hệ số {a1, a2, … , an} sao cho hàm số f(x)=∑

i=1n

aifi(x) cực tiểu hóa tổng bình phương các khoảng cách từ yj tới đường cong f( x) Tức là ∑

i= 1n

(dist { yi, f(x )})2 đạt cực tiểu Để giải bài toán trên, ta đặt A=[ aij]mxn với aij=fi(xj) x=[ ai]nx1 và

đó, ^x được chọn thõa mãn bài toán khi và chỉ khi A^x là hình chiếu trực giao của b trên f (x ) Vậy x là nghiệm bình phương tối thiểu của hệ phương trình

Ví dụ 1.5: Tìm đường thẳng dạng f(x)= a0+ a1x xấp xỉ bình phương tối thiểu các

Ví dụ 1.6: Tìm đường cong dạng f(x)=a0+a1x+a2x2 xấp xỉ bình phương tối thiểu các điểm dữ liệu :

Đường thẳng trên có hệ hàm cơ sở là {1 , x , x2

1.2.3.3 Mô hình hồi quy tuyến tính nhiều biến.

Khi nghiên cứu mối quan hệ giữa biến phụ thuộc Y và các biến độc lập X1, X2,… , Xk−1 Dựa trên n bộ số liệu quan sát {(Yi, X1 i, , X( k− 1)i)}i= 1n người ta lập hàm hồi quy tuyến tính tổng thể (PRF) dạng ngẫu nhiên ứng với từng số liệu quan sát