Mục lục Lời nói đầu Một số ký hiệu chung Kiến thức chuẩn bị 1.1 Chuẩn vectơ 1.2 Chuẩn ma trận 1.3 Tính trực giao 10 1.4 Tập ảnh, tập không điểm, hạng ma trận 13 1.5 Tính bất biến chuẩn Frobenius chuẩn 13 1.6 Khai triển thành giá trị kì dị (SVD) 15 1.6.1 Định lý tồn khai triển thành giá trị kì dị 15 1.6.2 Một số tính chất 21 Các ứng dụng quan trọng khai triển thành giá trị kì dị 27 1.7 Định lý Eckart - Young 30 2.1 Định lý Eckart - Young cổ điển 30 2.2 Định lý Eckart - Young mở rộng 32 Định lý Eckart - Young dạng rời rạc cho ma trận nguyên 35 3.1 Giới thiệu chung 35 3.2 Thuật tốn tìm khai triển 37 3.2.1 Xấp xỉ với khoảng cách Hamming 37 3.2.2 Xấp xỉ với khoảng cách Euclide 42 Thuật toán IMF 45 3.3.1 Quy tắc chung 45 3.3.2 Khai triển đệ quy 45 3.3 Mục lục 3.4 Xấp xỉ hạng thấp tối ưu 46 Kết luận 52 Phụ lục 53 Tài liệu tham khảo 55 Lời nói đầu Khai triển ma trận có vai trị quan trọng khoa học công nghệ đại Trong đại số tuyến tính, khai triển ma trận phân tích ma trận thành tích ma trận thừa số Có nhiều cách khai triển ma trận Ví dụ, giải hệ phương trình tuyến tính Ax = b, ma trận A khai triển thành hai ma trận L, U (LU decomposition); với L ma trận tam giác dưới, U ma trận tam giác Khi đó, giải hệ L(U x) = b U x = L−1 b đơn giản hệ ban đầu Tương tự vậy, khai triển QR (QR decomposition) phân tích A thành tích QR với Q ma trận trực giao R ma trận tam giác Nhưng luận văn này, chúng tơi quan tâm đến khai triển thành giá trị kì dị (Singular Value Decomposition - SVD) ma trận A sau: Cho A ma trận thực cỡ m × n Khi đó, tồn ma trận trực giao U ∈ Rm×m V ∈ Rn×n cho U T AV = ΣA = diagmn (σ1 (A), σ2 (A), , σp (A)) ∈ Rm×n , p = min{m, n} σ1 (A) ≥ σ2 (A) ≥ · · · ≥ σp (A) ≥ 0, σi (A) gọi giá trị kì dị A (Xem Định lý 2.1.1, Chương 2) Khai triển thành giá trị kì dị đưa ma trận ban đầu dạng đường chéo làm giảm độ phức tạp tính tốn có nhiều ứng dụng hữu ích xử lí tín hiệu thống kê Trên sở SVD, vấn đề xấp xỉ ma trận ma trận hạng thấp hai nhà toán học Carl Eckart Gale Young đề cập tới vào năm 1936 việc giải tốn tìm ma trận có hạng nhỏ k σi ui viT k gần ma trận cho trước: Nếu k < r = rank(A) Ak = i=1 rank(B)=k A−B = A − Ak = σk+1 Tuy nhiên, với liệu rời rạc (ở liệu nguyên) thực kĩ thuật thơng thường Ta nghiên cứu tốn khai triển thành ma trận nguyên (Integer Matrix Factorization - IMF) sau đây: Lời nói đầu Cho trước ma trận nguyên A ∈ Zm×n , metric cảm sinh d số dương k < min{m, n}, tốn đưa tìm ma trận U = (uil ) ∈ Zm×k , ∀i = 1, 2, , m với Z2 := {0, 1} V ∈ Zk×n cho phiếm hàm f (U, V ) := d(A, U V ) đạt cực tiểu Người ta nghĩ đến việc xây dựng chương trình trước hết xấp xỉ hạng sử dụng phương pháp đệ quy, chia ma trận xấp xỉ thành tổng ma trận hạng với phần tử rời rạc Năm 2011, định lý Eckart Young dạng rời rạc cho ma trận nguyên đời: Giả sử ma trận A ∈ Zm×n phân tích thành A ≈ U V với U ∈ Zm×p V ∈ Z p×n Thuật tốn (Xem Mục 3.4, Chương 3) Sắp xếp lại hàng d(A, u1 v1 ) ≤ d(A, u2 v2 ) ≤ · · · ≤ d(A, up vp ) Khi đó, cho k = 1, 2, , p, tích Uk Vk , Uk Vk ma trận U V cho trước bởi:   v  1 v   2 Uk = [u1 , u2 , , uk ], Vk =       vk xấp xỉ có khả tốt A với (1, 2, , k) Sk (Xem Định lý 3.4.2, Chương 3) Định lý giúp ích nhiều việc xử lí hình ảnh ứng dụng thực tiễn khác Luận văn trình bày nội dung chủ yếu [6] [8] Để hiểu đầy đủ Định lý 3.4.2, định lý luận văn, tác giả luận văn đưa số định lý, mệnh đề bổ trợ, lập luận chi tiết số ví dụ minh họa Cấu trúc luận văn gồm ba chương: Chương "Kiến thức chuẩn bị" hệ thống lại khái niệm tính chất chuẩn vectơ, chuẩn ma trận, tính trực giao, khai triển thành giá trị kì dị Lời nói đầu Chương "Định lý Eckart - Young" trình bày hai định lý Eckart Young cổ điển Eckart - Young mở rộng Chương "Định lý Eckart - Young dạng rời rạc cho ma trận nguyên" khai triển ma trận ban đầu thành hai ma trận nguyên trình bày thuật tốn tìm khai triển với hai khoảng cách thơng dụng khoảng cách Hamming khoảng cách Euclide Cuối chúng tơi trình bày định lý Eckart - Young dạng rời rạc cho ma trận nguyên Luận văn hồn thành Viện Tốn học, Viện hàn lâm Khoa học Công nghệ Việt Nam Tác giả luận văn xin cảm ơn TS Lê Hải Yến dành nhiều thời gian hướng dẫn tận tình giúp tác giả hồn thiện luận văn Tác giả xin bày tỏ lòng biết ơn thầy cô cán công nhân viên Viện Toán học quan tâm giúp đỡ suốt trình tác giả học tập nghiên cứu Viện Hà Nội, ngày 30 tháng năm 2015 Học viên Nguyễn Thị Hoàng Khuyên Một số ký hiệu chung R tập tất số thực Rn tập tất vectơ có n chiều Rm×n tập tất ma trận thực cỡ m × n x p chuẩn p vectơ x A chuẩn ma trận A A F chuẩn Frobenius ma trận A A = (aij )m×n ma trận A cỡ m × n với thành phần aij ran(A) tập ảnh ma trận A null(A) tập không điểm ma trận A span{v1 , v2 , , } không gian sinh n vectơ dim(S) số chiều không gian S rank(A) hạng ma trận A det(A) định thức ma trận A tr(A) vết ma trận A diagmn (d1 , d2 , , dp ) ma trận đường chéo cỡ m × n với p = min{m, n} σi (A) giá trị kì dị thứ i ma trận A ΣA khai triển thành giá trị kì dị ma trận A Σk khai triển thành giá trị kì dị ma trận Ak Chương Kiến thức chuẩn bị Chương trình bày lại số khái niệm đại số tuyến tính chuẩn vectơ, chuẩn ma trận, ma trận trực giao, khai triển thành giá trị kì dị số tính chất quan trọng phục vụ cho chương sau Nội dung chương chủ yếu tham khảo từ tài liệu [6] 1.1 Chuẩn vectơ Định nghĩa 1.1.1 Chuẩn vectơ Rn hàm f : Rn → R thỏa mãn tính chất sau: (i) ∀x ∈ Rn , f (x) ≥ 0, f (x) = ⇔ x = 0; (ii) f (x + y) ≤ f (x) + f (y), ∀x, y ∈ Rn ; ∀α ∈ R, ∀x ∈ Rn (iii) f (αx) = |α|f (x), Kí hiệu: f (x) = x Cho vectơ x = (x1 , x2 , , xn )T , chuẩn vectơ thơng dụng là: • Chuẩn p x p = (|x1 |p + |x2 |p + · · · + |xn |p ) p , p ≥ • Chuẩn (p = 1) x = |x1 | + |x2 | + · · · + |xn | Chương Kiến thức chuẩn bị • Chuẩn (p = 2) x = (|x1 |2 + |x2 |2 + · · · + |xn |2 ) = x, x = (xT x) • Chuẩn ∞ x 1.2 ∞ = max(|x1 |, |x2 |, , |xn |) Chuẩn ma trận Định nghĩa 1.2.1 Chuẩn ma trận Rm×n hàm số f : Rm×n → R thỏa mãn tính chất sau: (i) ∀A ∈ Rm×n ; f (A) ≥ 0, f (A) = ⇔ A = 0; (ii) f (A + B) ≤ f (A) + f (B), ∀A, B ∈ Rm×n ; ∀α ∈ R, ∀A ∈ Rm×n (iii) f (αA) = |α|f (A), Kí hiệu: f (A) = A  Cho ma trận A = (aij )m×n a11  a  21 =    a12 a1n a22   a2n   , chuẩn ma trận    am1 am2 amn thông dụng là: Chuẩn tốn tử Nếu ma trận A thuộc khơng gian vectơ Rm×n chuẩn A ứng với chuẩn p vectơ A = sup x=0 Ax p , ∀x ∈ Rn x p • Chuẩn (chuẩn cực đại theo cột) m A |aij | = max 1≤j≤n i=1 • Chuẩn A = sup x=0 Ax , ∀x ∈ Rn x Chương Kiến thức chuẩn bị • Chuẩn ∞ (chuẩn cực đại theo hàng) n A ∞ |aij | = max 1≤i≤m j=1     −1 −2   Ví dụ 1.2.2 Cho ma trận A =   0 5   −3 Chuẩn ma trận A A |aij | = max (|a1j | + |a2j | + |a3j | + |a4j |) = max j j i=1 = max(|a11 | + |a21 | + |a31 | + |a41 |; |a12 | + |a22 | + |a32 | + |a42 |; |a13 | + |a23 | + |a33 | + |a43 |) = max(|4| + | − 1| + |0| + |2|; |2| + |3| + |1| + |4|; |3| + | − 2| + |5| + | − 3|) = max(7; 10; 13) = 13 Chuẩn ∞ ma trận A A ∞ |aij | = max (|ai1 | + |ai2 | + |ai3 |) = max 1≤i≤4 j=1 1≤i≤4 = max(|a11 | + |a12 | + |a13 |; |a21 | + |a22 | + |a23 |; |a31 | + |a32 | + |a33 |; |a41 | + |a42 | + |a43 |) = max(|4| + |2| + |3|; | − 1| + |3| + | − 2|; |0| + |1| + |5|; |2| + |4| + | − 3|) = max(9; 6; 6; 9) = Chuẩn phần Lấy chuẩn cho phần tử ma trận, ta có m A p p n |aij |p = i=1 j=1 Đặc biệt, p = ta chuẩn Frobenius Kí hiệu: A nhiều cách định nghĩa khác nhau: m A F n |aij |2 , = i=1 j=1 F Chuẩn Frobenius có Chương Kiến thức chuẩn bị 10 A F = tr(AT A) Ngồi ra, chuẩn Frobenius cịn định nghĩa khác nhắc đến Hệ 1.6.5 Ví dụ 1.2.3 Ta xét ma trận A Ví dụ 1.2.2 Khi đó, chuẩn Frobenius ma trận A A F |aij |2 = i=1 j=1 = (|4|2 + |2|2 + |3|2 + | − 1|2 + |3|2 + | − 2|2 + |0|2 + |1|2 + |5|2 + |2|2 + |4|2 + | − 3|2 ) √ = 98 Hoặc A F tr(AT A) với =  4 −1    −1 T  A A = 2   0 −2 −3   Khi đó, A 1.3 F = tr(AT A) =  √     21 16  −2    = 16 30 −7    5 −7 47 −3 21 + 30 + 47 = √ 98 Tính trực giao Định nghĩa 1.3.1 Tập vectơ {x1 , x2 , , xp } khác vectơ không Rn trực giao xTi xj = i = j trực chuẩn xTi xj = δij ,  1, i = j δij := 0, i = j Định nghĩa 1.3.2 Ma trận Q Rn×n gọi trực giao QT Q = I (I ma trận đơn vị cỡ n × n) Ví dụ 1.3.3 Các ma trận sau ma trận trực giao: Chương Định lý Eckart - Young dạng rời rạc cho ma trận nguyên 41 Thuật toán Khai triển hạng với khoảng cách Hamming [u, v] = VOTE(A) Cho trước ma trận A ∈ Zm×n return Những vectơ u ∈ Z2m×1 v ∈ Z1×n thỏa mãn dH (A, uv) đạt cực tiểu v ← chọn ngẫu nhiên từ hàng ma trận A z ← số phần tử hàng A repeat vold ← v m ← số phần tử khớp v hàng A if mi zi then ui ← else ui ← end if if u = then v←1 else ind ← find(u) vi ← mode(A(ind, i)) end if until vold = v Theo Bổ đề 3.2.5, với ma trận A ∈ Zm×n u ∈ Zm×1 , ta tìm vectơ 2 v ∈ Z1×n để cực tiểu hóa khoảng cách Hamming A uv Đặc biệt, trường hợp này, với chuẩn Frobenius ma trận ta thay khoảng cách Hamming khoảng cách Euclide vectơ v thu khơng thay đổi Thật vậy, ta có A − uv Để A − uv F F = A F − 2uT Av T + u 2 v 22 đạt cực tiểu phiếm hàm f (u, v) = 2uT Av T − u 2 v 2 (3.2) phải cực đại Khi đó, cho trước vectơ nhị phân v, nghiệm tối ưu u cho bởi:  1, 2(Av T )i − v ≥ ui := 0, trường hợp lại (3.3) Chương Định lý Eckart - Young dạng rời rạc cho ma trận nguyên 42 Ngược lại, cho trước vectơ nhị phân u, nghiệm tối ưu v cho bởi:  1, 2(uT A)i − u ≥ vi := 0, trường hợp lại (3.4) Mặt khác match(A(i, :), v) − zeros(A(i, :)) = {n − (v − A(i, :))(v − A(i, :))T } − {n − A(i, :)A(i, :)T } = −vv T + 2A(i, :)v T = 2(Av T )i − v 2 (3.5) match(A(:, i), u) − zeros(A(:, i)) = {m − (u − A(:, i))T (u − A(:, i))} − {m − A(:, i)T A(:, i)} = −uT u + 2uT A(:, i) = 2(uT A)i − u 22 3.2.2 (3.6) Xấp xỉ với khoảng cách Euclide Trong nhiều ứng dụng, ta cần phân biệt khác biến Nghĩa biến có mức độ ưu tiên, trọng lượng giá trị khác Nếu xét liệu khơng gian Euclide khoảng cách thực hai điểm có nghĩa việc xấp xỉ với khoảng cách Euclide khác với khoảng cách Hamming Trong mục này, kí hiệu Z có nghĩa tập tất số nguyên thông thường Cho trước v (có thể khơng nhị phân) u cho công thức (3.3) nghiệm tối ưu Cụ thể, ta có định lý sau: Định lý 3.2.6 [8, Theorem 3, p 5] Cho trước A ∈ Zm×n v ∈ Z1×n Khi đó, số tất vectơ u ∈ Z2m×1 , giá trị nhỏ A − uv u∗ mà thành phần thứ i cho bởi:  1, 2(Av T )i − v ≥ ui := 0, trường hợp lại F đạt (3.7) Chương Định lý Eckart - Young dạng rời rạc cho ma trận nguyên 43 m F Chứng minh Vì A − uv A(i, :) − ui v = 2 nên cực tiểu A − uv F i=1 tương đương với cực tiểu số hạng riêng tổng Do ui ∈ {0, 1} nên ta xét hai trường hợp: m • Nếu ui = A − uv F A(i, :) 22 ; = i=1 m • Nếu ui = A − uv F A(i, :) − v 22 = i=1 Khi A(i, :) 2 A(i, :) − v 2 ⇒ ui = tối ưu; A(i, :) 2 < A(i, :) − v 2 ⇒ ui = tối ưu Do giá trị tối ưu cho bởi:  1, A(i, :) ≥ A(i, :) − v 2 ui := 0, trường hợp lại Ngược lại, cho trước u ta tìm v để A − uv F đạt cực tiểu Gọi Round(x) số nguyên gần x nhất, ta có định lý sau: Định lý 3.2.7 [8, Theorem 4, p 5] Cho trước A ∈ Zm×n u ∈ Zm×1 , u = Khi đó, số tất vectơ v ∈ Z1×n , giá trị nhỏ A − uv F đạt v ∗ cho bởi: v ∗ := Round uT A u (3.8) Chứng minh Viết lại công thức (3.2) sau: m − u f (u, v) = 2 vi − i=1 (uT A)i u 22 + Thật m − u i=1 2 (uT A)i vi − u 22 (uT A)i + u 2 (uT A)i u 2 (3.9) Chương Định lý Eckart - Young dạng rời rạc cho ma trận nguyên m = − u 2 vi2 − − u 2 vi i=1 m = (uT A)2i (uT A)2i + + 2vi (u A)i − u 22 u 22 m =− u m vi2 2 Khi A − uv F v vi (uT A)i +2 i=1 =− u (uT A)2i vi (uT A)i (uT A)2i + + u 22 u 42 u 22 T i=1 2 i=1 2 + 2uT Av T cực tiểu ( A ⇔ (2uT Av T − u 2 − u 2 i=1 ⇔− u 2 vi − F − 2uT Av T + u 2 v 22 ) cực tiểu v 22 ) cực đại m ⇔ 44 vi − (uT A)i u 22 (uT A)i u 22 + (uT A)i u 22 cực đại cực đại (uT A)i cực tiểu u 22 (uT A)i ⇔ vi = Round u 22 ⇔ vi − Trong trường hợp Z giới hạn tập tập số nguyên, toán tử Round trả lại giá trị bên ngồi Z Thay cho điều này, ta dùng cơng thức (3.9) để định nghĩa giá trị riêng biệt vi ∈ Z gần với (uT A)i u 22 Chú ý: Trong trường hợp u = 0, ta đơn giản gán v tùy ý, ví dụ v = mà không ảnh hưởng đến phép lặp Nhấn mạnh việc hạn chế u ∈ Zm×1 mục đích để làm cho cụm loại trừ lẫn nhau, ta thấy phần Điều đặc biệt luận văn làm việc với ma trận thừa số tập nhị phân Tuy nhiên, việc chứng minh Định lý 3.2.7 cịn áp dụng với vectơ nguyên u Trong trường hợp này, vectơ nguyên tối ưu u để A − uv cho bởi: u∗ := Round F đạt cực tiểu với v cố định Av T v 22 (3.10) Chương Định lý Eckart - Young dạng rời rạc cho ma trận nguyên 3.3 Thuật toán IMF 3.3.1 Quy tắc chung 45 Bây ta mô tả phương pháp xây dựng khai triển ma trận nguyên ma trận A cho trước Ý tưởng xây dựng khai triển thông qua dãy xấp xỉ hạng theo cách truyền thống Ba vấn đề cần giải là: Làm để đánh giá chất lượng xấp xỉ? Hai làm để đệ quy hạ hạng ma trận? Ba làm để xác định hạng tối ưu? Sau thiết lập xấp xỉ hạng uv A, ta gọi chung hàng A(i, :) ma trận A tương ứng với ui = hàng hoạt động gọi v vectơ mẫu vectơ đại diện hàng hoạt động Trước hết, đặt vectơ r họ khoảng cách hàng hoạt động A v, nghĩa rj := d(A(ij , :), v) (3.11) uij = Thứ hai, tính giá trị trung bình µ độ lệch chuẩn σ r Cho β > cố định, vận dụng quy tắc chung là: |rj − µ| > βσ (3.12) thành phần A(ij , :) bị loại từ cụm việc đặt uij = Có khả tất hàng hoạt động bị loại bỏ theo (3.12) đó, thuật tốn bị phá vỡ Để tránh tình trạng đó, ta giữ uil = rl = r Tham số β (3.12) vai trò ngưỡng ảnh hưởng đến phân chia cuối ma trận liệu Trong thuật tốn, ta điều chỉnh giá trị tham số β theo yêu cầu 3.3.2 Khai triển đệ quy Mục đích xấp xỉ hạng tách hàng A thành hai cụm loại trừ lẫn theo thuộc tính vốn có hàng cố gắng tìm vectơ đại diện cho hàng hoạt động Những hàng hoạt động Chương Định lý Eckart - Young dạng rời rạc cho ma trận nguyên 46 làm “mịn” tạo thành cụm chặt chẽ Các mục tiêu kiểm tra nhiều lần qua bước sau: Bước Cho trước ma trận A, đánh giá cụm u hàng hoạt động vectơ đại diện v Bước Dựa u có sẵn, tách ma trận A thành hai ma trận gồm tất hàng hoạt động không hoạt động tương ứng Bước Đệ quy áp dụng Bước cho ma trận Bước khơng thể tách q trình tách trước bị lặp lặp lại Bước Khi hành động Bước chấm dứt ghi u v tương ứng thêm cột hay hàng ma trận U V Thuật toán cho thấy khai triển A ≈ U V thơng qua VOTE mà không cần kiểm tra cỡ p ma trận đầu cuối U ∈ Zm×p V ∈ Zp×n Thuật tốn khơng phải IMF định nghĩa (3.1) p cuối thu Thuật tốn cực lớn Trong trường hợp cụm chứa thành phần, U = I V = A quan tâm Ta thấy việc tách A theo u đảm bảo kết ma trận U có cột trực giao, có nghĩa hàng A gán nhóm Một tính cho phép hầu hết ngơn ngữ lập trình đại làm cho phương pháp đặc biệt hiệu 3.4 Xấp xỉ hạng thấp tối ưu Trong ứng dụng xấp xỉ hạng thấp, vấn đề khó khăn ngày xác định trước hạng thấp k Thuật tốn tính tốn xấp xỉ A ≈ U V không hạn chế kích thước U ∈ Zm×p V ∈ Z p×n Câu hỏi đặt có cách để nhận hai ma trận Uk ∈ Zm×k Vk ∈ Z k×n từ U V cho A ≈ Uk Vk k < p Phần giải vấn đề: Chọn cặp ma trận tốt (Uk , Vk ) để d(A, Uk Vk ) đạt cực tiểu tất ma trận với cỡ tương ứng Chương Định lý Eckart - Young dạng rời rạc cho ma trận nguyên 47 Thuật toán Ma trận thừa số nguyên VOTE [u, v] = IMFVOTE(A, active, β) Cho trước A = ma trận Zm×n khai triển active = mảng số xác định ma trận A khai triển β = ngưỡng quy tắc chung V ∈ Zp×n cho số nguyên p thỏa mãn A ≈ U V return Các ma trận U ∈ Zm×p A ← A(active, :) u, v ← VOTE(A) % kiểm tra phương sai uactive ← find(u) for dòng A(i, :) A(uactive, :) if A(i, :) không đáp ứng quy tắc chung then uuactivei ← end if end for % giữ khai triển ma trận ZeroCheck ← find(u = 0) if ZeroCheck khác rỗng then active1 ← active(find(u = 1)) if active1 khác rỗng then IMFVOTE(A, active1, β) end if active0 ← active(ZeroCheck) IMFVOTE(A, active0, β) else tăng u v U V cột hàng tương ứng end if Chương Định lý Eckart - Young dạng rời rạc cho ma trận nguyên Giả sử 48   v  1 v   2 U = [u1 , u2 , , up ], V =   ,     vp với u1 , u2 , , up cột U v1 , v2 , , vp hàng V Những xấp xỉ hạng ui vi tìm thành cơng Thuật tốn mà khơng xét đến thứ tự Cho l = 1, 2, , p ta định nghĩa họ Sl sau:   v  i1  v   i2  Sl = (i1 , i2 , , il ) d A, [ui1 , ui2 , , uil ]       vil   v  j1  v   j2  = d A, [uj1 , uj2 , , ujl ]   , j1 ,j2 , ,jl     vjl d khoảng cách Hamming Euclide l phần tử (j1 , j2 , , jl ) tạo thành từ số riêng biệt {1, 2, , p} Tính chất “lồng nhau” Sl định lý sau sở cho định lý Eckart - Young dạng rời rạc cho ma trận nguyên: Định lý 3.4.1 [8, Theorem 5, p 8] Giả sử ma trận A ∈ Zm×n khai triển thành A ≈ U V với U ∈ Z2m×p V ∈ Z p×n theo Thuật tốn Khi đó, phần tử Ss phải xuất phần phần tử St s < t Chứng minh Ta chứng minh cho trường hợp s = t = 2, trường hợp khác tương tự Giả sử tồn số nguyên i1 ∈ S1 {i1 , i2 } ∈ / S2 , ∀i2 ∈ {1, 2, , p} Cho trước {j1 , j2 } ∈ S2 bất kì, ta có d A, [uj1 , uj2 ] vj1 vj2 < d A, [ui1 , uj2 ] vi1 vj2 (3.13) Chương Định lý Eckart - Young dạng rời rạc cho ma trận nguyên Sắp xếp lại hàng để ma trận A chia thành bốn phần   A  1 A   2 A =  , A3    A4 49 (3.14) hàng A1 , A2 A3 ứng với vị trí phần tử vectơ ui1 , uj1 , uj2 ba vectơ cột ma trận U A4 tương ứng với phần tử chung ui1 , uj1 uj2 Khi d(A, ui1 vi1 + uj2 vj2 ) = d(A1 , vi1 ) + d(A2 , 0) + d(A3 , vj2 ) + d(A4 , 0) d(A, uj1 vj1 + uj2 vj2 ) = d(A1 , 0) + d(A2 , vj1 ) + d(A3 , vj2 ) + d(A4 , 0) d(A, ui1 vi1 ) = d(A1 , vi1 ) + d(A2 , 0) + d(A3 , 0) + d(A4 , 0) d(A, uj1 vj1 ) = d(A1 , 0) + d(A2 , vj1 ) + d(A3 , 0) + d(A4 , 0) Do (3.13) nên d(A1 , vi1 ) + d(A2 , 0) > d(A1 , 0) + d(A2 , vj1 ) Do d(A, ui1 vi1 ) > d(A, uj1 vj1 ) mâu thuẫn với giả thiết i1 ∈ S1 Vì {i1 , i2 } ∈ S2 Định lý 3.4.1 cho ta hình dung ma trận thừa số U V xấp xỉ ma trận A Phương pháp thể định lý sau định lý luận văn Định lý 3.4.2 [8, Theorem 6, p 8] (Định lý Eckart - Young dạng rời rạc cho ma trận nguyên) Giả sử ma trận A ∈ Zm×n phân tích thành A ≈ U V với U ∈ Zm×p V ∈ Z p×n Thuật tốn Sắp xếp lại hàng d(A, u1 v1 ) ≤ d(A, u2 v2 ) ≤ ≤ d(A, up vp ) (3.15) Chương Định lý Eckart - Young dạng rời rạc cho ma trận nguyên 50 Khi đó, cho k = 1, 2, , p, tích Uk Vk , Uk Vk ma trận U V cho trước   v  1 v   2 Uk = [u1 , u2 , , uk ], Vk =       vk (3.16) xấp xỉ có khả tốt A với (1, 2, , k) Sk Chứng minh Chứng minh quy nạp theo k Với k = 1, khẳng định xếp lại (3.15) Giả sử khẳng định với k − nghĩa (1, 2, , k − 1) ∈ Sk−1 , ta (1, 2, , k) ∈ Sk Chứng minh tương tự Định lý 3.4.1 làm phần ma trận Theo Định lý 3.4.1, tồn số nguyên q ∈ {k, k + 1, , p} thỏa mãn (1, 2, , k − 1, q) ∈ Sk • Nếu q = k ta có điều phải chứng minh • Nếu q = k, lấy hai ma trận Uk := [Uk−1 , uq ], Vk := Vk−1 Các cột vq Uk loại trừ lẫn Vì (1, 2, , k − 1, k) ∈ / Sk nên d(A, Uk Vk ) < d(A, Uk Vk ) ⇔ d(A, Uk−1 Vk−1 + uq vq ) < d(A, Uk−1 Vk−1 + uk vk ) Khơng tính tổng qt, ta chia A thành khối (3.14) hàng A1 , A2 A3 ứng với số Uk−1 , uq uk , A4 ứng với phần tử chung Uk−1 , uq uk Khi d(A, Uk−1 Vk−1 + uq vq ) = d(A1 , Vk−1 ) + d(A2 , vq ) + d(A3 , 0) + d(A4 , 0) d(A, Uk−1 Vk−1 + uk vk ) = d(A1 , Vk−1 ) + d(A2 , 0) + d(A3 , vk ) + d(A4 , 0) d(A, uq vq ) = d(A1 , 0) + d(A2 , vq ) + d(A3 , 0) + d(A4 , 0) Chương Định lý Eckart - Young dạng rời rạc cho ma trận nguyên 51 d(A, uk vk ) = d(A1 , 0) + d(A2 , 0) + d(A3 , vk ) + d(A4 , 0) Do (3.13) nên d(A2 , vq ) + d(A3 , 0) < d(A2 , 0) + d(A3 , vk ) Do d(A, uq vq ) < d(A, uk vk ), mâu thuẫn d(A, uq vq ) ≥ d(A, uk vk ) (vì q ∈ {k + 1, k + 2, , p}) Thuật toán đưa để tính xấp xỉ bậc k thay tìm đủ p cột p hàng, bước lặp lớn, khơng biết dừng Thuật tốn Thuật toán Hạng thấp tối ưu: [U, V ] = LOWRANKAPPROX(A, k) Cho trước A = ma trận Zm×n số nguyên k return Các thừa số hạng thấp U ∈ Zm×k V ∈ Zk×n U, V ← IMFVOTE(A, active, β) for all i từ tới p r ← [r; match(A, U (:, i)V (i, :))] end for index-rankings ← sort(r) U ← U (:, index-rankings(1 : k)) V ← V (index-rankings(1 : k), :) Thuật tốn tìm khai triển U V thay cho phần định lý khai triển kì dị định lý Eckart - Young cổ điển (chỉ cần lấy giá trị kì dị thứ k + 1) Ở đây, cách làm tương tự thay đưa định lý khai triển người ta đưa thuận tốn tìm khai triển Sau khai triển xong, xếp khai triển theo thứ tự cho: d(A, u1 v1 ) ≤ d(A, u2 v2 ) ≤ · · · ≤ d(A, up vp ); giống việc xếp σ1 ≥ σ2 ≥ · · · ≥ σp Sau xếp xong, lấy k cột U , k hàng V thu ma trận xấp xỉ tốt Kết luận Luận văn trình bày số kiến thức đại số tuyến tính chuẩn vectơ, chuẩn ma trận, tính trực giao quan tâm đến khai triển thành giá trị kì dị ma trận làm giảm độ phức tạp tính tốn tính chất cần thiết để chứng minh cho định lý Chương Chương luận văn, phát biểu chứng minh chi tiết hai định lý Eckart - Young cổ điển mở rộng cho chuẩn chuẩn Frobenius Chương nội dung luận văn, chúng tơi làm việc chủ yếu với hai khoảng cách Hamming Euclide, đưa số thuật tốn tìm khai triển thuật toán xấp xỉ hạng thấp tối ưu Các ví dụ minh họa luận văn tác giả luận văn đề xuất theo gợi ý Cơ hướng dẫn Một vấn đề khó chọn số nguyên k để thu xấp xỉ tốt nhất? Tuy nhiên, vấn đề nằm phạm vi nghiên cứu luận văn Ta nhận xét rằng, định lý Eckart Young dạng rời rạc cho ma trận nguyên đáp ứng yêu cầu liệu lấy miền nguyên định lý yếu định lý Eckart - Young cổ điển xấp xỉ lấy cột U hàng V theo Sl 52 Phụ lục Giả nghịch đảo ma trận Giả nghịch đảo ma trận A cỡ m × n ma trận khái quát ma trận tùy ý giống khái niệm khả nghịch ma trận vuông, ma trận khả nghịch Giả nghịch đảo biểu biễn từ SVD A sau: Cho SVD A A=U S V T, 0 U, V ma trận trực giao, S ma trận đường chéo mà đường chéo chứa giá trị kì dị (dương) A Khi đó, giả nghịch đảo A ma trận cỡ n × m định nghĩa A+ = V S −1 0 UT A+ có số chiều chuyển vị A Ma trận có nhiều tính chất hữu ích: (i) Nếu rank(A) = n < m nghĩa AT A khơng suy biến, A+ nghịch đảo trái A (A+ A = In ) Khi A+ = (AT A)−1 AT (ii) Nếu rank(A) = m < n nghĩa AT A khơng suy biến, A+ nghịch đảo phải A (AA+ = Im ) Khi A+ = AT (AAT )−1 (iii) Nếu A ma trận vng, khả nghịch giả nghịch đảo A+ = A−1 , (iv) Nghiệm toán Ax − y x 53 x∗ = A+ y Phụ lục 54 Ví dụ cho ma trận A = 1 1 Ta có 7  26 36 36 46   36 50 50 64   AT A =  , 36 50 50 64   46 64 64 82  AAT = 28 , 28 204 (AAT )−1 = 6, 375 −0, 875 −0, 875 0, 125 Nghịch đảo phải  AT (AAT )−1 Khi ta có AA+ = 0  −0, 25    0, 25    =  = A+  0, 25    −1, 0, 25 Tài liệu tham khảo [A] Tài liệu tiếng Việt [1] Lê Tuấn Hoa (2005), Đại số tuyến tính qua ví dụ tập, NXB ĐHQG Hà Nội [2] Trần Trọng Huệ (2004), Giáo trình Đại số tuyến tính hình học giải tích (Tập I), NXB ĐHQG Hà Nội [3] Ngô Việt Trung (2001), Đại số tuyến tính, NXB ĐHQG Hà Nội [B] Tài liệu tiếng Anh [4] C Eckart and G Young (1936), "The approximation of one matrix by another of lower rank", Psychometrika, 1(3), 211-218 [5] J.-B Hiriart-Urruty and H Y Le (2013), "From Eckart & Young Approximation to Moureau envelopes and vice versa", RAIRO - Operations Research, 47(3), 299-310 [6] G H Golub, C F Van Loan (1996), Matrix Computations (third edition), Johns Hopkins University Press Baltimore, MD, USA [7] M M Lin (2011), "Discrete Eckart-Young theorem for integer matrices", SIAM J Matrix Anal & Appl., 32(4), 1367-1382 [8] M M Lin, B Dong, M T Chu (2005), "Integer Matrix factorization and its Application", Preprint, Technical Report [9] G.W Stewart (1993), "On the early history of the singular value decomposition", SIAM Rev., 35(4), 551-566 55 ... Định lý 3.4.1 cho ta hình dung ma trận thừa số U V xấp xỉ ma trận A Phương pháp thể định lý sau định lý luận văn Định lý 3.4.2 [8, Theorem 6, p 8] (Định lý Eckart - Young dạng rời rạc cho ma. .. đầu Chương "Định lý Eckart - Young" trình bày hai định lý Eckart Young cổ điển Eckart - Young mở rộng Chương "Định lý Eckart - Young dạng rời rạc cho ma trận nguyên" khai triển ma trận ban đầu... thuật tốn tìm khai triển cho ma trận ngun dạng rời rạc, từ thu ma trận xấp xỉ tốt Nội dung chương chủ yếu tác Chương Định lý Eckart - Young dạng rời rạc cho ma trận nguyên 37 giả tham khảo từ