ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Vũ Tiến Dũng GIẢI HỆ PHƯƠNG TRÌNH KÍCH THƯỚC LỚN VÀ ĐIỀU KIỆN XẤU TRÊN BÓ MÁY TÍNH LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội - 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Vũ Tiến Dũng GIẢI HỆ PHƯƠNG TRÌNH KÍCH THƯỚC LỚN VÀ ĐIỀU KIỆN XẤU TRÊN BÓ MÁY TÍNH Chuyên ngành: Bảo đảm toán học cho máy tính và hệ thống tính toán Mã số: 62 46 35 01 LUẬN ÁN TIẾN SĨ TOÁN HỌC Người hướng dẫn khoa học: GS.TSKH. PHẠM KỲ ANH Hà Nội - 2014 LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi dưới sự hướng dẫn của GS. Phạm Kỳ Anh. Các số liệu, kết quả tr ình bày trong luận án là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Nghiên cứu sinh Vũ Tiến Dũng i LỜI CẢM ƠN Trước hết tôi xin gửi lời cảm ơn chân thành và sâu sắc tới Thầy hướng dẫn, GS. TSKH. Phạm Kỳ Anh. Trong suốt quá trình thực hiện luận án, tôi luôn nhận được sự giúp đỡ tận tình, quý báu của Thầy. Nhờ những ý tưởng mà Thầy đã gợi ý, những góp ý, hướng dẫn của Thầy, những tài liệu bổ ích mà Thầy đã cung cấp cũng như những cuộc trao đổi thú vị cùng Thầy về công việc nghiên cứu, tôi đã hoàn thành đề tài của mình. Và hơn cả, trong suốt quá trình học tập trước đây và trong quá trình thực hiện luận án, tôi luôn cảm nhận được tình thương quý, tin yêu của thầy giành cho tôi, sự động viên khích lệ của thầy khi tôi gặp khó khăn tạo động lực cho tôi vững tin thực hiện quá trình nghiên cứu. Đối với cá nhân tôi, thầy không chỉ đơn thuần là người hướng dẫn khoa học mà còn là người cha thứ hai của tôi. Tôi xin chân thành cảm ơn các thầy cô và anh chị em trong Bộ môn Tin học, Khoa Toán-Cơ-Tin học, đặc biệt GS TS Đặng Huy Ruận, PGS TS Nguyễn Hữu Ngự, PGS TS Đỗ Trung Tuấn, PGS TS Lê Trọng Vĩnh, TS Nguyễn Thị Minh Huyền, đã luôn chia sẻ, động viên, tạo điều kiện thu xếp công việc thuận lợi, giúp đỡ tôi rất nhiều trong việc hoàn thành luận án này. Tôi xin chân thành cảm ơn các thầy cô, các anh chị và các bạn trong Xemina "Toán học tính toán" về những thảo luận và góp ý trong các buổi Xemina. Đặc biệt, tôi xin chân thành cảm ơn GS TSKH Nguyễn Hữu Công, PGS TSKH Vũ Hoàng Linh, PGS TS Nguyễn Hữu Điển, GS TS Đặng Quang Á, PGS TSKH Phạm Huy Điển, PGS TS Nguyễn Minh Tuấn, TS Nguyễn Trung Hiếu đã giúp đỡ, góp những ý kiến xác đáng để luận án được hoàn thiện hơn. Tôi xin chân thành cảm ơn các thầy và anh chị em trong Trung tâm Tính toán Hiệu năng cao, ĐHKHTN, ĐHQG Hà Nội. Trong suốt thời gian học tập trước đây và quá trình nghiên cứu sinh, Trung tâm đã tạo điều kiện cho tôi được tìm hiểu tiếp cận các phương tiện, máy móc và tạo môi trường làm việc thuận lợi để tôi có thể thực hiện đề tài của mình. Tôi cũng rất biết ơn Trường ĐHKHTN, ĐHQG Hà Nội. Công tác quản lý đào tạo và môi trường nghiên cứu của Trường đã góp phần không nhỏ để cho luận án này được hoàn thành đúng dự định. Xin chân thành cảm ơn TS Cao Văn Chung, Lê Trung Kiên, Nguyễn Trung ii Kiên, Nguyễn Thị Thanh Lan, Vũ Anh Mỹ, Đặng Văn Hiếu và các bạn khác, những người đã chia sẻ, giúp đỡ về nhiều mặt, để tôi có thể hoàn thành quá trình nghiên cứu của mình. Tôi xin gửi lời cảm ơn tới Quỹ Phát triển Khoa học Công nghệ Quốc gia Việt Nam (NAFOSTED). Luận án này được hỗ trợ một phần về mặt tài chính bởi Quỹ, trong khuôn khổ Đề tài Nghiên cứu khoa học cơ bản mã số 101.02.4209. Cuối cùng, tôi muốn bày tỏ lòng biết ơn sâu sắc tới mẹ và những người thân trong gia đình, những người đã cảm thông và chia sẻ mọi khó khăn cùng tôi trong suốt những năm tháng qua để tôi có thể hoàn thành luận án. Luận án này, và những gì tôi đang cố gắng thực hiện, là để gửi tới cha, mẹ, vợ và những người thân trong gia đình, với tất cả lòng biết ơn sâu sắc nhất. iii Mục lục Lời cam đoan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i Lời cảm ơn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ii Danh mục các ký hiệu và chữ viết tắt. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii Danh mục các bảng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . x Danh mục các hình vẽ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi Mở đầu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 Chương 1. Kiến thức chuẩn bị. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.1. Nguyên lý tính toán song song. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.1.1. Kiến trúc máy tính song song . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.1.2. Lập trình song song . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.1.3. Đánh giá hiệu quả của tính toán song song . . . . . . . . . . . . . . . . 23 1.2. Bài toán kích thước lớn, điều kiện xấu và bài toán đặt không chỉnh 24 1.2.1. Bài toán kích thước lớn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.2.2. Bài toán đặt không chỉnh và bài toán điều kiện xấu . . . . . . . . . 27 1.2.3. Một số phương pháp hiệu chỉnh . . . . . . . . . . . . . . . . . . . . . . . . . . 30 1.2.4. Quy trình giải một bài toán kích thước lớn và điều kiện xấu trên bó máy tính . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 1.2.5. Một số phương pháp tuần tự và song song giải hệ phương trình toán tử. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 iv Chương 2. Phương pháp song song giải hệ phương trình toán tử tuyến tính và ứng dụng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 2.1. Phương pháp chỉnh lặp song song . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 2.2. Giải hệ phương trình đại số tuyến tính quá xác định và ứng dụng trong bài toán khôi phục ảnh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 2.2.1. Phương pháp chỉnh lặp hiện song song và chỉnh lặp ẩn song song cho hệ phương trình đại số tuyến tính quá xác định . . . . . . . . . . . . . . . 39 2.2.2. Ước lượng sai số của phương pháp. . . . . . . . . . . . . . . . . . . . . . . . 43 2.3. Thử nghiệm số . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2.3.1. Giải hệ phương trình đại số tuyến tính quá xác định . . . . . . . . 46 2.3.2. Bài toán khôi phục ảnh đa cấp xám . . . . . . . . . . . . . . . . . . . . . . . 52 2.4. Phương pháp song song toàn phần giải một lớp phương trình đạo hàm riêng đại số . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 2.4.1. Phân rã bài toán biên cho phương trình đạo hàm riêng đại số thành bài toán biên cho phương trình elliptic và phương trình parabolic . . 62 2.4.2. Phương pháp phân rã song song giải bài toán biên cho phương trình elliptic và parabolic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 2.4.3. Thử nghiệm số . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 Chương 3. Phương pháp chỉnh lặp Gauss-Newton song song giải hệ phương trình toán tử phi tuyến và ứng dụng. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 3.1. Phương pháp chỉnh lặp Gauss-Newton và phương pháp chỉnh lặp Gauss -Newton song song . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 3.2. Sự hội tụ của phương pháp chỉnh lặp Gauss-Newton song song. . . . 80 3.3. Áp dụng cho hệ phi tuyến dưới xác định . . . . . . . . . . . . . . . . . . . . . . . . 86 3.4. Hệ phương trình có cấu trúc thưa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 v 3.5. Mối liên hệ giữa phương pháp chỉnh lặp Gauss-Newton song song và các phương pháp chỉnh lặp song song . . . . . . . . . . . . . . . . . . . . . . . . 95 Kết luận. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 Danh mục công trình khoa học của tác giả liên quan đến luận án . . . . . . 99 Tài liệu tham khảo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 vi Danh mục các ký hiệu và chữ viết tắt ·,· Tích vô hướng (hoặc tích đối ngẫu). x Chuẩn của véc tơ x. D Chuẩn của ma trận D. F  (x) Đạo hàm Frechet của F tại điểm x. cond(A) Số điều kiện của ma trận A. >> Ký hiệu lớn hơn nhiều. A T Ma trận chuyển vị của ma trận A. Toeplitz Ma trận Toeplitz. vec(F) Phép dãn ma trận F thành véc tơ. ⊗ Tích Kronecker. A  Toán tử liên hợp của toán tử A. H Không gian Hilbert. PIIRM (PEIRM) Phương pháp chỉnh lặp ẩn (hiện) song song. PEIRMm Phương pháp PEIRM với m bước lặp trong. IRGNM Phương pháp chỉnh lặp Gauss Newton. PIRGNM Phương pháp chỉnh lặp song song Gauss Newton. PSU Phương pháp phân rã song song. PFS Phương pháp song song với bước phân. LW Phương pháp lặp Landweber. TSVD Phương pháp khai triển kỳ dị chặt cụt. CGLS Phương pháp bình phương tối thiểu gradient liên hợp. x † Nghiệm của hệ phương trình. vii IVP Bài toán giá trị ban đầu. BVP Bài toán biên. x δ n Nghiệm xấp xỉ thứ n của x † . TOL(REN = T OL/x † ) Sai số (Sai số tương đối). n max Tổng số bước lặp. n min Số n nhỏ nhất khi sai số tương đối (REN) của phương pháp tương ứng nhỏ hơn một giá trị cho trước. span(V k ) Không gian con sinh bởi tập k véc tơ V k = {v 1 ,. . .,v k }. IBVP Bài toán biên - ban đầu. T p (T s ) Thời gian (giây) khi chạy song song (tuần tự). S p = T s /T p (E p = S p /N) Tỷ lệ tăng tốc độ (Hiệu suất trung bình mỗi CPU). SISD Đơn lệnh, đơn dòng dữ liệu. SIMD Đơn lệnh, đa dòng dữ liệu. MISD Đa lệnh, đơn dòng dữ liệu. MIMD Đa lệnh, đa dòng dữ liệu. VPU Bộ xử lý véc tơ. SM_MIMD Kiến trúc máy tính đa lệnh, đa dòng dữ liệu với bộ nhớ chia sẻ. DM_MIMD Kiến trúc máy tính đa lệnh, đa dòng dữ liệu với bộ nhớ phân tán. UMA Kiến trúc máy tính song song với bộ nhớ chia sẻ truy cập ngang quyền. SMP Máy tính đa bộ xử lý đối xứng. NUMA Kiến trúc máy tính song song với bộ nhớ chia sẻ truy cập không ngang quyền. GPU Đơn vị xử lý đồ họa. CUDA Kiến trúc thiết bị tính toán hợp nhất. viii [...]... không gian tuyến tính định chuẩn X vào không gian tuyến tính định chuẩn Y, còn y ∈ Y là dữ liệu đã cho trên bó máy tính Một hệ phương trình điều kiện xấu và kích thước lớn được hiểu theo nghĩa sau: • Hệ phương trình tuyến tính được gọi là điều kiện xấu nếu một sai số nhỏ của vế phải hoặc của ma trận hệ số có thể gây nên sai số rất lớn ở nghiệm • Hệ phương trình phi tuyến là điều kiện xấu nếu ma trận... thước lớn và điều kiện xấu iii Quy trình giải một bài toán kích thước lớn và điều kiện xấu trên bó máy tính Một số phương pháp tuần tự và song song giải bài toán kích thước lớn, điều kiện xấu và bài toán đặt không chỉnh Các khái niệm được trình bày dưới đây chủ yếu được tham khảo từ [1,2,4,13] và các tài liệu tham chiếu trong đó 1.1 Nguyên lý tính toán song song Tính toán song song là quá trình tính toán... phương trình đại số tuyến tính hoặc phi tuyến kích thước lớn và điều kiện xấu Hơn nữa, một số hệ phương trình đại số lại có tính chất tính điều kiện xấu tăng tỷ lệ thuận với số chiều Ví dụ trong lĩnh vực xử lý ảnh của tin học người ta cần khôi phục hình ảnh ban đầu của đối tượng bị nhiễu (làm mờ) trong quá trình xử lý Bài toán khôi phục ảnh dẫn đến giải hệ phương trình đại số tuyến tính kích thước lớn và. .. Ngoài tính chất điều kiện xấu, chúng ta còn quan tâm đến các hệ có kích thước lớn theo nghĩa số biến và số phương trình, cũng như khối lượng tính toán và bộ nhớ lưu trữ lớn Ta đã biết, nhiều bài toán của khoa học, công nghệ, kinh tế, sinh thái, vv đưa về hệ phương trình vi phân thường, phương trình đạo hàm riêng và tích phân Việc giải các bài toán bằng phương pháp rời rạc hóa thường dẫn đến giải hệ phương. .. trúc máy tính song song, lập trình song song và bảo đảm toán học cho các bó máy tính bằng các thuật toán song song Luận án cũng giới thiệu chi tiết về hai bó máy tính IBM 1350 và IBM 1600 tại Trung tâm tính toán hiệu năng cao, Trường ĐHKHTN, ĐHQGHN ii Khái niệm về bài toán điều kiện xấu, bài toán đặt không chỉnh Những bài toán dẫn đến việc giải hệ phương trình tuyến tính hoặc phi tuyến kích thước lớn và. .. luận và tài liệu tham khảo, luận án được chia thành 3 chương • Trong Chương 1 chúng tôi trình bày một số kiến thức chuẩn bị như nguyên lý chung của tính toán song song, bài toán kích thước lớn, điều kiện xấu và bài toán đặt không chỉnh, một số phương pháp hiệu chỉnh, phương pháp tuần tự và song song giải hệ phương trình đặt không chỉnh • Chương 2 trình bày phương pháp song song giải hệ phương trình. .. thuộc vào giải thuật giải quyết mà còn phụ thuộc nhiều vào hệ thống máy tính Các hệ thống máy tính song song lần lượt ra đời với nhiều kiến trúc và kỹ thuật xây dựng khác nhau Hiện tại, các máy tính song song có thể tạm chia làm các loại sau [67]: i Máy tính song song dùng chung bộ nhớ với bộ xử lý đa lõi (Multicores computers) hoặc với các bộ xử lý đối xứng ii Hệ thống máy tính song song quy mô lớn. .. đại số 10 • Chương 3 đề xuất phương pháp chỉnh lặp song song Gauss-Newton giải hệ phương trình toán tử phi tuyến Tiếp theo, chúng tôi áp dụng phương pháp này để giải hệ phương trình phi tuyến dưới xác định và hệ phương trình phi tuyến thưa Với một số giả thiết thích hợp về điều kiện nguồn, chúng tôi đã đánh giá được tốc độ hội tụ của phương pháp Tương ứng với mỗi phương pháp và các ứng dụng, chúng tôi... không khai thác tốt được hiệu năng của máy tính song song Cùng với sự phát triển của các kiến trúc máy tính song song, vấn đề cấp thiết được nhiều nhà khoa học trong nước cũng như trên thế giới quan tâm là phát triển các thuật toán song song Luận án này nghiên cứu một số phương pháp song song giải hệ phương trình tuyến tính hoặc phi tuyến kích thước lớn và điều kiện xấu Xét bài toán: F(x) = y, 4 (1) trong... trình toán tử tuyến tính và một số ứng dụng Chương này tập trung trình bày ứng dụng của phương pháp chỉnh lặp song song trong việc giải hệ phương trình tuyến tính quá xác định và trong bài toán khôi phục ảnh Cuối Chương 2, chúng tôi giới thiệu một phương pháp song song toàn phần giải hệ phương trình đại số nhận được sau khi sai phân hóa bài toán biên-ban đầu cho một lớp phương trình đạo hàm riêng đại . X vào không gian tuyến tính định chuẩn Y, còn y ∈Y là dữ liệu đã cho trên bó máy tính. Một hệ phương trình điều kiện xấu và kích thước lớn được hiểu theo nghĩa sau: • Hệ phương trình tuyến tính. Dũng GIẢI HỆ PHƯƠNG TRÌNH KÍCH THƯỚC LỚN VÀ ĐIỀU KIỆN XẤU TRÊN BÓ MÁY TÍNH LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội - 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN Vũ Tiến Dũng GIẢI HỆ PHƯƠNG. HỌC TỰ NHIÊN Vũ Tiến Dũng GIẢI HỆ PHƯƠNG TRÌNH KÍCH THƯỚC LỚN VÀ ĐIỀU KIỆN XẤU TRÊN BÓ MÁY TÍNH Chuyên ngành: Bảo đảm toán học cho máy tính và hệ thống tính toán Mã số: 62 46 35 01 LUẬN ÁN TIẾN