1. Trang chủ
  2. Luận Văn - Báo Cáo

KHAI PHÁ LUẬT KẾT HỢP VỚI DỮ LIỆU PHÂN TÁN DỰA TRÊN MÔ HÌNH MAPREDUCE

28 785 2
KHAI PHÁ LUẬT KẾT HỢP VỚI DỮ LIỆU PHÂN TÁN DỰA TRÊN MÔ HÌNH MAPREDUCE

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

KHAI PHÁ LUẬT KẾT HỢP VỚI DỮ LIỆU PHÂN TÁN DỰA TRÊN MÔ HÌNH MAPREDUCE Chương 1: TỔNG QUAN KHAI PHÁ DỮ LIỆU Chương 2: KHAI PHÁ LUÂṬ KẾT HƠP Chương 3: TỔNG QUAN MÔ HÌNH LÂP̣ TRÌNH MAPREDUCE Chương 4: ỨNG DỤNG LUẬT KẾT HỢP TRONG MÔ HÌNH MAPREDUCE

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG TRẦN THỊ LỊCH KHAI PHÁ LUẬT KẾT HỢP VỚI DỮ LIỆU PHÂN TÁN DỰA TRÊN MÔ HÌNH MAPREDUCE LUẬN VĂN THẠC SĨ KỸ THUẬT HÀ NỘI – 2014 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHAI PHÁ LUẬT KẾT HỢP VỚI DỮ LIỆU PHÂN TÁN DỰA TRÊN MÔ HÌNH MAPREDUCE Chuyên ngành: Khoa học máy tính Mã số : 60.48.01.01 LUẬN VĂN THẠC SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS TRẦN ĐÌNH QUẾ HÀ NỘI - 2014 1  1.  tài  (Data Mining )                ,              -            kinh          ,                         g,                                                    2                                                                Khai                     .    ,                  . 3                                           .      adoop,          MapReduce,         .      ,              p.      ,                        .   ,          MapReduce, Hadoop. 4       .              Eclipse.                                            . 4  1:                        ,  ,        , quy . 2:                           . Ch3:          MAPREDUCE  ,  ,          .          . 4: TRONG     ,    ,                    . 5  1.1           ? 1.2          1. Làm        1.3     quy  1.3.6         6   Phân lo       1.6               1.8         -       7 2:         P 2.1      2.1.1  : Độ hỗ trợ (support)  Y là : Support = : Độ tin cậy (Confidence)  X  Y là :  Confidence = Các lu                và Minimum confidence            min_sup goi là frequent itemsets. 2.1.2          2. -  -  - . 8 Tìm t        Y sao cho support(X  Y) >= minsup và confidence(X  Y) >= mincof.                         2.2                  2.2.1                 2.2.2 Thu 2.2.3                 [...]... hiểu sâu hơn nữa về mô hình lập trình MapReduce bởi vì mô hình này là mô hình mới, áp dụng với lượng cơ sở dữ liệu lớn và phân tán để có bài toán thực nghiệm thực tế hơn  Cơ sở dữ liệu đưa vào thực nghiệm chưa đa dạng 3 Hƣớng nghiên cứu tiếp theo  Nghiên cứu mô hình MapReduce áp dụng vào bài toán khai phá Web  Ứng dụng luật kết hợp trong thương ma ̣i điê ̣n tử khai phá dữ liệu trên các trang thương... lồ, làm sao để lưu trữ và phân tích nguồn dữ liệu đó nếu chúng ta có đủ khả năng phân tích và xử lý nguồn dữ liệu đó, biến những dữ liệu thô thành những thông tin hữu ích với một mức chi phí hợp lý 3.1.2 MapReduce là gì ? MapReduce là mô hình lập trình và thực thi song song các xử lý và phát sinh các tập dữ liệu lớn” Hình 3.1 Mô hình MapReduce của Google 11 12 MapReduce sử dụng hai thao... (series) với cả hai thuật toán Apriori tổng quát và PALM với một tập dữ liệu lớn (100 bản ghi) cho kết quả như hình 4.8  Như vậy với các dữ liệu thực nghiệm trên đã chứng minh cho ta thấy việc áp dụng mô hình MapRedue vào giải quyết một bài toán khai phá luật kết hợp giúp chúng ta làm giảm thời gian thực hiện thuật toán và thực hiện có hiệu quả hơn đối với bài toán cần xử lý một khối lượng lớn dữ liệu. .. tính được kết nối với nhau và cài đặt chương trình MapReduce và thường kèm theo nó là một hệ thống chia sẻ file phân tán (HDFS) 15 CHƢƠNG 4: ỨNG DỤNG LUẬT KẾT HỢP TRONG MÔ HÌ NH MAPREDUCE 4.1 Giới thiệu bài toán Maket Basket Analysis (MBA) là một trong những phương pháp khai phá dữ liệu để phân tích dựa trên một tập dữ liệu với nhau Ý tưởng chính của thuật toán là đi tìm sự kết hợp của các... vấn đề chính sau:  Phân tích thuật toán Apriori áp dụng trên mô hình MapReduce và theo phương pháp tuần tự thông thường Cho thấy ưu điểm của MapReduce hơn hẳn về độ phức tạp của thuật toán  Ứng dụng mô hình MapReduce cho bài toán khai khá luật kết hợp Masket Basket Analysis, cài đặt Hadoop trên Java  Cài đặt, đánh giá thực nghiệm và so sánh thuật toán Apriori với mô hình MapReduce và Apriori... về luật kết hợp, một số thuật toán dùng trong khai phá luật kết hợp, làm quen thuật toán Apriori  Phân biệt thế nào là độ hỗ trợ, độ tin cậy, Frequent items, ItemSet và đặc biệt là cách tìm ra một frequent items như thế nào?  Thuật toán Apriori được dùng để phát hiện các luật kết hợp dạng khẳng định nhị phân chứ không thể phát hiện các luật kết hợp ở dạng phủ định 10 ̉ CHƢƠNG 3: TÔNG QUAN MÔ... sở dữ liệu phân tán Phân tích, đánh giá các ưu nhược điểm của thuật toán từ đó đưa ra các đề xuất cải tiến nhằm tăng hiệu quả của thuật toán Tìm hiểu kỹ thuật toán khai phá luật kết hợp trong khai phá dữ liệu  Nghiên cứu mô ̣t mô hinh lâ ̣p trinh MapReduce trong ̀ ̀ viê ̣c ứng du ̣ng vào các bài toán xử lý mô ̣t lươ ̣ng lớn dữ liê ̣u Sử du ̣ng H adoop, mô ̣t thể hiê ̣n của MapReduce, ... cho viê ̣c phân tích dữ liê ̣u  Áp du ̣ng cấ u trúc , tham chiế u các đă ̣c trưng của mô hình MapReduce vào bài toán phân tich xu hướng ́ khách hàng nhằm rút ra những luật kết hợp 25  Qua thực nghiệm rút ra được ưu điểm, nhược điểm của mô hình MapReduce và của luật kết hợp và cách khắc phục những nhược điểm đó  Thử nghiệm được bài toán Maket Basket Analysis với mô hình MapReduce. .. 1 Kết quả đạt đƣợc trong luận văn Sau một thời gian tìm hiểu, nghiên cứu đến nay luận văn đã được hoàn thành Về cơ bản luận văn đáp ứng được các nội dung đã đăng ký trong đề cương Cụ thể luận văn đã đạt được một số kết quả chính sau:  Tìm hiểu, nghiên cứu được một số thuật toán khai phá dữ liệu, khai phá luật kết hợp Đi sâu vào nghiên cứu một thuật toán khai phá luật kết hợp trong cơ sở dữ liệu. .. tiện lưu trữ dữ liệu phân tán trên nhiều node 3.2.2 Lịch sử Hadoop 3.2.3 Các thành phần của Hadoop 3.2.4 Ứng dụng của Hadoop 3.3 Hadoop Distributed File System (HDFS) 3.3.1 Giới thiê ̣u 3.4 Kế t luâ ̣n Một số ván đề đã tìm hiểu trong chương này:  MapReduce là mô hình lập trình và thực thi song song các xử lý và phát sinh các tập dữ liệu lớn  MapReduce là một mô hình được áp dụng trên một hệ . LUẬT KẾT HỢP VỚI DỮ LIỆU PHÂN TÁN DỰA TRÊN MÔ HÌNH MAPREDUCE LUẬN VĂN THẠC SĨ KỸ THUẬT HÀ NỘI – 2014 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHAI PHÁ LUẬT KẾT HỢP VỚI DỮ LIỆU PHÂN TÁN DỰA TRÊN. : 60.48.01.01 LUẬN VĂN THẠC SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS TRẦN ĐÌNH QUẾ HÀ NỘI - 2014 1  1.  tài  (Data Mining )               .     16 //(1) Map transaction t in data source to all Map nodes; C 1 = {size 1 frequent items}; // (2) min_support

Ngày đăng: 24/10/2014, 15:19

Xem thêm: KHAI PHÁ LUẬT KẾT HỢP VỚI DỮ LIỆU PHÂN TÁN DỰA TRÊN MÔ HÌNH MAPREDUCE, KHAI PHÁ LUẬT KẾT HỢP VỚI DỮ LIỆU PHÂN TÁN DỰA TRÊN MÔ HÌNH MAPREDUCE

Từ khóa liên quan

Tài liệu cùng người dùng

Tài liệu liên quan