Đang tải... (xem toàn văn)
Nghiên cứu phương pháp học sâu cho lọc cộng tác (LV thạc sĩ)Nghiên cứu phương pháp học sâu cho lọc cộng tác (LV thạc sĩ)Nghiên cứu phương pháp học sâu cho lọc cộng tác (LV thạc sĩ)Nghiên cứu phương pháp học sâu cho lọc cộng tác (LV thạc sĩ)Nghiên cứu phương pháp học sâu cho lọc cộng tác (LV thạc sĩ)Nghiên cứu phương pháp học sâu cho lọc cộng tác (LV thạc sĩ)Nghiên cứu phương pháp học sâu cho lọc cộng tác (LV thạc sĩ)Nghiên cứu phương pháp học sâu cho lọc cộng tác (LV thạc sĩ)Nghiên cứu phương pháp học sâu cho lọc cộng tác (LV thạc sĩ)Nghiên cứu phương pháp học sâu cho lọc cộng tác (LV thạc sĩ)Nghiên cứu phương pháp học sâu cho lọc cộng tác (LV thạc sĩ)Nghiên cứu phương pháp học sâu cho lọc cộng tác (LV thạc sĩ)Nghiên cứu phương pháp học sâu cho lọc cộng tác (LV thạc sĩ)Nghiên cứu phương pháp học sâu cho lọc cộng tác (LV thạc sĩ)Nghiên cứu phương pháp học sâu cho lọc cộng tác (LV thạc sĩ)
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG - TRƯƠNG THỊ HẬU NGHIÊN CỨU PHƯƠNG PHÁP HỌC SÂU CHO LỌC CỘNG TÁC CHUYÊN NGÀNH : KHOA HỌC MÁY TÍNH MÃ SỐ: 60.48.01.01 (Khoa học máy tính) LUẬN VĂN THẠC SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN DUY PHƯƠNG HÀ NỘI – 2016 LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác TÁC GIẢ LUẬN VĂN TRƯƠNG THỊ HẬU LỜI CẢM ƠN Trong suốt trình học tập thực luận văn, nhận nhiều quan tâm giúp đỡ, hưỡng dẫn tận tình thầy cô với lời động viên khuyến khích từ phía gia đình, bạn Tôi xin bày tỏ lời cảm ơn chân thành đến tất người Tôi xin tỏ lòng biết ơn sâu sắc đến thầy Nguyễn Duy Phương tận tình hướng dẫn, định hướng cho trình thực đề tài Thầy cho lời khuyên, dẫn, truyền đạt cho kiến thức, kinh nghiệm việc thực luận văn Tôi xin cảm ơn thầy cô khoa Quốc tế đào tạo sau đại học, học viện Công nghệ Bưu Viễn thông tận tình dạy dỗ cho kiến thức bổ ích suốt trình hai năm học tập, giúp nâng cao chuyên môn, làm tảng để hoàn thành khóa luận, tự tin phát triển công việc sau Cuối cùng, muốn gửi lời cảm ơn tới gia đình bạn bè, người thân bên, cảm thông, hỗ trợ, giúp đỡ khó khăn công việc, sống trình học tập Hà Nội, tháng 11 năm 2016 Trương Thị Hậu i MỤC LỤC DANH MỤC CÁC CHỮ VIẾT TẮT iii DANH MỤC HÌNH VẼ VÀ SƠ ĐỒ iv DANH MỤC BẢNG BIỂU v MỞ ĐẦU CHƯƠNG GIỚI THIỆU VỀ DEEP LEARNING 1.1 Tổng quan Deep Learning 1.1.1 Định nghĩa 1.1.2 Lịch sử 1.1.3 Ứng dụng 1.2 Phân loại phương pháp học sâu 1.2.1 Mạng học sâu có giám sát 1.2.2 Phương pháp học sâu không giám sát 11 1.2.3 Mạng học sâu kết hợp 11 1.3 Kết luận chương 12 CHƯƠNG DEEP LEARNING CHO LỌC CỘNG TÁC 14 2.1 Giới thiệu phương pháp tư vấn dựa kỹ thuật lọc cộng tác 14 2.1.1 Giới thiệu hệ thống tư vấn 14 2.1.2 Tư vấn dựa lọc cộng tác 15 2.2 Giới thiệu máy Bolzmman ((Botlzmann Machine)) 21 2.2.1 Mô hình máy Bolzman 22 2.2.2 Huấn luyên cho máy Bolzmann 24 2.3 Máy hạn chế Botlzmann (Restrist Botlzmann Machine) 27 2.3.1 Mô hình máy hạn chế Botlzmann 27 2.3.2 Huấn luyện cho máy hạn chế Botlzmann (RBM) 28 2.4 Máy hạn chế Botlzmann (RBMs) lọc cộng tác 30 2.4.1 Mô hình máy hạn chế Botlzmann (RBMs) lọc cộng tác 30 2.4.2 Huấn luyện máy hạn chế Botlzmann (RBMs) lọc cộng tác 33 2.4.3 Dự đoán 35 2.5 Kết luận 36 CHƯƠNG III XÂY DỰNG HỆ THỐNG VÀ THỬ NGHIỆM 37 3.1 Xây dựng toán 37 ii 3.2 Hệ thống máy hạn chế Boltzmann (RBMs) lọc cộng tác 37 3.3 Mô tả liệu Dataset Netflix 40 3.4 Cài đặt toán 43 3.4.1 Ý nghĩa tham số máy hạn chế Boltzmann 43 3.4.2 Yêu cầu hệ thống thư viện sử dụng 45 3.4.3 Kết thực nghiệm đánh giá 45 3.5 Kết luận 52 KẾT LUẬN 54 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 56 iii DANH MỤC CÁC CHỮ VIẾT TẮT STT Ký hiệu BM RBM CF v h RMSE Tiếng Anh Botlzmann Machine Restrict Botlzmann Machine Collarborative Filter visible unit hidden unit Root Mean Squared Error 10 11 CD E u DL ML Contrastive Divergence Energy function user Deep Learning Machine Learning Tiếng Việt Máy Botlzmann Máy hạn chế Botlzmann Lọc cộng tác Nút Nút ẩn Căn bậc hai trung bình bình phương sai số Phân kỳ tương phản Hàm lượng Người dùng Học sâu Học máy iv DANH MỤC HÌNH VẼ VÀ SƠ ĐỒ Hình 1-1: Nhận diện hai khuôn mặt tương tự Hình 1-2: Hệ thống tư vấn cho người dùng Hình 2-1: Minh họa hệ thống tư vấn sách cho người đọc 14 Hình 2-2: Minh họa phương pháp tư vấn dựa lọc cộng tác 15 Hình 2-3: Quy trình hệ thông tư vấn dựa lọc cộng tác 16 Hình 2-4: Mạng nơ-ron hồi quy lớp 22 Hình 2-5: Một Boltzmann Machine, nút nối với theo cách 23 Hình 2-6: Một Restricted Boltzmann Machine có liên kết nút nút ẩn 28 Hình 2-7: Huấn luyện CD, nút nút ẩn cập nhật qua T bước lặp 30 Hình 2-8: So sánh RBMs nhị phân RBMs lọc cộng tác 31 Hình 2-9: Restricted Boltzmann Machine cho lọc cộng tác 32 Hình 3-1: Xây dựng toán lọc cộng tác 37 Hình 3-2: Sơ đồ khối hệ thống sử dụng giải thuật RBMs lọc cộng tác 38 Hình 3-3: Biểu diễn sai số dự đoán 40 Hình 3-4: Định dạng đánh giá người dùng phim 41 Hình 3-5: Thủ tục sử dụng phương pháp walk-forward chia tập liệu Netflix 43 Hình 3-6: Thư viện Numpy tính toán toán học ngôn ngữ Python 45 Hình 3-7: File cấu hình lần cho huấn luyện RBMs lần 46 Hình 3-8: Kết số RMSE thu lần 47 Hình 3-9: Đồ thị số đánh giá RMSE lần 47 Hình 3-10: File cấu hình lần cho huấn luyện RBMs lần hai 48 Hình 3-11: Kết liệu kiểm tra (validation set) RMSE thu lần hai 49 Hình 3-12: Đồ thị số đánh giá RMSE lần hai 49 Hình 3-13: File cấu hình lần cho huấn luyện RBMs lần ba 50 Hình 3-14: Kết liệu kiểm tra (validation set) RMSE thu lần ba 51 Hình 3-15: Đồ thị số đánh giá RMSE lần ba 52 v DANH MỤC BẢNG BIỂU Bảng 2-1: Bảng giải thuật Positive phase 26 Bảng 2-2: Bảng giải thuật Negative phase 26 Bảng 2-3: Bảng giải thuật huấn luyện phân kỳ tương phản CD 29 Bảng 2-4: Những người dùng đánh giá cho phim 32 Bảng 2-5: Một người dùng (U2 bảng 1) đánh giá cho phim Bảng 2-6: Dự đoán giải thuật RBMs lọc cộng tác 36 Bảng 3-1: Tập liệu Test cho ví dụ RMSE 39 Bảng 3-2: Tập giá trị dự đoán sai số ví dụ RMSE 40 Bảng 3-3: Thông số liệu mà Netflix cung cấp 42 Bảng 3-4: Bảng yêu cầu hệ thống thư viện sử dụng 45 33 MỞ ĐẦU Thế giới chứng kiến phát triển vượt bậc lĩnh vực trí tuệ nhân tạo (Artificial Intelligence - AI) năm gần Bên máy tìm kiếm Google, hóng hớt buôn chuyện Facebook, trò chuyện với người thân qua Skype, sai vặt Siri iPhone sản phẩm trí tuệ nhân tạo Google, Microsoft Facebook thành lập nhóm nghiên cứu thực thi thành công số dự án không tưởng Một vài số dự án trú trọng đến việc khai thác phong phú, đa dạng liệu tạo người sử dụng mạng xã hội Rất nhiều số tập trung vào phân tích, nâng cao hiệu tính toán Chìa khóa để dẫn đến thành công hỗ trợ phần không nhỏ xu hướng AI, gọi “Deep Learning” Deep Learning thuật toán dựa số ý tưởng từ não tới việc tiếp thu nhiều tầng biểu đạt, cụ thể lẫn trừu tượng, qua làm rõ nghĩa loại liệu Nói cách khác, deep learning lĩnh vực machine learning nhằm cải thiện ứng dụng thị giác máy tính (computer vision), xử lý ngôn ngữ tự nhiên (natural language processing) để giải đáp thách thức liệu phi cấu trúc Điểm đặc biệt Deep Learning tính xác dựa vào lượng liệu, lượng liệu có kích thước khổng lồ mà không bị hạn chế Deep Learning hiểu hệ thống dựa phân tích liệu lớn đa tầng để máy tự học, tự rút kinh nghiệm tự hoàn thiện Hiện nhiều hãng công nghệ lớn sử dụng mạng thần kinh (hệ thống phần cứng phần mềm mô não người hệ thần kinh) phân tích lượng khổng lồ hình ảnh kỹ thuật số từ học cách nhận diện vật thể, từ ngữ, khuôn mặt người Sự đột phá công nghệ Deep Learning ứng dụng ngày nhiều doanh nghiệp để tạo mô hình kinh doanh xây dựng ứng dụng mẻ để giải toán thực tế Một số ứng dụng tiếng thông dụng deep learning trợ lý kích hoạt giọng nói (một tính tìm thấy hầu hết smartphones), ứng dụng hệ thống khuyến nghị, nhận diện ảnh(Image Recognition), dịch tiếng nói (speech translation), chuyển tiếng nói thành văn (speech transcription), phân loại văn (text classification), phát nội dung (content discovery), thương hiệu thông minh (brand intelligence), theo dõi (monitoring) social media Chính em chọn đề tài “Nghiên cứu phương pháp học sâu cho lọc cộng tác” để thực khuôn khổ luận văn tốt nghiệp thạc sỹ ngành khoa học máy tính Nội dung luận văn cấu trúc thành chương sau Chương 1: Giới thiệu Deep Learning Trong chương này, luận văn giới thiêu tổng quan phương pháp học sâu: định nghĩa loại phương pháp học sâu Chương 2: Deep Learning cho lọc cộng tác Trình bày phương pháp học Deep Learningg cho lọc cộng tác Dựa vào nghiên cứu bản, sâu tìm hiểu vào kỹ thuật học sâu cho lọc cộng tác máy hạn chế Bolzmman Chương 3: Xây dựng hệ thống thực nghiệm Chương trình bày phương pháp thử nghiệm đánh giá Kết luận hướng phát triển Trình bày tóm tắt kết đạt chưa đạt Từ đề xuất mục tiêu hướng nghiên cứu, phát triển 43 trường hợp kích thước tập kiểm tra tương đối lớn so với tập huấn luyện Phương pháp tất định, sử dụng liệu thứ n làm liệu kiểm tra, không nên sử dụng chịu ảnh hưởng tính chu kỳ liệu Một phương pháp chặt chẽ mà Netflix sử dụng để chia liệu walk-forward Phương pháp walk-forward chia tập liệu thành chuỗi tập liệu nhỏ huấn luyện- kiểm tra- kiểm định gối chồng lên hình 3.5 [11] Hình 3-5: Thủ tục sử dụng phương pháp walk-forward chia tập liệu Netflix Netflix cung cấp số điểm RMSE hệ thống riêng huấn luyện tập liệu, 0.9514 3.4 Cài đặt toán 3.4.1 Ý nghĩa tham số máy hạn chế Boltzmann a Tốc độ học (Learning rate) Tốc độ học [6] thông số mà điều chỉnh việc làm để mạng RBM học nhanh làm để việc huấn luyện hiệu Hãy xem xét RBM mà trải qua trình học tập Giả định trọng số số liên kết mạng phần tạo 0,3 Khi mạng giới thiệu huấn luyện mới, thuật toán huấn luyện yêu cầu liên kết thay đổi trọng số đến 0,7 để học mẫu phù hợp Nếu cập nhật trọng số lập tức, mạng RBM chắn học mẫu mới, có xu 44 hướng quên tất mẫu học trước Điều trọng số (0,3) kết tất việc học mà trải qua Vì vậy, trực tiếp thay đổi trọng số tới 0,7 Thay vào tăng phần nhỏ (chọn 25%) thay đổi cần thiết Vì vậy, trọng số liên kết thay đổi thành 0,4 chuyển sang mẫu đào tạo Yếu tố (0,25 trường hợp này) gọi learning rate Căn theo cách này, tất mẫu huấn luyện huấn luyện số thứ tự ngẫu nhiên Khi chu trình trình đào tạo lặp lặp lại nhiều lần, cuối mạng RBM học tất mẫu có hiệu Learning rate giá trị khoảng từ đến Chọn giá trị gần đòi hỏi số lượng lớn chu trình huấn luyện Điều làm cho trình huấn luyện chậm Mặt khác, learning rate lớn, trọng số khác độ lệch hàm mục tiêu dao động lớn mạng đạt đến trạng thái mà việc huấn luyện diễn vô ích b Weight - decay Weight-decay [6] tham số điều kiện thêm vào quy tắc cập nhật trọng số Làm tăng tốc độ huấn luyện c Nhóm mẫu nhỏ (Mini-batch) Mini- batch [6] mạng huấn luyện theo nhóm Các nhóm gom lại theo thứ tự tăng dần Ví dụ: huấn luyện có 100 mẫu, với số điểm liệu nhóm 10 mạng huấn luyện với 10 điểm liệu trước, sau huấn luyện với 10 điểm liệu hết liệu d Hằng số quán tính (Momentum) Tốc độ học giải thuật RBMs chậm learning rate nhỏ, tốc độ học lớn lại gây dao động lớn trình tìm giá trị cực tiểu theo phương pháp giảm gradient Để giải vấn đề người ta thường thêm thành phần quán tính [6] vào phương trình hiệu chỉnh trọng số Nhờ thành phần này, trình học vượt qua điểm cực tiểu địa phương để tìm đến cực 45 tiểu toàn cục, đồng thời thành phần quán tính ngăn cản thay đổi đột ngột trọng số theo hướng khác với hướng mà lời giải chuyển đến e Epoch Trong trình huấn luyện mạng, thuật ngữ “epoch” dùng để mô tả trình tất mẫu liệu đầu vào training set đưa để huấn luyện mạng Nói khác epoch hoàn thành tất liệu training set đưa vào huấn luyện mạng Vì vậy, số lượng “epoch” xác định số lần mạng huấn luyện (hay số lần đưa tất liệu training set vào mạng) 3.4.2 Yêu cầu hệ thống thư viện sử dụng Bảng 3-4: Bảng yêu cầu hệ thống thư viện sử dụng Hệ thống Chip intel core i3, 2.1GHz, Ram 4GB, Windows 64bit Ngôn ngữ cài đặt Python version 34 Thư viện NumPy version 1.10.1 Thư viện NumPy hình 3.6 [13] gói chương trình phục vụ cho tính toán toán học phức tạp ngôn ngữ lập trình Python Hình 3-6: Thư viện Numpy tính toán toán học ngôn ngữ Python 3.4.3 Kết thực nghiệm đánh giá 46 Luận văn thực huấn luyện ba lần với cấu hình tham số khác nhau, tham số cần kiểm nghiệm thực tế để đạt số đánh giá RMSE mong muốn a Lần Theo [9] khuyến nghị, nút ẩn (Hidden) cố định ba lần khởi tạo với giá trị F = 100, phim M (movie) = 17765, K (số lượng rating (1->5)) = Riêng giá trị sau thay đổi: Tốc độ học (learning rate) learningRate = 0.01, momentum = 0.5, wDecay (weight decay) = 0.00002, số lượng epoch numberOfEpoch = 20 Hình 3.7 nội dung file cấu hình Hình 3-7: File cấu hình lần cho huấn luyện RBMs lần 47 Hình 3-8: Kết số RMSE thu lần Chuyển đổi giá trị từ hình 3.8 sang đồ thị để có đánh giá bao quát hình 3.9 Hình 3-9: Đồ thị số đánh giá RMSE lần 48 Hình 3.8 kết đánh giá sai số RMSE giải thuật RBM Ta thấy, từ epoch đến epoch RMSE có xu hướng giảm từ 1.372 giảm đến 0.899 Tuy nhiên, từ epoch đến hết epoch 20 số RMSE lại tăng từ 0.900 đến 0.944 (hình 3.9) chứng tỏ giải thuật dự đoán chưa xác với tham số lần truyền vào b Lần hai Tốc độ học (learning rate) learningRate = 0.001, momentum = 0.5, wDecay (weight decay) = 0.00002, số lượng epoch numberOfEpoch= 20 Hình 3.10 nội dung file cấu hình Hình 3-10: File cấu hình lần cho huấn luyện RBMs lần hai 49 Hình 3-11: Kết liệu kiểm tra (validation set) RMSE thu lần hai Chuyển đổi giá trị từ hình 3.11 sang đồ thị để có đánh giá bao quát hình 3.12 Hình 3-12: Đồ thị số đánh giá RMSE lần hai 50 Hình 3.11 kết đánh giá sai số RMSE biểu diễn đồ thị giải thuật RBM Ta thấy, từ epoch đến epoch 20 số RMSE có xu hướng giảm ổn định từ 1.372 đến 0.905 (hình 3.12) chứng tỏ giải thuật dự đoán xác với tham số lần truyền vào c Lần ba Tốc độ học (learning rate) learningRate = 0.001, momentum = 0.5, wDecay (weight decay) = 0.002, số lượng epoch numberOfEpoch = 50 Hình 3.13 nội dung file cấu hình Hình 3-13: File cấu hình lần cho huấn luyện RBMs lần ba 51 Hình 3-14: Kết liệu kiểm tra (validation set) RMSE thu lần ba Chuyển đổi giá trị từ hình 3.14 sang đồ thị để có đánh giá bao quát hình 3.15 52 Hình 3-15: Đồ thị số đánh giá RMSE lần ba Hình 3.14 kết đánh giá sai số RMSE giải thuật RBM Ta thấy, luận văn tăng số lượng epoch từ 20 lên 50 thay đổi tham số từ epoch đến epoch 50 số RMSE có xu hướng giảm ổn định từ 1.372 đến 0.893 (hình 3.15) chứng tỏ giải thuật dự đoán tương đối xác 3.5 Kết luận Chương cài đặt thực nghiệm toán với liệu dataset Netflix, đưa số RMSE đánh giá độ hiệu thuật toán Sau ba lần huấn luyện với 53 tham số truyền vào khác Với 20 epoch luận văn thay đổi giá trị tham số với lượng nhỏ (ví dụ learning rate thay đổi từ 0.01 sang 0.001) kết số đánh giá RMSE khác nhiều Cụ thể, lần lần hai tham số hoàn toàn giống nhau, khác giá trị learning rate lần 0.01 lần hai 0.001 Chỉ số đánh giá RMSE thu cho thấy với lần kết RMSE không ổn định, lúc giảm lúc tăng Với lần hai kết RMSE ổn định, việc dự đoán giải thuật xác Với 50 epoch huấn luyện lần ba giá trị số đánh giải thuật thực nghiệm thu cuối 0.89399 tốt so với hệ thống riêng Netflix đưa 0.9514 54 KẾT LUẬN Trên sở tìm hiểu, nghiên cứu giải thuật Restrited Boltzmann Machines Deep Learning cho hệ lọc cộng tác Luận văn đạt số kết sau: Giới thiệu kỹ thuật lọc cộng tác hệ tư vấn: luận văn trình bày số kiến thức sở hệ thống tư vấn, toán tư vấn, phương pháp tư vấn bao gồm tư vấn dựa nội dung tư vấn dựa kỹ thuật lọc cộng tác Những vấn đề tồn để tư vấn có độ xác cao, độ phức tạp thấp, với liệu lớn, liệu bị thưa vấn đề lớn nhà nghiên cứu quan tâm Luận văn đề xuất giải thuật máy hạn chế Botlzmann (Restricted Botlzmann Machine) [9] để thực giải số vấn đề tồn lọc cộng tác Mô hình máy hạn chế Boltzmann (RBMs) lọc cộng tác: giới thiệu giải thuật BM, RBM RBMs lọc cộng tác Phương pháp huấn luyện, cập nhật giá trị tham số dự đoán giải thuật RBMs đề cập Sử dụng mô hình giải thuật RBMs cài đặt cho toán đề xuất: cài đặt thực nghiệm toán với liệu lớn dataset Netflix, đưa số RMSE đánh giá độ hiệu thuật toán Sau ba lần huấn luyện với tham số truyền vào khác Với 20 epoch luận văn thay đổi giá trị tham số với lượng nhỏ (ví dụ learning rate thay đổi từ 0.01 sang 0.001) kết số đánh giá RMSE khác nhiều Với 50 epoch huấn luyện lần giá trị số đánh giải thuật thực nghiệm thu cuối 0.89399 tốt so với hệ thống riêng Netflix đưa 0.9514 Những hạn chế tồn tại: Thuật toán chạy lâu huấn luyện Chưa xử lý vấn đề tồn người dùng mới, sản phẩm Hướng phát triển tương lai: 55 Luận văn sử dụng tập liệu dataset Netflix đưa vào sử dụng cho thực tế cần thu tập liệu thực từ trang web xem phim, đưa dự đoán cụ thể hệ thống website, ứng dụng Phát triển tiếp hệ thống để từ kỹ thuật lọc cộng tác tư vấn Tìm hiểu, nghiên cứu việc kết hợp RBMs với giải thuật khác lọc cộng tác để làm tăng thời gian huấn luyện, dự đoán Xử lý toán với người dùng mới, sản phẩm 56 DANH MỤC CÁC TÀI LIỆU THAM KHẢO [1] Nguyễn Duy Phương, Phát triển số phương pháp lọc thông tin cho hệ tư vấn, ĐHQGHN, 2011 [2] ACKLEY, D H., HINTON, G E., AND SEJNOWSKI, T J A learning algorithm for Boltzmann machines, Kaufmann, Los Altos, CA, pages 522– 533,1987 [3] Geoffrey E Hinton 2002 Training products of experts by minimizing contrastive divergence.Neural Comput 14, (August 2002), 1771-1800 DOI=http://dx.doi.org/10.1162/089976602760128018 [4] Geoffrey E Hinton 2005 What kind of a graphical model is the brain? In Proceedings of the 19th international joint conference on Artificial intelligence (IJCAI'05) Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 1765-1775 [5] HINTON, G E Boltzmann machine Scholarpedia 2, (2007), 1668 [6] Hinton, G E (2012) A Practical Guide to Training Restricted Boltzmann Machines In G Montavon, G B Orr & K.-R Müller (ed.), Neural Networks: Tricks of the Trade (2nd ed.) , Vol 7700 (pp 599-619) Springer ISBN: 9783-642-35288-1 [7] Linden, G., Smith, B & York, J (2003) Amazon.com Recommendations: Item-to-Item Collaborative Filtering IEEE Internet Computing, 7, 76 80 doi: 10.1109/MIC.2003.1167344 [8] Lu, K (2013) The Application of Deep Learning in Collaborative Filtering School of Engineering University of California Santa Cruz [9] Salakhutdinov, R.; Mnih, A.; and Hinton, G E Restricted Boltzmann machines for collaborative filtering In Machine Learning, Proceedings of the Twenty-Fourth International Conference (ICML 2007), Corvalis, Oregon, USA, June 20-24, 2007, pages 791-798, 2007 57 [10] THOMPSON, C If you liked this, you’re sure to love that The New York Times Magazine (November 2008) [11] Dataset Netflix, http://archive.ics.uci.edu/ml/datasets/Netflix+Prize [12] Thông tin Netflix, https://en.wikipedia.org/wiki/Netflix [13] Thư viện numpy, http://www.numpy.org/ ... quan phương pháp học sâu: định nghĩa loại phương pháp học sâu Chương 2: Deep Learning cho lọc cộng tác Trình bày phương pháp học Deep Learningg cho lọc cộng tác Dựa vào nghiên cứu bản, sâu tìm... LEARNING CHO LỌC CỘNG TÁC Trình bày phương pháp học Deep Learning cho lọc cộng tác Dựa vào nghiên cứu bản, sâu tìm hiểu vào kỹ thuật học sâu cho lọc cộng tác máy hạn chế Bolzmman 2.1 Giới thiệu phương. .. (monitoring) social media Chính em chọn đề tài Nghiên cứu phương pháp học sâu cho lọc cộng tác để thực khuôn khổ luận văn tốt nghiệp thạc sỹ ngành khoa học máy tính Nội dung luận văn cấu trúc thành