Đang tải... (xem toàn văn)
Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)Nghiên Cứu Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Trong Thƣơng Mại Điện Tử Với Deep Learning (tt)
HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - NGUYỄN NGỌC TUYÊN NGHIÊN CỨU XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ SẢN PHẨM TRONG THƢƠNG MẠI ĐIỆN TỬ VỚI DEEP LEARNING Chuyên ngành: Mã số: HỆ THỐNG THƠNG TIN 60.48.01.04 TĨM TẮT LUẬN VĂN THẠC SĨ TP.HỒ CHÍ MINH – 2017 Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS Phạm Trần Vũ Phản biện 1:……………………………………………… Phản biện 2:…………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng MỞ ĐẦU Tính cấp thiết đề tài Trong năm gần đây, thương mại điện tử [1] phát triển nhanh theo xu tồn cầu hố Thơng qua thương mại điện tử nhiều hình thức giao dịch kinh doanh hình thành Với hình thức người dùng tiếp cận với hàng hóa, dịch vụ cách dễ dàng nhanh chóng nhiều so với phương pháp giao dịch truyền thống Với lợi ích mạnh mình, website mua bán hàng hóa, dịch vụ dần thay gian hàng hay siêu thị truyền thống Nhưng thực tế người tiêu dùng ưa chuộng với phương pháp mua bán cũ Một yếu tố dẫn tới thua nằm website thương mại điện tử Các hệ thống mua bán trực tuyến muốn người dùng tiếp cận nhiều mặt hàng lúc Tuy nhiên với đa dạng hàng hóa khả tiếp cận chọn mặt hàng người dùng bị hạn chế, họ phải xem qua nhiều sản phẩm, tới nhiều liên kết để tìm sản phẩm mong muốn Vậy để hỗ trợ khách hàng việc mua bán thuận lợi hơn? Cụ thể sản phẩm đề xuất tới khách hàng sau khách hàng đặt mua đánh giá sản phẩm trước đó? Nên đề xuất sản phẩm tốt cho khác hàng? Để hình thức mua bán qua mạng thực phát triển bên cạnh lợi vốn có việc có thêm hệ thống trợ giúp cần thiết Hệ thống khuyến nghị sản phẩm (recommendation system [6]) hình thành phát triển khơng nằm ngồi mục đích đáp ứng yêu cầu Lọc cộng tác (Collaborative filtering [6]) lọc dựa nội dung (contentbased filtering [6]) hai hướng tiếp cận truyền thống để thiết kế hệ thống khuyến nghị Những phương pháp thông thường dựa vào đánh giá mục làm nguồn thơng tin để đưa khuyến nghị mà thực tế có nhiều ứng dụng đánh giá ít, khắc phục điều cách lấy nội dung thông tin mục để làm nguồn thông tin phụ trợ nguồn thông tin không đủ lớn làm ảnh hưởng tới kết mong muốn đạt Deep learning [10] hướng nghiên cứu phát triển lĩnh vực trí tuệ nhân tạo năm gần Các mô hình học sâu (Deep learning) tạo nên đột phá lớn việc giải toán phức tạp Nó thuật tốn dựa số ý tưởng từ não với việc tiếp thu nhiều tầng biểu đạt, cụ thể lẫn trừu tượng, qua làm rõ nghĩa loại liệu Điều đặc biệt cơng nghệ Deep Learning xác cao nguồn liệu khổng lồ, không bị hạn chế q tải liệu Chính vậy, chọn đề tài nghiên cứu “ Nghiên cứu xây dựng hệ thống khuyến nghị sản phẩm thương mại điện tử với Deep learning” làm đề tài nghiên cứu Tổng quan vấn đề nghiên cứu Với tốc độ phát triển thương mại điện tử ngày nay, để thúc đẩy giao dịch thơng qua mạng máy tính việc xây dựng hệ thống khuyến nghị sản phẩm công việc khơng thể thiếu Đã có nhiều hệ thống khuyến nghị sản phẩm xây dựng Tuy nhiên, để lựa chọn phương pháp phù hợp công việc cần nghiên cứu Mơ hình xây dựng hệ thống khuyến nghị dựa tăng trưởng Hotmail mô hình tính tốn tốc độ tăng trưởng Email Mơ hình có tác dụng dự đốn xem có cá nhân thời điểm chấp nhận sản phẩm tổng số cá nhân mời sản phẩm Mơ hình xây dựng hệ thống khuyến nghị dựa phương pháp lọc cộng tác hiểu cách đơn giản phương pháp tập hợp đánh giá khách hàng, phân biệt khách hàng sở đánh giá họ tư vấn sản phẩm cho khách hàng Báo cáo luận văn thạc sĩ “Movies recommendation system using collaborative filtering technique supplemented by content with goal programming” tác giả Emrah İNAN, tháng 7, 2012 Nội dung tác giả nghiên cứu xây dựng hệ thống khuyến nghị dành cho liệu Movie sử dụng phương pháp lọc cộng tác để khai phá liệu Bài báo khoa học “Restricted Boltzmann Machines for Collaborative Filtering” tác giả Ruslan Salakhutdinov, Andriy Mnih, Geoffrey Hinton 2007 Nội dung tác giả nghiên cứu phương pháp lọc cộng tác với thuật toán Restricted Boltzmann Machines Bài báo khoa học “Big Data Deep Learning: Challenges and Perspectives” tác giả X.-W Chen, tháng 4, 2014 Nội dung tác giả phân tích khó khăn triển vọng Deep learning với thực trạng liệu ngày lớn phức tạp ngày Trên nghiên cứu có liên quan tới hệ thống khuyến nghị sản phẩm tiềm Deep learning áp dụng cho hệ thống khuyến nghị Trong phạm vi luận văn này, tập chung nghiên cứu vào vấn đề: thương mại điện tử, hệ thống khuyến nghị sản phẩm thương mại điện tử, xây dựng hệ thống khuyến nghị sản phẩm với Deep learning Bộ liệu dùng để cài đặt kiểm tra đánh giá liệu dùng để nghiên cứu Movielens[15] tải website: https://grouplens.org/datasets/movielens/ Mục tiêu nhiệm vụ nghiên cứu - Tìm hiểu lĩnh hệ thống khuyến nghị thương mại điện tử - Nghiên cứu tìm hiểu mơ hình học sâu (deep learning) - Thu thập, tìm hiểu, phân tích tài liệu, thơng tin liên quan đến luận văn - Đề xuất phương pháp sử dụng mô hình học sâu (deep learning) cho tốn hệ thống khuyến nghị sản phẩm thương mại điện tử - Cài đặt thử nghiệm phương pháp đánh giá kết 4 Đối tƣợng phạm vi nghiên cứu Đối tượng nghiên cứu: - Đối tượng nghiên cứu đề tài là: toán hệ thống khuyến nghị sản phẩm thương mại điện tử, mơ hình học sâu deep learning Phạm vi nghiên cứu: - Nghiên cứu lý thuyết hệ thống khuyến nghị sản phẩm thương mại điện tử, mơ hình học sâu deep learning, giải toán hệ thống khuyến nghị sản phẩm với mơ hình học sâu deep leaning - Thực thử nghiệm với liệu nghiên cứu movielens tải website: https://grouplens.org/datasets/movielens/ Phƣơng pháp nghiên cứu Phương pháp nghiên cứu lý thuyết: - Nghiên cứu, thu thập thơng tin mơ hình học sâu deep learning, hệ thống khuyến nghị sản phẩm thương mại điện tử - Nghiên cứu ứng dụng deep learning vào giải toán phức tạp - Nghiên cứu ứng dụng deep learning vào giải toán hệ thống khuyến nghị sản phẩm thương mại điện tử - Xin ý kiến tư vấn từ chuyên gia Phương pháp nghiên cứu thực hành: - Xây dựng mơ hình thử nghiệm phương pháp liệu sẵn movielens tải website: https://grouplens.org/datasets/movielens/ dựa vào kết trực quan để phân tích, so sánh, đánh giá phương pháp Bố cục luận văn Nội dung luân văn chia làm ba chương sau: - Chương - Hệ thống khuyến nghị sản phẩm thương mại điện tử - Chương - Mơ hình học sâu – Deep learning - Chương - Xây dựng hệ thống khuyến nghị sản phẩm với deep learning - Chương - Xây dựng hệ thống thực nghiệm Trong chương 1, nghiên cứu chung hệ thống khuyến nghị sản phẩm thương mại điện tử Chương 2, chúng tơi tìm hiểu deep learning, mạng nơ ron nhân tạo, ứng dụng deep learning thời đại Chương 3, tập trung nghiên cứu xây dựng hệ thống khuyến nghị sản phẩm với deep learning Và cuối cùng, chương tiến hành cài đặt thử nghiệm phương pháp chương với liệu Movielens từ kết thu đưa đánh giá nhận xét CHƢƠNG – HỆ THỐNG KHUYẾN NGHỊ SẢN PHẨM TRONG THƢƠNG MẠI ĐIỆN TỬ 1.1 Thƣơng mại điện tử 1.2 Hệ thống khuyến nghị sản phẩm thƣơng mại điện tử 1.2.1 Giới thiệu 1.2.2 Ứng dụng 1.3 Một số kỹ thuật xây dựng hệ thống khuyến nghị 1.3.1 Mơ hình tăng trưởng email Có nhiều kỹ thuật xây dựng hệ thống khuyên nghị sản phẩm Đầu tiên phải kể đến mô hình dựa vào tăng trưởng email Chúng ta biết rằng, email người dùng lưu trữ máy chủ người gửi email cho trang web Mỗi sử dụng email, hiển nhiên có lượng lớn thư quảng cáo sản phẩm hòm thư Những sản phẩm lại liên kết với trang web thương mại điện tử Các trang web vào người sử dụng email để gửi thông tin quảng cáo tới hòm thư Điển hình cho phương pháp hệ thống khuyến nghị Hotmail Hotmail thu hút người dùng cách sau email có liên kết tới trang chủ hotmail người dùng đăng ký Với tốc độ lan truyền mạng Internet, hiệu ứng dây chuyền phát huy tác dụng khủng khiếp Mỗi email gửi coi khuyến nghị tới người nhận email Nó đánh vào tâm lý người nhận email: “bạn tơi sử dụng hotmail tơi sử dụng xem nào?” Theo thống kê, hotmail bắt đầu hoạt động tháng năm 1996, tới cuối tháng có 20000 người dùng, tới tháng số người dùng 100000, tháng năm 1997 có khoảng triệu thuê bao Hiện hotmail thuộc tập đoàn Microsoft số người dùng vào khoảng 120 triệu Tuy nhiên hình thức khơng phù hợp với thời đại ngày Các thư gửi quảng cáo sản phẩm người dùng thường cho thư rác Các sản phẩm giới thiệu tới người dùng khơng xác lượng thư giới thiệu sản phẩm nhiều Xuất nhiều hình thức lừa đảo, cấy virus qua email dẫn tới tin tưởng sản phẩm quảng cáo qua email giảm sút 1.3.2 Tư vấn dựa việc khai phá liệu Để xác việc quảng cáo, khuyến nghị sản phẩm tới người dùng Thì khai thác liệu người dùng website, application, gian hàng online hướng đắn Dựa vào nguồn liệu lớn hữu ích hệ thống phân tích, tính tốn đưa dự đốn xem người dùng có thích sản phẩm hay khơng? Mức độ thích nào? Từ đưa khuyến nghị tới người dùng Có nhiều cách để đưa dự đốn, ví dụ như: - Khuyến nghị dựa nội dung: phương pháp phân tích nội dung sản phẩm từ liệu từ đưa khuyến sản phẩm tương tự với sản phẩm yêu thích trước tới người dùng Phương pháp có nhược điểm khách hàng chưa có liệu trước khuyến nghị khơng xác sở thích người thay đổi theo thời gian - Khuyến nghị dựa cộng tác: phương pháp khuyến nghị sản phẩm yêu thích xuất phát từ người dùng có sở thích thị hiếu trước Ví dụ bạn bè thân thiết thường có sở thích màu sắc, kiểu dáng, đặc điểm tương tự nhau, người thích xem phim hoạt hình người có lẽ Hệ thống dựa vào điều để đưa khuyến nghị tới người dùng - Khuyến nghị dựa việc kết hợp khuyến nghị dựa nội dung lọc cộng tác: phương pháp kết hợp hai phương pháp nhằm bổ sung nhược điểm cho Những phương pháp xây dựng hệ thống khuyến nghị sản phẩm truyền thống thường dựa vào đánh giá mục sản phẩm làm nguồn thơng tin để đưa khuyến nghị thực tế nhiều hệ thống nguồn thông tin lại ít, lấy thơng tin từ nội dung mục sản phẩm làm thơng tin bổ sung cho hệ thống nguồn thông tin q ít, khơng đủ ảnh hưởng tới kết đưa Chính vậy, nghiên cứu tìm phương pháp cần thiết Deep learning hướng nghiên cứu phát triển lĩnh vực trí tuệ nhân tạo năm gần Các mơ hình Deep learning tạo nên đột phá lớn việc giải tốn phức tạp Nó thuật tốn dựa số ý tưởng từ não với việc tiếp thu nhiều tầng biểu diễn, cụ thể lẫn trừu tượng, qua làm rõ nghĩa loại liệu Với phát triển thương mại điện tử tạo nguồn liệu lớn gây khó khăn việc phân tích liệu để xây dựng hệ thống khuyến nghị sản phẩm nên việc áp dụng deep learning vào xây dựng hệ thống khuyến nghị sản phẩm thương mại điện tử hướng nghiên cứu đắn thời điểm 1.4 Kết luận chƣơng Ở chương giới thiệu tổng quan hệ thống khuyến nghị thương mại điện tử, đặc điểm ứng dụng Để thúc đẩy lượng giao dịch thương mại điện tử hệ thống khuyến nghị sản phẩm tới người dùng thiếu Tuy nhiên việc giao dịch thông qua website thương mại điện tử tạo lượng liệu vô lớn phức tạp Dữ liệu thơng tin khách hàng sản phẩm giao dịch hữu ích cho việc xây dựng hệ thống khuyến nghị sản phẩm Trong bối cảnh lượng liệu thu thập ngày nhiều việc sử dụng mơ hình deep learning để phân tích nguồn liệu khổng lồ hướng Chương tiếp theo, chúng tơi trình bày nghiên cứu deep learning 10 2.5 Một số mơ hình mạng học sâu 2.5.1 Multi layer Perceptron Hình 2.7: Mơ hình mạng MPL lớp ẩn lớp output [4] Mỗi lớp mạng mạng MPL có vector input tín hiệu đầu vào, trọng số w, ngưỡng bias b, vector tín hiệu đầu Để phân biệt lớp mạng với người ta dùng số phụ cho tham số lớp mạng Thuật tốn dùng để huấn luyện cho mơ hình mạng truyền thẳng nhiều lớp thường thuật toán lan truyền ngược [2] trình bày cụ thể chương 2.5.2 Mạng Hopfield Cấu trúc mạng Hopfield mạng có lớp nơ ron, nơ ron nối với tất nơ ron lại Mạng Hopfield xây dựng dạng mạng lớp, nơ ron truyền ngược lại làm tín hiệu đầu vào cho nơ ron khác thân nơ ron không tự liên kết với 2.5.3 Mơ hình Boltzmann Machine Các nút Boltzmann Machine chia làm lớp, khối nút nhìn thấy (visible units) liệu giữ nó, khói nút ẩn ( hidden units) nội dung tiềm ẩn Các nút kết nối với đối xứng tùy ý không kết nối với 2.5.4 Mơ hình Restricted Boltzmann Machine Mơ hình Restricted Boltzmann Machine (RBM [5]) Boltzmann Machine có kiến trúc hạn chế Hạn chế điểm Boltzmann Machine 11 nút kết nối với nút ẩn RBM khơng Mơ hình RBM gồm hai lớp, lớp nút (visible units) lớp nút ẩn (hidden units) khơng có kết nối nút với nút (visible - visible) nút ẩn với nút ẩn (hidden - hidden) chúng hoàn tồn độc lập Với tính hạn chế nút làm cho việc đào tạo RBM trở lên dễ dàng Boltzmann Machine 2.6 Kết luận chƣơng Ở chương trình bày nghiên cứu mơ hình học sâu deep learning Deep learning biết đến việc tiếp thu nhiều tầng biểu đạt, cụ thể lẫn trừu tượng, qua làm rõ nghĩa loại liệu ví dụ hình ảnh, âm văn Trên giới có nhiều cơng trình nghiên cứu đạt kết khả quan, ông lớn Google, Microsoft Facebook, họ tự thành lập nhóm nghiên cứu tiếp tục đầu tư vào lĩnh vực Mặc dù nghiên cứu AI Deep Learning chưa phổ biến Việt Nam, chúng xu hướng mà nhà khoa học ta cần nắm bắt Với mong muốn nghiên cứu sâu hơn, chương 3, luận văn trình bày vào tốn cụ thể nghiên cứu hệ thống khuyến nghị sản phẩm với deep learning 12 CHƢƠNG – XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ SẢN PHẨM VỚI DEEP LEARNING 3.1 Giới thiệu toán phƣơng pháp tiếp cận Bài toán khuyến nghị sản phẩm mục đính đưa sản phẩm xác cho người dùng dựa vào q trình phân tích, khai phá liệu thu người dùng Việc khuyến nghị xác tốt, giúp tăng lượng giao dịch thương mại điện tử Một vài năm gần mơ hình nhân tố ẩn (latent factor models [9]) thường sử dụng để giải toán phương pháp ma trận trọng số (Matrix Factorization [9]) mơ hình nhân tố ẩn tỏ thành công Cụ thể phương pháp ma trận thừa số trình bày sau: Ta có ma trận m x n với m số người dùng n số sản phẩm hay gọi ma trận đánh giá R ( Rating matrix) i1 i2 i3 … u1 ? ? u2 1 ? ? ? ? ? ij … in … ua … um Hình 3.2: Minh họa ma trận đánh giá R ( Rating matrix) [6] Giá trị ma trận đánh giá thể đánh giá người U dùng lên sản phẩm I khơng có đánh giá giá trị Cơng việc tiếp 13 theo phân giã ma trận thành hai ma trận nhỏ để phục vụ công việc huấn luyện Cụ thể trình bày sau: Cho tập liệu dùng để huấn luyện: - Ma trận đầu vào Rm*n ( với m người dùng n sản phẩm) - V tập liệu huấn luyện ma trận đầu vào R, đánh giá thực tế người dùng u cho sản phẩm i Không gian tham số: - Ma trận Um*k :(với k trọng số bất kỳ) hàng nhân tố ẩn người dùng ma trận R - Ma trận Hk*n :(với k trọng số bất kỳ) cột nhân tố ẩn sản phẩm ma trận R Khi ma trận R phân tích thành ma trận con: Rm*n Um*k Ik*n (3.1) Trong đó: k < m, n Như biết, qua q trình phân tích ma trận xảy vấn đề tổn thất, ta có giá trị bị tổn thất ký hiệu là: Lij(Ui*, I*j) thể giá trị tổn thất (i,j) Giá trị trung bình hàm tổn thất nhỏ tính hiệu mơ hình đánh giá cao ngược lại Tuy nhiên, khó khăn gặp phải sử dụng ma trận việc kết hợp hai ma trận sau phân giã không linh hoạt vấn đề thêm bổ sung thông tin Hướng tiếp cận vào nghiên cứu kết hợp mơ hình học sâu deep learning phân tích ma trận Trên sở mơ hình từ ngữ liên tục [11] thay tìm cách phân tích ma trận thành hai ma trận nhỏ chúng tơi dùng kỹ thuật embedding [11] để cố gắng đưa chúng vào mạng lưới học sâu feedforward để tìm kết Vector đầu vào tốn bao gồm thơng tin người dùng sản phẩm 14 3.2 Hệ thống khuyến nghị sản phẩm với deep learning 3.2.1 Embedding Lấy ý tưởng word embedding [16] tốn xử lý ngơn ngữ tự nhiên (NPL) Thay sử dụng ma trận để biểu diễn liệu xử dụng vector để biểu diễn liệu người dùng liệu sản phẩm Về vector trọng số tương ứng với id người dùng id sản phẩm Với số chiều ban đầu vector lớn, việc giảm số chiều vector Vector x ban đầu có n chiều Vector y k chiều x= a1v1 + a2v2 + … + anvn Không gian n chiều với hệ sở v1, v2,…,vn Ánh xạ tuyến tính T cần tìm (phép chiếu) y= b1u1 + b2u2 + … + bnun Không gian k chiều (k< n) với hệ sở u1, u2,…,un Hình 3.3: Giảm số chiều vector 3.2.3 Xây dựng mạng Sau liệu ban đầu nhúng (nhúng Users Items) đưa vào mạng nơ ron feedforward [2] Các lớp nhúng đưa vào huấn luyện với thuật toán lan truyền ngược ( trình bày phần tiếp theo) Các đặc tính ban đầu nối với lớp nơ ron rộng tiếp sau vài lớp mạng fully connected Rectified Linear Units (ReLU) [14] Hình 3-5 mơ tả kiến trúc mạng: 15 Hình 3-5: Kiến trúc mạng toán 3.2.4 Huấn luyện mạng Huấn luyện mạng trình điều chỉnh trọng số ngưỡng nơ ron hệ thống mạng để đạt giá trị mong muốn Đối với tốn chúng tơi chọn thuật tốn huấn luyện thuật toán lan truyền ngược Back Propagation [2], phương pháp học phương pháp học có giám sát Bài tốn tập đầu vào vector gồm users Items (sau embedded) tạm gọi X tập đầu ratings dự đoán tạm gọi K thuật toán lan truyền ngược sai số thực hai giai đoạn sau: - Giai đoạn thứ nhất, mẫu đầu vào X truyền từ lớp vào tới lớp ra, ta có kết đầu tính tốn Y 16 - Giai đoạn tiếp theo, tín hiệu lỗi tính tốn từ khác đầu quan sát K với đầu tính tốn Y lan truyền ngược lại từ lớp đến lớp trước để điều chỉnh tham số mạng Quá trình tiếp tục đạt kết mong muốn, lúc ta có mạng nơ ron gồm trọng số điều chỉnh cho đạt kết tốt Thuật toán lan truyền ngược xây dựng sau: Xét mạng nơ-ron truyền thẳng có: - Q lớp, q = 1, 2, …, Q, - neti tín hiệu vào - yi tín hiệu nơ-ron thứ i lớp q - Mạng có m đầu vào n đầu Đặt qwij trọng số liên kết từ nơ-ron thứ j lớp q-1 tới nơ-ron thứ i lớp q Đầu vào : Một tập cặp mẫu học {(x (k), d (k)) | k= 1, 2, …, p } Trong đó: x tín hiệu đầu vào d tín hiệu đầu mong muốn Theo [2] ta có bước cơng thức tính sau: Bước 0: Chọn số η > Emax (dung sai cho phép) Khởi tạo ngẫu nhiên trọng số khoảng giá trị nhỏ Đặt E =0 k = Bước 1: (thực trình lặp cho việc huấn luyện mạng) Sử dụng mẫu học thứ k : Theo [2] lớp vào (q =1), với i ta có : q yi = yi = x(k) i (3.2) Bước 2: (Lan truyền tín hiệu từ lớp vào tới lớp ra) q yi = g(q neti ) = g(∑ ) (3.3) 17 Bước 3: (Xác định tín hiệu lỗi Q δi lớp ra) ∑ ( ) (3.4) (3.5) Bước 4: (Lan truyền ngược sai số) (3.6) (3.7) ∑ Bước 5: (Kiểm tra điều kiện lặp) Kiểm tra: if ( k < p ) Begin k=k+1; Chuyển tới bước1; End Else Chuyển tới bước 6; Bước 6: (Kiểm tra lỗi tổng cộng thời chấp nhận chưa) If (E < Emax) { kết thúc trình học đưa trọng số cuối } Else Begin E=0; K=1; Chuyển tới bước1 {để bắt đầu lần học }; End; (3.8) 18 Hình 3.7: Lƣu đồ hoạt động hàm huấn luyện [2] 3.2.5 Dự đoán 3.3 Tiêu chuẩn đánh giá 3.3.1 Mean absolute error (MAE) 3.3.2 Root mean square error (RMSE) 3.4 Kết luận chƣơng Trong chương trình bày tốn khuyến nghị sản phẩm, phân tích tốn phương pháp xây dựng hệ thống khuyến nghị sản phẩm với deep learning, tiêu chuẩn để đánh giá phương pháp dựa vào số MAE RMSE Chương tiến hành cài đặt toán với liệu dành cho nghiên cứu Movielens, dựa vào kết thu để đưa đánh giá cho phương pháp 19 CHƢƠNG – XÂY DỰNG HỆ THỐNG VÀ THỬ NGHIỆM 4.1 Môi trƣờng thực nghiệm Tôi tiến hành thực nghiệm dựa sở sau: - Cấu hình máy: Chip Intel(R) Core i5, Ram 4GB, windows 10 64-bit - Ngơn ngữ lập trình: Python - Phần mềm hỗ trợ: Python 3,5 Miniconda, cmd Windows 10 - Tập liệu sử dụng để thực nghiệm: liệu Movielens 4.2 Dữ liệu thực nghiệm Để thực nghiệm sử dụng liệu Movielens tải từ liên kết http://files.grouplens.org/datasets/movielens/ml-1m.zip chứa liệu đánh giá rõ ràng cho phim, có đặc điểm sau: - Với 1000.000 đánh giá thực 6000 người dùng 4000 phim Các phim nhận giá trị đánh giá khoảng từ đến - Thông tin cá nhân đơn giản cho người sử dụng (tuổi, giới tính, nghề nghiệp, zip code - mã bưu chính) - Trong liệu này, người sử dụng có 20 xếp hạng khơng có thơng tin cá nhân hồn chỉnh bị loại bỏ khỏi liệu 4.3 Cài đặt tốn 4.3.1 Bài tốn Dưới góc nhìn kỹ thuật toán sau: Cho tập hữu hạn gồm có m người dùng U ={u1, u2, … , um} danh sách n sản phẩm I = {i1, i2,…, in} Mỗi người dùng ui có danh sách sản phẩm Su mà người dùng đánh giá sản phẩm Chú ý Su tập I Iui rỗng (nghĩa người dùng u khơng có đánh giá cho sản phẩm i) 20 Nhiệm vụ toán: - Dự đoán: cho giá trị Raj thể đánh giá người dùng a lên tài nguyên i - Tư vấn: cho danh sách N tài nguyên {TiN} mà người dùng a thích 4.3.2 Thư viện sử dụng, sơ đồ khối cài đặt Kiến trúc mạng xây dựng cho tốn: Hình 4.1: Kiến trúc mạng xây dựng cho toán 4.3.3 Kết đánh giá Sau cài đặt chạy thu kết sau: Thứ nhất: Biểu đồ độ lỗi loss training loss validation huấn luyện 20 lần loss 21 epoch Hình 4.2: Bảng kết độ lỗi sau 20 epochs biểu đồ Thứ 2: Chỉ số Mean absolute error (MAE) : sai số tuyệt đối trung bình sau 20 epochs Hình 4.3: MAE validation - MAE validation 0.678 Hình 4.4: MAE training - MAE train 0.652 22 Thứ 3: Chỉ số Root mean square error (RMSE): sai số tồn phương trung bình tập training validation Hình 4.5: RMSE training validation - RMSE Training 0.999 RMSE Validation 1.012 Kết phương pháp khác sử dụng liệu sử dụng nghiên cứu công bố website: http://www.mymedialite.net/examples/datasets.html Hình 4.6: Kết phƣơng pháp khác 23 Ta nhận thấy số MAE thu từ mơ hình tốt so với phương pháp trước đây, số RMSE mức chấp nhận Cho thấy hiệu phương pháp đem lại 4.4 Kết luận chƣơng Trong chương cài đặt thử nghiệm mơ hình liệu Movielens Nhìn chung sử dụng deep learning cho hệ thống khuyến nghị sản phẩm cho kết tốt so với phương pháp khác áp dụng liệu sử dụng Điều cho thấy hiệu phương pháp nghiên cứu 24 KẾT LUẬN Kết đạt đƣợc - Nghiên cứu tổng quát thương mại điện tử hệ thống khuyến nghị thương mại điện tử, mơ hình deep learning, luận văn tập trung nghiên cứu ứng dụng deep learning cho hệ thống khuyến nghị sản phẩm - Trình bày mơ hình deep learning, phương pháp đánh giá - Trình bày phương pháp sử dụng ma trận thừa số kỹ thuật embedding - Sau đó, chúng tơi tiến hành thực nghiệm liệu có sẵn Movielens gói liệu gồm 1000000 đánh giá 6000 người dùng 4000 phim - Cuối từ kết thu phân tích so sánh đánh giá Hƣớng nghiên cứu luận văn Trong phạm vi luận văn sử dụng kỹ thuật embedding mơ hình mạng truyền thẳng nhiều tầng (Multi layer Perceptron – MPL) Kết thu tốt so với kết dùng phương pháp khác liệu Tiếp theo tập trung nghiên cứu để áp dụng vào thực tế, nghiên cứu với mơ hình mạng khác như: RBM, Hopfield… để nhận xét, so sánh đánh giá cách đầy đủ ... – HỆ THỐNG KHUYẾN NGHỊ SẢN PHẨM TRONG THƢƠNG MẠI ĐIỆN TỬ 1.1 Thƣơng mại điện tử 1.2 Hệ thống khuyến nghị sản phẩm thƣơng mại điện tử 1.2.1 Giới thiệu 1.2.2 Ứng dụng 1.3 Một số kỹ thuật xây dựng. .. Chương - Hệ thống khuyến nghị sản phẩm thương mại điện tử - Chương - Mô hình học sâu – Deep learning - Chương - Xây dựng hệ thống khuyến nghị sản phẩm với deep learning - Chương - Xây dựng hệ thống. .. tài nghiên cứu “ Nghiên cứu xây dựng hệ thống khuyến nghị sản phẩm thương mại điện tử với Deep learning làm đề tài nghiên cứu Tổng quan vấn đề nghiên cứu Với tốc độ phát triển thương mại điện tử