ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ LÊ KHẢ CHUNG ỨNG DỤNG KHAI PHÁ DỮ LIỆU VÀO DỰ BÁO GIÁ MẶT HÀNG TRÊN SÀN GIAO DỊCH LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN \ HÀ NỘI - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ LÊ KHẢ CHUNG ỨNG DỤNG KHAI PHÁ DỮ LIỆU VÀO DỰ BÁO GIÁ MẶT HÀNG TRÊN SÀN GIAO DỊCH Ngành: Công Nghệ Thông tin Chuyên ngành: Hệ thống Thông tin Mã số: 60.48.05 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS TS NGUYỄN TRÍ THÀNH HÀ NỘI - 2015 Lời cảm ơn Em xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS Nguyễn Trí Thành, thầy hƣớng dẫn, dạy tận tình để em hoàn thành luận văn Em xin chân thành cảm ơn thầy, cô giáo khoa Công nghệ thông tin - Trƣờng Đại học Công nghệ - Đại học Quốc gia Hà nội truyền thụ kiến thức cho em suốt trình học tập vừa qua Tác giả xin cảm ơn quan, bạn bè đồng nghiệp, gia đình ngƣời thân chia sẻ, giúp đỡ, động viên, tạo điều kiện thuận lợi để tác giả hoàn thành nhiệm vụ học tập luận văn Hà Nội, ngày 06 tháng 12 năm 2015 Học viên Lê Khả Chung Mục lục Mục lục Danh mục bảng Danh mục hình ảnh MỞ ĐẦU Chƣơng TỔNG QUAN VỀ GIAO DỊCH HÀNG HÓA TƢƠNG LAI 10 1.1 Hàng hóa tƣơng lai 10 1.2 Sàn giao dịch hàng hóa tƣơng lai 11 1.3 Các chủ thể thị trƣờng tƣơng lai 12 1.4 Phân tích kỹ thuật 13 1.4.1 Phân tích điểm kháng cự, hỗ trợ 13 1.4.2 Phân tích xu hƣớng giá 14 1.4.3 Phân tích đƣờng trung bình giá 14 1.5 Đặt vấn đề dự báo giá hàng hóa sàn giao dịch 15 Chƣơng CƠ SỞ LÝ THUYẾT VỀ MẠNG NƠ RON 17 2.1 Lịch sử phát triển mạng nơ ron 17 2.2 Cơ sở sinh học 17 2.3 Cấu tạo nơ ron nhân tạo 18 2.3.1 Cấu tạo nơ ron nhân tạo 18 2.3.2 Hàm truyền 20 2.4 Mô hình mạng nơ ron 22 2.4.1 Mạng truyền thẳng 22 2.4.2 Mạng hồi quy 23 2.5 Huấn luyện mạng 23 2.5.1 Học có giám sát 24 2.5.2 Học không giám sát 24 2.6 Hàm mục tiêu 24 2.7 Thuật toán lan truyền ngƣợc 25 2.8 Lĩnh vực áp dụng 28 Chƣơng MÔ HÌNH XỬ LÝ 30 3.1 Mạng nơ ron toán dự báo 30 3.2 Mô hình xử lý 31 3.3 Lựa chọn biến số 31 3.4 Thu thập liệu 32 3.5 Tiền xử lý phân tích liệu 33 3.5.1 Tiền xử lý liệu 33 3.5.2 Phân tích liệu 34 3.6 Phân chia tập liệu 35 3.7 Cấu trúc mạng 36 3.7.1 Số lớp ẩn 36 3.7.2 Số nơ ron lớp ẩn 36 3.7.3 Số nơ ron đầu 37 3.7.4 Hàm truyền 37 3.8 Xác định tiêu trí đánh giá 37 3.9 Huấn luyện mạng 38 3.10 Triển khai 39 Chƣơng THỰC NGHIỆM VÀ ĐÁNH GIÁ 41 4.1 Giới thiệu thƣ viện cài đặt nơ ron 41 4.2 Mô hình mạng 41 4.2.1 Các biến số sử dụng cho toán 41 4.2.3 Thu thập liệu 42 4.2.4 Mô hình mạng 44 4.3 Huấn luyện mạng 46 4.4 Đánh giá mô hình mạng 47 4.4.1 So sánh kết mạng với mô hình tƣơng đƣơng 47 4.4.2 Đánh giá kết dự đoán 50 4.5 Giới thiệu ứng dụng dự đoán giá 52 4.5.1 Huấn luyện mạng 53 4.5.2 Dự đoán giá 54 KẾT LUẬN 56 TÀI LIỆU THAM KHẢO 57 PHỤ LỤC 59 Danh mục bảng Bảng 1.1: Sự khác hợp đồng kỳ hạn hợp đồng tƣơng lai 11 Bảng 1.2: Sàn giao dịch hàng hóa tƣơng lai 12 Bảng 2.1: Sơ đồ thuật toán lan truyền ngƣợc 28 Bảng 4.1: Bảng biến số sử dụng mạng 42 Bảng 4.2: Bảng liệu mẫu tổng hợp từ nguồn tháng 5-KCN13 43 Bảng 4.3: Bảng liệu mẫu giá đóng cửa biến số đƣợc sử dụng tháng 05/2013 43 Bảng 4.4: Kết chạy mạng lớp ẩn 44 Bảng 4.5: Kết chạy mạng lớp ẩn 45 Bảng 4.6: Kết chạy mạng lớp ẩn 45 Bảng 4.7: So sánh mạng point point 50 Bảng 4.8: Bảng so sánh mạng point point mã giao dịch 50 Bảng 4.9: Kết dự đoán mã giao dịch KCZ13 51 Danh mục hình ảnh Hình 1.1: Biểu đồ OHLC – xác định điểm hỗ trợ, điểm kháng cự 14 Hình 2: Biểu đồ đƣờng trung bình giá CCZ15 [finance.yahoo.com] 15 Hình 2.1: Cấu tạo nơ ron sinh học 18 Hình 2.2: Cấu tạo nơ ron mạng 19 Hình 2.3: Đồ thị hàm ngƣỡng 20 Hình 2.4: Đồ thị hàm vùng tuyến tính 21 Hình 2.5: Đồ thị hàm Sigmoid với hệ số 𝑎 tăng dần 22 Hình 2.6: Mô hình mạng nơ ron lớp truyền thẳng 22 Hình 2.7: Mô hình mạng nơ ron truyền thẳng nhiều lớp 23 Hình 2.8: Ví dụ mô hình mạng hồi quy truyền thắng 23 Hình 2.9 Mô hình học có thầy 24 Hình 3.1: Các bƣớc để xây dựng mạng nơ ron toán dự báo 30 Hình 3.2: Các bƣớc xử lý mạng nơ ron toán dự báo 31 Hình 3.3: Biểu đồ giá đóng cửa mã giao dịch KCZ13 33 Hình 3.4: Sử dụng điểm lịch sử liên tiếp để dự đoán 35 Hình 3.5: Mô hình tổ chức liệu 36 Hình 3.6: Múc độ tƣơng quan 38 Hình 4.1: Dữ liệu mã giao dịch KCN13 từ nguồn 42 Hình 4.2: Mô hình mạng nơ ron dự báo giá mặt hàng sàn giao dịch 46 Hình 4.3: Đồ thị hàm truyền 46 Hình 4.4: Đồ thị lỗi qua trình huấn luyện 47 Hình 4.5: Kết dự báo giá trị thực mạng point 48 Hình 4.6: Kết dự báo giá trị thực mạng point 48 Hình 4.7: Biểu đồ tƣơng quan KCZ 13- point 49 Hình 4.8: Biểu đồ tƣơng quan KCZ13- point 49 Hình 4.9: Dự đoán giá close giao dịch KCN13 52 Hình 4.10: Biểu đồ tƣơng quan dự đoán mã giao dịch KCN13 52 Hình 4.11: Giao diện ứng dụng dụ đoán 53 Hình 4.12: Giao diện hiển thị biểu đồ lỗi trình huấn luyện 54 Hình 4.13: Giao diện ứng dụng kiểm tra dự đoán 54 Hình 4.14: Giao diện tab Graph 55 MỞ ĐẦU Thị trƣờng giao dịch hàng hóa tƣơng lai thị trƣờng non trẻ Việt Nam Các mặt hàng thuộc lĩnh vực nông sản, kim loại đóng vai trò chủ đạo giao dịch Việt Nam nhƣ: cafe, cacao, đƣờng, sắt thép Giao dịch hàng hóa tƣơng lai đƣợc thực sàn giao dịch giới hợp đồng giao dịch Các hợp đồng giao dịch đƣợc chuẩn hóa loại tài sản, số lƣợng đơn vị tài sản, thể thức toán, kỳ hạn giao dịch, có giá đƣợc thỏa thuận Mỗi hợp đồng giao dịch lệnh mua bán đƣợc đặt sàn Hai lệnh mua bán khớp với làm cho giá thị trƣờng mặt hàng thay đổi Dự đoán, dự báo giá nhu cần cần thiết cho nhà đầu tƣ thị trƣờng Để đƣa định mua bán mặt hàng nhà đầu tƣ thƣờng tiến hành phân tích theo cách riêng Một phƣơng pháp đƣợc áp dụng phổ biến sử dụng phân tích kỹ thuật Với giả định tảng giá phản ánh tất hành động thị trƣờng, có thông tin đƣợc đƣa đƣợc phản ánh giá Bởi nhà đâu tƣ họ thƣờng xuyên quan sát đồ thị giá khối lƣợng khứ để dự đoán xu hƣớng biến động tới thị trƣờng Việc phân tích gặp nhiều hạn chế nhƣ mang tính chủ quan ngƣời phân tích, tốn nhiều thời gian, phát xu hƣớng giá biến động mạnh Yêu cầu đặt cần có gợi ý xác sở khoa học thực tiễn cho nhà đầu tƣ Mạng nơ ron đƣợc ứng dụng nhiều vào toán dự báo Hoạt động theo mô não ngƣời Bằng việc tính toán tƣơng quan liệu đầu vào với kết mong muốn đầu ra, mạng nơ ron mang lại hiệu cao toán yêu cầu phúc tạp tính toán cao Lĩnh vực dự đoán, dự báo mảng mạnh mạng rơ ron Việc sử dụng mạng nơ ron toán khai phá liệu lịch sử để dự đoán giá tƣơng lai mang lại nhiều lợi ích giá trị dự báo Trong nội dung luận văn tác giả trình bày khái quát giao dịch hàng hóa tƣơng lai sàn giao dịch, tổng quan mạng nơ ron, ứng dụng mạng nơ ron vào toán dự báo giá mặt hàng sàn giao dịch Luận văn gồm chƣơng sau: Chƣơng Tổng quan giao dịch hàng hóa tƣơng lai: Trong chƣơng tác giả trình bày khái quát giao dịch hàng hoá tƣơng lai, sàn giao dịch hàng hoá tƣơng lai Một số kỹ thuật thông dụng đƣợc dùng phân tích kỹ thuật, thông qua đặt vấn đề cấp thiết cho toán dự báo giá sàn giao dịch hành hóa tƣơng lai Hình 4.5: Kết dự báo giá trị thực mạng point Hình 4.6: Kết dự báo giá trị thực mạng point Quan sát đồ thị Hình 4.5 ta thấy giá trị dự đoán mạng đƣờng màu xanh biến động lên xuống xung quanh đƣờng giá trị thực đƣờng màu đỏ Xét toàn đƣờng đi, giá trị hai điểm có khoảng cách rõ Trên đồ thị Hình 4.6 đƣờng giá trị thực màu đỏ, đƣờng dự báo màu xanh Ta thấy đƣờng màu xanh biến thiên xung quanh đƣờng màu đỏ Các giá trị dự đoán gia trị thực có khoảng cách nhỏ nhận thấy đồ thị Bằng quan sát biểu đồ đƣờng thẳng ta thấy mạng point có giá trị dự báo xác mạng point Cụ thể hai đƣờng giá trị thực dự đoán đồ thị sát Quan sát biểu đồ tƣơng quan hai mạng Hình 4.7 Hình 4.8 ta thấy Trên đồ thị tƣơng quan mạng point điểm nằm sát đƣờng trung bình Tuy nhiên điểm ngoại lại nằm xa đƣờng trung bình Khảng cách đƣờng biên lớn tới đƣờng trung bình lớn Trong biểu đồ tƣơng quan mạng point ta thấy điểm nằm sát đƣờng trung bình mạng point, khảng cách từ đƣờng biên lớn 48 tới đƣờng trung bình nhỏ Quan quan sát biểu đồ tƣơng quan ta thấy độ ổn định mạng point điểm có khoảng cách cách đƣờng trung bình hơn, khoảng cách tới đƣờng trung bình nhỏ Bảng mô tả so sánh thông số cụ thể 135 130 125 120 115 110 105 100 100 105 110 115 120 125 130 135 Hình 4.7: Biểu đồ tương quan KCZ 13- point 135 130 125 120 115 110 105 100 100 105 110 115 120 125 130 135 Hình 4.8: Biểu đồ tương quan KCZ13- point 49 Mạng point Mạng point Sai số quân phƣơng (MSE) 9.759472912 3.191979148 Sai số tuyệt đối (MAE) 2.428571459 1.464473169 Hệ số tƣơng quan (r) 0.91400 0.96785 Bảng 4.7: So sánh mạng point point So sánh giá trị lỗi bình quân ta thấy mạng point lớn mạng point gấp lần giá trị So sánh sai số tuyệt đối mạng point gấp 1.66 lần mạng point Thực so sánh với số mã giao dịch khác ta thu đƣợc giá trị Bảng 4.8: Mã giao dịch Mạng point Lỗi MSE Hệ số tƣơng quan Mạng point Lỗi MSE Hệ số tƣơng quan KCN 91.10655933 0.95912 4.923479839 0.98060 CTN 41.97306720 0.58605 2.695210526 0.85310 SBN 1.289069908 0.55724 0.067341959 0.94320 CCN 7990.879611 0.75407 562.3320663 0.96312 Bảng 4.8: Bảng so sánh mạng point point mã giao dịch Từ kết cho thấy mạng point hoạt động hiệu so với mạng point Đồng thời kết đánh giá hệ số lỗi hệ số tƣơng quan xác mạng point 4.4.2 Đánh giá kết dự đoán Quan sát đồ thị tƣơng quan mã giao dịch KCZ13 hình 4.8 ta thấy Đƣờng trung bình cắt ngang qua số điểm đồ thị, điểm hội tụ xung quanh đƣờng trung bình Theo kết dự báo mạng Bảng 4.9 ta thấy ngày 02/07/2013 mạng dự báo xác giá đóng Sai số tuyệt đối tập liệu kiểm tra (theo công thức 2.9) MAE = 1.46 50 Ngày 7/1/2013 7/2/2013 7/3/2013 7/5/2013 7/8/2013 7/9/2013 7/10/2013 7/11/2013 7/12/2013 7/15/2013 7/16/2013 7/17/2013 7/18/2013 7/19/2013 7/22/2013 7/23/2013 7/24/2013 7/25/2013 7/26/2013 7/29/2013 7/30/2013 7/31/2013 8/1/2013 8/2/2013 8/5/2013 8/6/2013 8/7/2013 8/8/2013 8/9/2013 8/12/2013 8/13/2013 8/14/2013 8/15/2013 Giá trị Thực 123.35 124.65 127.3 124.4 124.25 126.3 125.1 124.5 126.15 122.2 125.85 128.25 130.05 129.8 125.15 127.85 128.75 123.95 127.3 124.25 123.45 122.95 121.3 118.35 121.05 122.5 120.7 123.8 124.8 125.6 126.1 123 125.3 Giá trị dự đoán 124.64 124.65 125.31 126.93 126.12 125.96 125.99 125.47 125.86 124.02 124.50 126.07 126.64 129.13 129.90 124.33 130.66 127.45 123.79 125.88 122.63 124.77 122.37 121.78 119.57 121.85 123.07 121.19 123.31 122.91 123.84 125.16 123.74 Ngày 8/16/2013 8/19/2013 8/20/2013 8/21/2013 8/22/2013 8/23/2013 8/26/2013 8/27/2013 8/28/2013 8/29/2013 8/30/2013 9/3/2013 9/4/2013 9/5/2013 9/6/2013 9/9/2013 9/10/2013 9/11/2013 9/12/2013 9/13/2013 9/16/2013 9/17/2013 9/18/2013 9/19/2013 9/20/2013 9/23/2013 9/24/2013 9/25/2013 9/26/2013 9/27/2013 9/30/2013 10/1/2013 10/2/2013 Giá trị Thực 124.7 123.65 122.75 118.8 117.15 117.05 117.05 117.75 116.75 118.45 117.65 116.3 117.2 116.85 116.85 117.85 118.05 116.65 120.8 120.6 120 119.25 114.95 114.9 115.8 114.65 117.05 117.85 117.25 115.65 113.7 113.7 114.1 Giá trị dự đoán 124.82 121.29 121.69 120.75 116.80 119.49 117.60 116.99 117.23 118.40 118.66 118.70 117.63 117.43 116.93 117.50 118.12 115.39 115.99 120.22 118.58 117.41 116.89 117.96 114.57 115.78 114.69 118.85 115.12 117.01 115.74 113.14 115.04 Giá trị Ngày Thực 10/3/2013 114.45 10/4/2013 115.35 10/7/2013 114.4 10/8/2013 114.5 10/9/2013 115.05 10/10/2013 115.25 10/11/2013 114.4 10/14/2013 116.7 10/15/2013 117 10/16/2013 116.45 10/17/2013 115.85 10/18/2013 114.7 10/21/2013 114.65 10/22/2013 112.7 10/23/2013 111.95 10/24/2013 110.55 10/25/2013 110.3 10/28/2013 109.1 10/29/2013 107.55 10/30/2013 106.95 10/31/2013 106.85 11/1/2013 105.4 11/4/2013 105.55 11/5/2013 103.7 11/6/2013 103.45 11/7/2013 101.5 11/8/2013 103.95 11/11/2013 104.05 11/12/2013 103.25 11/13/2013 105.8 11/14/2013 103.05 11/15/2013 102.6 Giá trị dự đoán 113.29 114.36 114.99 114.81 113.44 115.87 116.90 115.75 117.19 116.86 116.14 116.03 116.09 114.83 113.74 112.94 109.38 110.85 108.37 106.91 106.26 107.73 104.91 104.34 104.09 102.69 102.07 104.31 104.10 103.79 105.95 104.68 Bảng 4.9: Kết dự đoán mã giao dịch KCZ13 Thực dự đoán mã giao dịch KCN13 ta thu đƣợc biểu đồ Hình 4.9 Lỗi MSE = 4.923479839, Lỗi MAE = 1.808710826 51 Hình 4.9: Dự đoán giá close giao dịch KCN13 165 160 155 150 145 140 135 130 125 120 115 115 120 125 130 135 140 145 150 155 160 165 Hình 4.10: Biểu đồ tương quan dự đoán mã giao dịch KCN13 Trên biểu đồ đƣờng dự đoán đƣờng giá trị thực mã giao dịch Hình 4.9 ta thấy đƣờng màu xanh dự đoán tín sát đƣờng màu đỏ kết thực Các khoảng cách đƣờng không đáng kể Trên đồ thị tƣơng quan ta thấy điểm đồ thị nằm sát với đƣờng trung bình Đƣờng biên xa đồ thị tiến sát đƣờng trung bình Có nhiều điểm đồ thị có đƣờng trung bình qua Các đồ thị Hình 4.9, 4.10 cho thấy kết dự đoán mã giao dịch KCZ có độ xác cao 4.5 Giới thiệu ứng dụng dự đoán giá Ứng dụng đƣợc xây dựng với đầu vào liệu thô đầu giá trị dự đoán mạng ngày Giao diện ứng dụng nhƣ Hình 4.11 Ứng dụng tách biệt với ba phần Huấn luyện mạng, dự đoán, đồ thị so sánh giá trị thực giá trị dự báo 52 Hình 4.11: Giao diện ứng dụng dụ đoán 4.5.1 Huấn luyện mạng Thực thiết lập địa lƣu trữ file csv chứa liệu thô tham số đầu vào Trên giao diện Hình 4.11 ta thấy, địa lƣu trữ file tham số đầu vào đƣợc chọn hiển thị ô nhập Các thông số mạng đƣợc cấu hình bên phải ứng dụng Trên Hình 4.11 mạng lớp ẩn, lớp ẩn chứa 14 nơ ron Thực nhập thời gian huấn luyện mạng Thời gian bắt đầu kết thúc huấn luyện liệu huấn luyện Thời gian thiết lập ngày giao dịch mã sàn giao dịch Sau thiết lập thông số chọn nút “start” để thực huấn luyện mạng Các thông số, số lần lặp tập liệu lỗi tối đa đạt đƣợc huấn luyện không đƣợc tham số bên ứng dụng Các thông tin đƣợc định ứng dụng Trong trình huấn luyện muốn dừng huấn luyện chọn nút “stop”, mạng dừng huấn luyện ghi nhận giá trị trọng số thời điểm dừng Kết thúc trình huấn luyện lƣu thông tin mạng xuống ổ cứng nhấn nút “save” File lƣu trữ dạng binary có đuôi mở rộng “.ntwrk” Mạng tự động dừng đạt số lỗi tối đa số lần lặp liệu Kết thúc trình huấn luyện ta có biểu đồ lỗi trình huấn luyện 53 Hình 4.12: Giao diện hiển thị biểu đồ lỗi trình huấn luyện 4.5.2 Dự đoán giá Sau kết thúc huấn luyện, kiểm tra khả mạng liệu kiểm tra Thực nhập từ ngày kiểm tra tới ngày kết thúc kiểm tra “tab Predic”, sau nhấn nút “Predic” để ứng dụng thực dự báo liệu kiểm tra Hình 4.13: Giao diện ứng dụng kiểm tra dự đoán Kết dự đoán đƣợc hiển thị grid với cột ngày, giá trị thực tế, giá trị dự đoán sai số tuyệt đối tƣơng ứng Úng dụng cung cấp chức dự đoán từ mạng học cách đọc file mạng kết xuất tab Predic Ngoài ứng dụng hỗ trợ kết xuất giá trị dự đoán mạng file định dạnh csv Để thực kế xuất giá trị dự đoán, thực nhấn nút “Export results” “tab Predic” Khi nhấn nút “Predic” ứng dụng hiển thị biểu đồ so sánh kết thực kết dự đoán bên “tab Graph” Biểu đồ thể hai đƣờng màu đỏ giá trị thực tế, đƣờng màu xanh giá trị tính toán mạng 54 Hình 4.14: Giao diện tab Graph Kết luận Trong chƣơng tác giả giới thiệu khái quát thƣ viện "encog-dotnetcore" giúp hỗ trợ cài đặt mạng nơ ron Tác giả nêu chi tiết biến số sử dụng cho toán dự báo Tiến hành thu thập liệu từ nguồn, trình bày liệu mẫu đƣợc sử dụng toán Tác giả tiến hành thực nghiệm, tìm mô hình mạng đắn Tiến hành thực nghiệm, kiểm tra, đánh giá để tìm thông số cần thiết cho mạng, tiến hành xây dựng ứng dụng mạng dự đoán giá sàn giao dịch, ứng dụng thể rõ nét bƣớc, thu thập liệu, huân luyện, kiểm tra, hỗ trợ kết xuất liệu, vẽ biểu đồ, phân tích lỗi trình học Tác giả tiến hành đánh giá mô hình mạng thông qua mô hình mạng thông thƣờng đánh giá kết dự báo mã giao dịch tiêu biểu thông qua kết minh chứng cho khả mạng dự báo giá mặt hàng sàn giao dịch 55 KẾT LUẬN Luận văn tập trung vào toán dự báo giá mặt hàng sàn giao dịch hàng hóa tƣơng lai Ứng dụng mạng nơ ron nhân tạo vào toán khai phá liệu lịch sử Ứng dụng dự đoán giá đóng cửa hàng hóa tƣơng lai sàn giao dịch Bài toán dự báo giá sàn giao dịch có đặc điểm riêng liệu lịch sử Thông qua phân tích liệu lịch sử tác giả đề xuất giải pháp, xây dựng mô hình mạng nơ ron phù hợp cho toán dự báo giá sàn giao dịch Qua đƣa dự báo giá đóng cửa hàng hóa ngày giao dịch Luận văn có đóng góp sau: Hệ thống lại nội dung mạng nơ ron ảo, khái quát giao dịch hàng hóa tƣơng lai, phân tích kỹ thuật giá lịch sử hàng hóa Phân tích liệu giá từ đề xuất mô hình nơ ron phù hợp cho toán dự đoán giá sàn giao dịch hàng hóa tƣơng lai Xây dựng ứng dụng dự báo giá hàng hóa sàn giao dịch Kết đự đoán cung cấp cho nhà đầu tƣ sàn giao dịch hƣớng nhìn mới, cách phân tích thị trƣờng, phản ánh đắn tác động thị trƣờng lên giá mặt hàng Kết luận văn bƣớc đầu việc xây dựng hệ thống áp dụng kỹ thuật học “deep learning” mạng nơ ron Hƣớng phát triển tiếp theo: Kết dự báo mô hình mạng nơ ron khẳng định mô hình hƣớng tiếp cận dự báo đắn, nhiên kết dự báo chƣa đƣợc xác cao Vì vậy, cần đƣợc nâng cao độ xác toán để tiến gần tới kết thực Hai dự báo giá dừng lại bƣớc dự báo giá close ngày hôm sau Mở rộng toán dự báo theo hƣớng xa nhƣ tuần, tháng, tới ngày… Một kỹ thuật đƣợc nghiên cứu, phát triển mạnh gần ứng dụng mạng nơ ron áp dụng kỹ thuật “Deep learning”[21] Bằng việc kết hợp nhiều lớp mạng nơ ron toán chi tiết, để cuối thu đƣợc mô hình mạng nơ ron tổng quan toán Nghiên cứu giải pháp để áp dụng toán dự báo giá sàn giao dịch nhằm mục đích khai phá đƣợc nhiều thông tin từ liệu lịch sử nói riêng liệu giao dịch nói chung, theo nâng cao kết dự đoán hàng hóa 56 TÀI LIỆU THAM KHẢO Tiếng Việt Các Dealer, Công ty Môi Giới Hàng Hóa Tƣơng Lai Finex Tiếng Anh T Masters(1993), Practical Nearal Network Recipes in C++, Academic Press, New York, J.O Katz (1992), Developing neural network forecasters for trading, Technical Analysis of Stock and Commodities pp.58-70 D Baily and D.M Thompson (1990), Developing neural network application, AI Expect, pp 33-41 5.Simon Haykin, A Comprehensive Foundation McMaster Universtry, Hamilton, Ontario, Canada Rojas, R (1996) Neural Networks: A Systematic Introduction, Springer, Berlin John E.Hanke & Deam W.Wichem, (2005), Busuness Forecasting, 8th Edition, Chapter Hagan M T., Demuth H B., Beale M.(1996), Neural networks design, PWS Publishing Company, Boston, Ma Haykin, S (1994), Neural networks, a comprehensive foundation, Macmillan New York, 10 Rune Aamodt (2010), Using Artificial Neural Networks To Forecast Financial Time Series, Master of Science in Computer Science, Norwegian University of Science and Technology Charpter 2,3,4 11 Hagan, Demuth Beale, De jesus, Neural Network Design (2nd edition), Charpter 2,3 12 Assia Lasfer (2013), Performance analysis of artificial nearal network in forecasting financial time series A Thesis Presented to the Faculty of the American University 13 Iebeling Kaastra and Milton Boyd (1996), Designing a neural network for forecasting financial and economic time series, Neurocomputing, vol 10, no 3, pp 215-236 14 Jakulin, A (2003), Attribute interactions in machine learning Master‟s thesis, University of Ljubljana, Faculty of Computer and Information Science 57 15 Xianjun Ni (2008), Research of Data Mining Based on Neural Networks, World Academy of Science, Engineering and Technology, Charpter III 16 Nelson, M.C and Illingworth, W.T (1991), A Practical Guide to Neural Nets, Reading, MA: Addison-Wesley 17 Adhikari R., and R K Agrawal (2013) A Combination of Artificial Neural Network and Random Walk Models for Financial Time Series Forecasting Neural Computing and Applications 18 Aghababaeyan R., and N TamannaSiddiqui (2011) Forecasting the Tehran Stock Market by Artificial Neural Network International Journal of Advanced Computer Science and Applications, Special Issue on Artificial Intelligence 19 Butler M., and A Daniyal (2009) Multi-objective Optimization with an Evolutionary Artificial Neural Network for Financial Forecasting, Proceedings of the 11th Annual conference on Genetic and evolutionary computation pp 14511457 20 Cerna L., and M Chytry (2005) Supervised Classification of Plant Communities with Artificial Neural Networks, Journal of Vegetation Science 16 pp 407-414 21 Li Deng and Dong Yu (2013), DeepLearning Methods and Applications, Foundations and Trends® in Signal Processing Vol 58 PHỤ LỤC Một số mã hàng hóa giao dịch sàn Mã Giao dịch Tên hàng hóa KC Café CT Cotton SB Đƣờng CC Ca cao OJ Quả cam LS Gỗ Ký hiệu tháng đáo hạn hàng hóa Ký hiệu Tháng đáo hạn F G H J K M N Q U V 10 X 11 Z 12 59 Cấu trúc ký hiệu mã giao dịch sàn Các giao dịch hàng hóa sàn đƣợc đánh số theo cấu trúc sau: Ví dụ: Mã giao dịch đƣợc sét tới luân văn KCZ13 Đây giao dịch hàng hóa café, đáo hạn vào tháng 12 năm 2013 Giới thiệu công cụ “DataCollector” thu thập liệu từ nguồn [www.barchart.com] 4.1 Sơ đồ xử lý thu thập liệu Tải liệu Lọc OHLC • Tách vùng liệu OHLC • Thu liệu OHLC Kết xuất kết file csv Lọc Volume • Tách vùng liệu Volume • Thu liệu Volume Hình 1: Sơ đồ xử lý thu thập liệu Dữ liệu OHLC liệu value nằm hai biểu đồ khác nên việc lọc liệu đƣợc tách làm hai tiến trình xử lý khác Đầu vào cửa sơ đồ trang nguồn có chứa biểu đồ lịch sử mã giao dịch Đầu file liệu OHLCV.csv 4.2 Thực thu thập liệu Thực nhập địa URL nguồn vào công cụ Nhƣ hình giao diện công cụ thu thập liệu “Data Collector” Mã giao dịch thực thu thập mã KCZ11 Địa URL mã http://www.barchart.com/charts/futures/KCZ11 Thực thu thập liệu qua bƣớc sau Bƣớc 1: Tải liệu từ nguồn Nhấn nút “LoadPage” để thực tải trang Dữ liệu thu đƣợc dƣới dạng mã HTML Sau kết thúc trình tải trang có thông báo “Tải trang web thành công” nhƣ hình 60 Hình 2: Giao diện công cụ thu thập liệu Hình 3: Trang liệu nguồn mã giao dich KCZ11 Bƣớc 2: Tách vùng liệu OHLC Do liệu tải có chƣa nội dung khác trang nên cần tách liệu, lấy liệu vùng OHLC Chúng ta sử dụng cấu trúc regex để tách đƣợc liệu OHLC nhƣ Hình Thực nhấn nút “Regex O” để tác vùng liệu Sau tách thành công có thông báo “Loc thông tin OHLC thành công” Dữ liệu thu đƣợc có dạng “'A', '[Mon Dec 19, 2011]', 'KCZ11', '215.3000000', '215.3000000', '215.3000000', '215.3000000'” „A‟ ký tự bắt đầu, ngày giao dịch, mã giao dịch, giá trị theo thứ tự OHLC Hình 4: Lọc vùng liệu OHLC Bƣớc 3: Thu liệu OHLC Thực nhấn nút “GetDataOHLC” để thu liệu OHLC Sau kết thúc thu liệu, có thông báo “Lấy thông tin OHLC thành công” 61 Bƣớc 4: Tách vùng liệu Volumn Thực nhấn nút “Regex V” để tách vùng liệu Volume Kết thu đƣợc nhƣ hình Ứng dụng thông báo “Lấy thông tin Volume thành công” Dữ liệu thu đƣợc có dạng “'A', '[Mon Dec 19, 2011]', 'Volume', '8.0000000'” Bắt đầu ký tự đánh dấu A bắt đầu ghi, ngày giao dịch, Volume, sau giá trị Volume Hình 5: Tách vùng liệu Volume Bƣớc 4: Thu liệu Volume Thực nhấn nút “GetDataVolum” để thu liệu Sau thu liệu Volume thành công ứng dụng có thông báo lại “lấy thông tin Volum thành công” Bƣớc 5: Kết xuất kết file csv Thực nhấn nút “save” để kết xuất kết thu đƣợc file csv Sau lƣu thành công file vào ổ cứng nơi chứa file chạy ứng dụng có thông báo “Lƣu liệu thành công” Mở file csv ta có liệu thu đƣợc dƣới dạng bảng sau Date Open High Low Close Volume 12/19/2011 215.3 215.3 215.3 215.3 12/16/2011 213.4 214.25 210.95 210.95 11 12/15/2011 215 215 213.75 213.75 12/14/2011 219.25 219.25 213.5 215.1 12/13/2011 221 221 218.65 218.65 29 12/12/2011 224 224 218 218.5 53 12/9/2011 225.5 226 224.65 224.65 14 12/8/2011 226.4 227.35 225.4 225.7 10 12/7/2011 231.7 231.7 226.75 226.75 23 12/6/2011 232.25 233.7 230.1 232.85 28 12/5/2011 229.4 235.2 228.5 233.95 28 12/2/2011 234 234 223.9 227.15 10 12/1/2011 233.2 235.7 231.55 233.2 78 Bảng 1: Mẫu liệu thu - KCZ11 62 [...]... không học thêm trên bộ dữ liệu 2013 của các mã giao địch, kết quả đánh giá dựa trên hệ số lỗi quân phƣơng và hệ số tƣơng quan trên đồ thị tƣơng quan 9 Chƣơng 1 TỔNG QUAN VỀ GIAO DỊCH HÀNG HÓA TƢƠNG LAI 1.1 Hàng hóa tƣơng lai Hàng hóa tƣơng lai là hàng hóa đƣợc sử dụng trong giao dịch của tƣơng lai Các giao dịch trong tƣơng lai đƣợc ký kết qua hợp đồng tƣơng lai, mà ở đó các thông tin về loại hàng hóa, khối... những ngƣời dựa vào mối quan hệ giữa giá giao ngày và giá tƣơng lai, hay những biến động cung cầu nhất thời làm rối loạn giá để kiếm lợi nhuận từ chênh lệch giữa giá giao ngay và giá tƣơng lai Các cá nhân/tổ chức giao dịch trên sàn: Họ là những cá nhân, tổ chức, nhà cung cấp, nhà môi giới, thực hiện các giao dịch hàng hóa tƣơng lai trên sàn Họ có sản phẩm, hàng hóa và thực hiện giao dịch mua bán trên sàn... tiền xử lý dữ liệu Tiền xử lý dữ liệu có thể là thực hiện lọc dữ liệu (trong dữ liệu biến thiên theo thời gian time-series) hay các phƣơng pháp phức tạp hơn nhƣ là các phƣơng pháp kết xuất, trích chọn các đặc trƣng từ dữ liệu cơ bản [13] Trong mạng nơ ron khi sử dụng quá ít dữ liệu hoặc không đủ dữ liệu tổng quát có thể dẫn đến trƣờng hợp thừa ăn khớp (over-fitting) Còn nếu sử dụng quá nhiều dữ liệu sẽ... sâu hơn từng bƣớc trong bài toán dự đoán giá một mặt hàng trên sàn giao dịch 3.3 Lựa chọn các biến số Trên sàn giao dịch hàng hóa sự biến động của giá là kết quả của nhiều tác động từ bên trong và bên ngoài thị trƣờng Chính bên trong hàng hóa đó nhƣ trên đà tăng, hoặc giảm của giá Tác động từ bên ngoài nhƣ tỉ giá thế giới… Có nhiều nguyên nhân khiến giá của một mặt hàng thay đổi[1] Việc lựa chọn những... trang là dữ liệu thô từ nhà cung cấp, sau khi đã trích lọc thông tin, thì có dữ liệu OHLCV của các mã giao dịch, đây là dữ liệu cơ bản Hình 3.3: Biểu đồ giá đóng cửa của mã giao dịch KCZ13 3.5 Tiền xử lý và phân tích dữ liệu 3.5.1 Tiền xử lý dữ liệu Quá trình tiền xử lý dữ liệu nhằm mục đích chuẩn hóa dữ liệu cơ bản, lọc những dữ liệu gây nhiễu, dƣ thừa, giúp cải thiện quá trình học của mạng, tăng hiệu... toán hàng ngày thông qua phòng giao hoán nên ít rủi ro Tuy nhiên rủi ro cũng có thể xảy ra giữa nhà môi giới và khách hàng Yết giá -Các ngân hàng yết giá mua và giá bán với một mức độ chênh lệch giữa giá mua và giá bán - Chênh lệch giá mua và giá bán đƣợc niêm yết ở sàn giao dịch Ngoại tệ giao dịch Tất cả các ngoại tệ Chỉ giới hạn cho một số ngoại tệ Tỷ giá Tỷ giá đƣợc khóa chặt trong Tỷ giá thay đổi hàng. .. Để tránh các lỗi trên cần 33 chuẩn bị bộ dữ liệu học và kiểm tra có đầy đủ các trƣờng hợp có thể xẩy ra, mới có kết quả đánh giá khách quan và mạng học có hiệu quả cao Trong bài toán dự báo giá trên sàn giao dịch, dữ liệu cơ bản là giá đóng của của các ngày giao dịch trong lịch sử Biểu đồ giá đóng của là một biêu đồ tuyến tính Chính vì vậy việc lọc, trích chọn dữ liệu không đƣợc áp dụng trong bài toán... 𝑀𝑖𝑛𝑣𝑎𝑙𝑢𝑒 : Giá trị nhỏ nhất của tập biến số giá đóng của 3.5.2 Phân tích dữ liệu Từ biểu đồ giá close của mã KCZ13 trên chúng ta nhận thấy rằng dữ liệu giá là một đƣờng tuyến tính theo ngày giao dịch Vậy điểm cần chú ý ở đây là các điểm cực đại, cực tiểu trên đồ thị, hay là những thời điểm thị trƣờng đảo chiều Nếu chỉ sử dụng dữ liệu của ngày t-1 để dự đoán giá đóng cửa của ngày t thì kết quả dự báo không... lên giá của hàng hóa Vấn đề đặt ra là: Các nhà đầu tƣ/ phân tích thị trƣờng có thể xác định giá trong tƣơng lai gần là bao nhiêu, cụ thể là giá đóng của hàng hóa ngày hôm sau? Thông tin này sẽ là hữu ích và mang lại nguồn lợi nhuận cho các nhà đầu tƣ trên sàn giao dịch Việc dự đoán giá tƣơng lai ngày càng cấp thiết trên các sàn giao dịch, chính vì vậy bài toán dự báo giá luôn là bài toán thời sự trên. .. dự đoán sự biến động giá và xu hƣớng giá cả trong tƣơng lai, từ đó sẽ vào các vị thế thích hợp để tìm kiếm lợi nhuận Hoặc những nhà đầu cơ khác lại sử dụng các phân tích cơ bản để đƣa ra nhận định về giá, họ thƣờng dựa vào các dữ liệu kinh tế vĩ mô để đƣa ra các dự đoán về sự biến động giá Nhà đầu cơ ngày: Các nhà đầu cơ chỉ đầu cơ dựa vào sự biến động giá trong một ngày giao dịch Họ không bao giờ ... luận văn toán dự báo giá tác giả sử dụng liệu lịch sử ngày giao dịch để dự báo giá đóng của ngày giao dịch tới Để thực dự báo giá hàng hóa sàn giao dịch tác giả sử dụng biến số đầu vào cho mạng... ron, ứng dụng mạng nơ ron vào toán dự báo giá mặt hàng sàn giao dịch Luận văn gồm chƣơng sau: Chƣơng Tổng quan giao dịch hàng hóa tƣơng lai: Trong chƣơng tác giả trình bày khái quát giao dịch hàng. ..ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ LÊ KHẢ CHUNG ỨNG DỤNG KHAI PHÁ DỮ LIỆU VÀO DỰ BÁO GIÁ MẶT HÀNG TRÊN SÀN GIAO DỊCH Ngành: Công Nghệ Thông tin Chuyên ngành: Hệ thống Thông tin