ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THƠNG TIN Hồng Văn Hà NHẬN DẠNG NGƯỜI TỪ DỮ LIỆU CHUYỂN ĐỘNG SỬ DỤNG CONVOLUTIONAL NEURAL NETWORK LUẬN VĂN THẠC SĨ NGÀNH KHOA HỌC MÁY TÍNH Mã số: 60.48.01.01 NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS TRẦN MINH TRIẾT TP HỒ CHÍ MINH - 2017 LỜI CẢM ƠN Trước tiên em xin gửi lời cảm ơn chân thành đến Thầy PGS.TS Trần Minh Triết hướng dẫn tận tình để em hồn thành đề tài Đồng thời, em xin chân thành cảm ơn quý Thầy Cô giảng dạy cao học trường Đại học Cơng Nghệ Thơng Tin nhiệt tình giảng dạy, truyền đạt kiến thức tảng truyền cho em tinh thần ham học hỏi hứng thú nghiên cứu khoa học Cảm ơn quý Thầy Cô anh chị đồng nghiệp công tác Khoa Công Nghệ Phần Mềm hỗ trợ công việc, giúp em có thời gian hồn thành đề tài Bên cạnh đó, em vô biết ơn với hỗ trợ Máy ảo từ UIT-Cloud Team phục vụ cho trình nghiên cứu Cảm ơn gia đình, bạn bè ln bên cạnh hỗ trợ, động viên Em xin chân thành cảm ơn Tp Hồ Chí Minh, tháng 10 năm 2017 Hồng Văn Hà LỜI CAM ĐOAN Tơi xin cam đoan nội dung luận văn kết nghiên cứu thực cá nhân hướng dẫn PGS.TS Trần Minh Triết Tơi xin hồn tồn chịu trách nhiệm luận văn Học viên Hoàng Văn Hà MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii MỤC LỤC DANH MỤC CÁC KÍ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ MỞ ĐẦU Chương TỔNG QUAN 1.1 Giới thiệu chung 1.2 Lý chọn đề tài 11 1.3 Mục tiêu luận văn 12 1.4 Đóng góp luận văn 13 1.5 Cấu trúc luận văn 14 Chương CƠ SỞ LÝ THUYẾT VỀ ĐỊNH DANH NGƯỜI DÙNG BẰNG ĐẶC TRƯNG CHUYỂN ĐỘNG 16 2.1 Chứng thực người dùng sử dụng đặc trưng sinh trắc học 16 2.1.1 Giới thiệu chung Sinh trắc học 16 2.1.2 Chứng thực sử dụng đặc trưng sinh trắc học 17 2.1.3 Tổng quan đặc trưng chuyển động (gait) 20 2.1.4 Quy trình định danh đặc trưng gait từ liệu chuyển động 21 2.2 Kết chương 27 Chương CƠ SỞ LÝ THUYẾT VỀ CONVOLUTIONAL NEURAL NETWORK VÀ RECURRENT NEURAL NETWORK 29 3.1 Giới thiệu Neural Network 29 3.1.1 Cấu trúc neuron 29 3.1.2 Kiến trúc Neural network 32 3.1.3 Huấn luyện Neural Network 33 3.2 Convolutional Neural Network 37 3.2.1 Các thành phần 38 3.2.2 Kiến trúc CNN 42 3.2.3 Một số kiến trúc CNN phổ biến 44 3.3 Recurrent Neural Network 45 3.3.1 Recurrent Neural Network (RNN) 45 3.3.2 Long Short Term Memory (LSTM) 46 3.4 Kết chương 48 Chương NHẬN DIỆN NGƯỜI TỪ DỮ LIỆU CHUYỂN ĐỘNG SỬ DỤNG CNN 49 4.1 Giới thiệu 49 4.2 Cơng trình liên quan 50 4.3 Phương pháp đề xuất 51 4.3.1 Phân vùng biến đổi liệu 52 4.3.2 Rút trích đặc trưng cấp cao sử dụng CNN 53 4.3.3 Nhận dạng người dùng 55 4.4 Thử nghiệm đánh giá 55 4.4.1 Tập liệu thử nghiệm 55 4.4.2 Thử nghiệm, đánh giá 57 4.5 Kết chương 62 Chương NHẬN DIỆN NGƯỜI TỪ DỮ LIỆU CHUYỂN ĐỘNG SỬ DỤNG KIẾN TRÚC TƯƠNG TỰ GOOGLE INCEPTION VÀ RNN 63 5.1 Giới thiệu 63 5.2 Cơng trình liên quan 64 5.2.1 Dữ liệu đầu vào DeepSense Framework 65 5.2.2 Kiến trúc DeepSense Framework 65 5.3 Kiến trúc đề xuất 67 5.3.1 Tiền xử lý liệu 68 5.3.2 Kiến trúc DeepSense-Inception 69 5.4 Thử nghiệm, đánh giá 73 5.4.1 Bộ liệu thử nghiệm 73 5.4.2 Kết thử nghiệm 74 5.5 Kết chương 77 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 79 6.1 Các kết đạt 79 6.2 Hạn chế 79 6.3 Hướng phát triển 80 DANH MỤC CÔNG BỐ KHOA HỌC CỦA TÁC GIẢ 81 DANH MỤC TÀI LIỆU THAM KHẢO 82 PHỤ LỤC 89 DANH MỤC CÁC KÍ HIỆU VÀ CHỮ VIẾT TẮT Viết tắt Viết đầy đủ Ý nghĩa gait Đặc trưng chuyển động Đặc trưng sinh trắc học chuyển động NN Neural Network Neural Network CNN Convolutional Neural Network Convolutional Neural Network RNN Recurrent Neural Network Recurrent Neural Network ReLU Rectified Linear unit Hàm ReLU GRU Gated recurrent unit Gated recurrent unit DSI DeepSense-Inception Kiến trúc đề xuất mang tên DeepSense-Inception Conv Layer Convolutional Layer Convolutional Layer DANH MỤC CÁC BẢNG Bảng 2.1 Đánh giá số đặc trưng sinh trắc học dựa tiêu chí [8] 18 Bảng 4.1: Các cấu hình dùng thử nghiệm 59 Bảng 4.2 Độ xác việc định danh theo cấu hình thử nghiệm với trạng thái di chuyển sàn phẳng 60 Bảng 4.3 Kết tốc độ huấn luyện cấu hình B D 61 Bảng 4.4 Kết thử nghiệm cấu hình D với trạng thái di chuyển lên xuống dốc 61 Bảng 5.1 Độ xác mơ hình với kiến trúc khác biệt mô đun tương tự Inception 76 Bảng 5.2 Độ xác số lượng tham số (parameter) mơ hình 77 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 2.1 Quy trình nhận dạng dựa đặc trưng gait từ cảm biển chuyển động [3] 22 Hình 3.1 Cấu trúc neuron 29 Hình 3.2 Biểu diễn hàm kích hoạt 𝑺𝒊𝒈𝒎𝒐𝒊𝒅 [35] 31 Hình 3.3 Biểu diễn hàm kích hoạt 𝒕𝒂𝒏𝒉 [35] 31 Hình 3.4 Biểu diễn hàm kích hoạt 𝑹𝒆𝑳𝑼 (Rectified Linear Unit) [35] 32 Hình 3.5 Một kiến trúc Neural Network với lớp đầu vào gồm neuron, lớp ẩn với neuron lớp đầu với neuron [35] 32 Hình 3.6 Ví dụ kết đầu conv layer sử dụng lọc (filter) với kích thước × × liệu ảnh đầu vào với kích thước 32 × 32 × [37] 38 Hình 3.7 Các neuron conv layer (màu xanh), kết nối với trường tiếp nhận (receptive field) chúng (màu đỏ) với liệu ảnh đầu vào 32 × 32 × [35] 39 Hình 3.8 Ma trận × thơng qua Zero-padding trở thành ma trận × 40 Hình 3.9 Ví dụ max pool với lọc có kích thước × độ dài bước trượt 𝑆 = lát cắt sâu (depth slice) [35] 41 Hình 3.10 Ví dụ kiến trúc CNN gồm nhiều 𝐶𝑂𝑁𝑉, 𝑅𝐸𝐿𝑈 𝑃𝑂𝑂𝐿 layer xếp chồng, kết thúc Fully-connected layer 𝐹𝐶 cho tốn phân lớp ảnh [35] 42 Hình 3.11 Cấu trúc tiêu biểu RNN [41] 45 Hình 3.12 Mơ đơn vị tính tốn GRU/LSTM [42] 46 Hình 3.13 Kiến trúc LSTM [44] 47 Hình 4.1 Kiến trúc CNN đề xuất Matteo Gadaleta cộng Ký hiệu 𝑋@(𝑌 × 𝑍) với 𝑋 số lọc, 𝑌 × 𝑍 kích thước lọc [29] 50 Hình 4.2 Mơ tả phương pháp FOSW dùng để phân vùng liệu 52 Hình 4.3: Mơ tả kiến trúc hệ thống, thơng số sử dụng với lớp CNN ký hiệu theo quy ước 𝑋@𝑌 × 𝑍 với X số lọc (filter), 𝑌 × 𝑍 kích thước lọc 54 Hình 4.4 Một ví dụ liệu gia tốc (theo trục x, y, z) đối tượng liệu OU-ISIR [4] 57 Hình 4.5: Mơ hình hệ thống sử dụng Neural Network gồm hidden layer với 300 neuron layer 58 Hình 4.6 Cài đặt cấu hình đề xuất sử dụng TensorFlow với ngơn ngữ Python 59 Hình 5.1 Kiến trúc DeepSense Framework [5] 64 Hình 5.2 Kiến trúc đề xuất DeepSense-Inception với mơ đun tương tự Google Inception lớp max pooling thêm vào 67 Hình 5.3 Kiến trúc mơ đun Inception [6] 69 Hình 5.4 Cấu trúc mô đun tương tự Inception 70 Hình 5.5 Kiến trúc GRU [44] 72 Hình 5.6 Ví dụ cài đặt thực tế sử dụng Keras với ngôn ngữ Python 75 Chương Nhận diện người từ liệu chuyển động sử dụng kiến trúc tương tự Google Inception RNN ▪ 𝑫𝑺𝑰 − 𝟒 − 𝟑: Dựa 𝐷𝐼𝑆 − − thêm vào nhánh song song gồm convolutional filter × theo sau convolutional filter × 18 ▪ 𝑫𝑺𝑰 − 𝟒 − 𝟒: biến thể khác với 𝐷𝐼𝑆 − − chỗ có thêm nhánh song song tạo convolutional filter × theo sau convolutional filter × 24 Các mơ hình hệ thống đánh giá theo phương pháp 10-fold Cross-Validation Kết độ xác biến liệu thực nghiệm thể bảng đây: Bảng 5.1 Độ xác mơ hình với kiến trúc khác biệt mơ đun tương tự Inception Mơ hình hệ thống 𝐷𝑆𝐼 − − 𝐷𝑆𝐼 − − 𝐷𝑆𝐼 − − 𝐷𝑆𝐼 − − Độ xác (Accuracy) 0,9945 ± 0,0073 0,9972 ± 0,0003 0,9981 ± 0,0028 0,9965 ± 0,0031 Dựa số liệu từ bảng 5.1, thấy tăng số lượng nhánh song song (tăng giá trị 𝐿) mô đun tương tự Inception hiệu hệ thống tăng Tuy nhiên, 𝐿 tăng đến giá trị hệ thống lại đạt kết Để trả lời câu hỏi số lượng lọc sử dụng conv layer (giá trị 𝑚) ảnh hưởng đến hiệu hệ thống Số nhánh mô đun tương tự Inception nguyên (giữ nguyên giá trị 𝐿), số lượng lọc conv layer thay đổi (thay đổi giá trị 𝑚) Chúng chọn 𝐿 = (giá trị tốt thí nghiệm phía Bảng 5.1) 𝑚 ∈ {2, 4, 8} Từ đó, ta có biến thể DSI sau: ▪ 𝑫𝑺𝑰 − 𝟐 − 𝟑: cấu trúc mô đun tương tự Inception gồm nhánh: nhánh 1- convolutional filter × theo sau convolutional filter × 6; nhánh - convolutional filter × theo sau convolutional filter × 12; nhánh convolutional filter × theo sau convolutional filter × 18; nhánh 76 Chương Nhận diện người từ liệu chuyển động sử dụng kiến trúc tương tự Google Inception RNN max pooling filter với kích thước (1,6) convolutional filter × Mỗi conv layer sử dụng lọc ▪ 𝑫𝑺𝑰 − 𝟒 − 𝟑: tương tự mơ hình phía conv layer sử dụng lọc ▪ 𝑫𝑺𝑰 − 𝟖 − 𝟑: Giống với 𝑫𝑰𝑺 − 𝟒 − 𝟑 sử dụng lọc cho conv layer Phương pháp 10-fold Cross-Validation áp dụng để đánh giá mơ hình Kết thử nghiệm trình bày bảng sau: Bảng 5.2 Độ xác số lượng tham số (parameter) mơ hình Mơ hình hệ thống Độ xác (Accuracy) Số lượng tham số (đơn vị: ngàn) 𝐷𝑒𝑒𝑝𝑆𝑒𝑛𝑠𝑒 [5] 0,997 ± 0,001 529 𝐷𝑆𝐼 − − 0,981 ± 0,018 135 𝐷𝑆𝐼 − − 0,998 ± 0,003 136 𝐷𝑆𝐼 − − 0,999 ± 0,001 149 Như thể Bảng 5.2, tăng số lượng lọc sử dụng conv layer, độ xác hệ thống tăng Mơ hình 𝑫𝑺𝑰 − 𝟖 − 𝟑 cho kết với độ xác cao lên tới 99,9%, cao so với kiến trúc DeepSense (99,7%) sử dụng số lượng tham số 149 ngàn, giảm gần 3,5 lần so với số lượng tham số sử dụng DeepSense (529 ngàn) 5.5 Kết chương Kiến trúc DeepSense-Inception (DSI) đề xuất, dựa DeepSense [5] với mơ đun tương tự Inception cho phép rút trích đặc trưng từ cảm biến đơn lẻ tốt Hai max pooling layer thêm vào hệ thống giúp giảm số lượng tham số, đồng nghĩa với việc giảm chi phí tính tốn Kết thử nghiệm cho thấy mơ hình tốt 77 Chương Nhận diện người từ liệu chuyển động sử dụng kiến trúc tương tự Google Inception RNN 𝑫𝑺𝑰 − 𝟖 − 𝟑 từ kiến trúc DSI đạt kết cao, tốt so với DeepSense số lượng tham số hệ thống giảm gần 3,5 lần Tuy nhiên, hệ thống DSI số hạn chế việc thiết kế mơ đun tương tự Inception có nhiều cách khác Ví dụ mơ đun tương tự Inception với nhánh (𝐿 = 3), hiệu hệ thống ta bỏ nhánh song song thứ - convolutional filter × theo sau convolutional filter × 12 ; khơng sử dụng nhánh cuối sử dụng max pooling filter với kích thước (1,6) convolutional filter × Việc đánh giá hệ thống cần thử nghiệm liệu khác tình thực tế để hướng tới mục tiêu xây dựng ứng dụng thực tiễn Nội dung chương tổng hợp thể báo khoa học với tiêu đề “DeepSense-Inception: Gait Identification from Inertial Sensors with Inceptionlike Architecture and Recurrent Network” chấp nhận đăng hội nghị quốc tế (CIS’2017) Trong chương cuối cùng, tổng kết lại kết đạt luận văn sau thời gian dài nghiên cứu Các mặt hạn chế hướng nghiên cứu thảo luận 78 Chương Kết luận hướng phát triển Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 Các kết đạt Sau khoảng thời gian tương đối dài thực luận văn, học viên cao học đạt số kết sau: ▪ Nắm kiến thức liên quan đến việc nhận dạng, chứng thực người dùng sử dụng đặc trưng sinh trắc học (Biometric) nói chung vấn đề chuyên sâu liên quan đến nhận dạng sử dụng đặc trưng chuyển động (gait) nói riêng ▪ Nắm tri thức liên quan đến Neural Network, Convolutional Neural Network, Recurrent Neural Network hướng tiếp cận ứng dụng CNN việc nhận dạng người dùng từ liệu chuyển động sử dụng đặc trưng chuyển động gait ▪ Đề xuất kiến trúc CNN khác biệt với kiến trúc có trước thử nghiệm liệu có từ liệu OU-ISIR [4], liệu gait với số lượng người lớn (Chương 4) đạt kết khả quan ▪ Đề xuất kiến trúc mang tên DeepSense-Inception (DSI), dựa kiến trúc DeepSense [5], có sử dụng mơ đun tương tự Google Inception [6] thêm vào max pooling layer Kết thử nghiệm cho thấy mơ hình dựa kiến trúc DSI cho kết tốt số lượng tham số hệ thống giảm gần 3,5 lần so với DeepSense Đến thời điểm tại, học viên với Thầy hướng dẫn khoa học có báo khoa học chấp nhận đăng hội nghị khoa học (1 hội nghị nước hội nghị quốc tế) Thông tin báo liệt kê phần “DANH MỤC CƠNG BỐ KHOA HỌC CỦA TÁC GIẢ” phía 6.2 Hạn chế Bên cạnh số kết đạt được, luận văn số hạn chế cần phải tiến hành giải nghiên cứu tiếp theo: 79 Chương Kết luận hướng phát triển ▪ Kiến trúc CNN đề xuất Chương dùng để nhận diện người dùng từ liệu chuyển động bước đầu thử nghiệm tập liệu số với số lượng người tối đa (496 người) OU-ISIR Chưa tiến hành so sánh phương pháp đề xuất với hướng tiếp cận khác có thử nghiệm Tập liệu số OUISIR (với số lượng người tối đa 744 người) ▪ Việc thử nghiệm kiến trúc mô đun tương tự Inception kiến trúc DeepSense-Inception (DSI) Chương dừng lại bước đầu, cần phải thử nghiệm thêm nhiều kiến trúc khác ▪ Việc huấn luyện sử dụng CPU khiến thời gian chạy thử nghiệm tương đối lâu ▪ Các thông số kiến trúc mạng dùng nhận diện người dùng từ liệu chuyển động sử dụng đặc trưng gait xây dựng lựa chọn dựa kết thực nghiệm; chưa xây dựng phương pháp tổng quát để xử lý vấn đề ▪ Luận văn dừng lại mức nghiên cứu, chưa hội đủ điều kiện để tiến hành thương mại hóa 6.3 Hướng phát triển Để chuẩn bị cho nghiên cứu xa hơn, nhiều vấn đề cần phải xem xét giải định hướng phát triển: ▪ Tiếp tục cải tiến hướng tiếp cận dùng CNN để nhận dạng người dùng sử dụng đặc trưng chuyển động Chương 4; tiến hành thử nghiệm tập liệu OU-ISIR với số lượng người tối đa để so sánh với hướng tiếp cận khác ▪ Thử nghiệm nhiều kiến trúc mô đun Inception kiến trúc DeepSense-Inception (DSI) đề xuất; thử nghiệm DSI tập liệu khác Cải tiến hệ thống cách thử nghiệm số kiến trúc khác ResNet [31] ▪ Điều chỉnh cài đặt hỗ trợ tính tốn GPU giúp tăng tốc q trình huấn luyện ▪ Tiến hành áp dụng kết nghiên cứu vào việc xây dựng ứng dụng thực tế giúp nhận diện người dùng từ liệu chuyển động sử dụng đặc trưng chuyển động gait 80 DANH MỤC CƠNG BỐ KHOA HỌC CỦA TÁC GIẢ Hồng Văn Hà, Trần Minh Triết (2017), “Nhận dạng người từ liệu chuyển động sử dụng Convolutional Neural Network”, Kỷ yếu Hội nghị khoa học quốc gia lần thứ X "Nghiên cứu ứng dụng Công nghệ thông tin” (FAIR X) ngày 17 - 18/08/2017, Đà Nẵng, trang 703-709, ISBN: 978-604-913-614-6 Ha V.Hoang, Minh-Triet Tran (2017), “DeepSense-Inception: Gait Identification from Inertial Sensors with Inception-like Architecture and Recurrent Network”, accepted paper at 2017 International Conference on Computational Intelligence and Security (CIS'2017), December 15-18, 2017, Hongkong, China 81 DANH MỤC TÀI LIỆU THAM KHẢO [1] eMarketer Inc, Nov 2016 [Online] Available: https://insights.ap.org/uploads/images/eMarketer_Estimates_2015.pdf [2] IDTechEx Ltd, Nov 2016 [Online] http://www.idtechex.com/research/reports/wearable- Available: technology-2016- 2026-000483.asp [3] S Sprager and M B Juric, "Inertial Sensor-Based Gait Recognition: A Review," Sensors, vol 15, pp 22089-22127, 2015 [4] T T Ngo, Y Makihara, H Nagahara, Y Mukaigawa and Y Yagi, "The largest inertial sensor-based gait database and performance evaluation of gaitbased personal authentication," Pattern Recognition, vol 47, pp 228-237, 2014 [5] S Yao, S Hu, Y Zhao, A Zhang and T Abdelzaher, "DeepSense: A Unified Deep Learning Framework for Time-Series Mobile Sensing Data Processing," in Proceedings of the 26th International Conference on World Wide Web, Republic and Canton of Geneva, Switzerland, 2017 [6] C Szegedy, W Liu, Y Jia, P Sermanet, S E Reed, D Anguelov, D Erhan, V Vanhoucke and A Rabinovich, "Going Deeper with Convolutions," CoRR, vol abs/1409.4842, 2014 [7] A Stisen, H Blunck, S Bhattacharya, T S Prentow, M B Kjærgaard, A Dey, T Sonne and M M Jensen, "Smart Devices Are Different: Assessing and MitigatingMobile Sensing Heterogeneities for Activity Recognition," in 82 Proceedings of the 13th ACM Conference on Embedded Networked Sensor Systems, New York, NY, USA, 2015 [8] A K Jain, A Ross and S Prabhakar, "An introduction to biometric recognition," IEEE Transactions on circuits and systems for video technology, vol 14, pp 4-20, 2004 [9] A Jain, L Hong and S Pankanti, "Biometric identification," Communications of the ACM, vol 43, pp 90-98, 2000 [10] A K Jain, A A Ross and K Nandakumar, "Introduction," in Introduction to Biometrics, Springer, 2011, pp 1-49 [11] D Maio, D Maltoni, R Cappelli, J L Wayman and A K Jain, "FVC2002: Second fingerprint verification competition," in Pattern recognition, 2002 Proceedings 16th international conference on, 2002 [12] R Saini and N Rana, "Comparison of various biometric methods," International Journal of Advances in Science and Technology (IJAST) Vol, vol 2, 2014 [13] M O Derawi, C Nickel, P Bours and C Busch, "Unobtrusive userauthentication on mobile phones using biometric gait recognition," in Intelligent Information Hiding and Multimedia Signal Processing (IIHMSP), 2010 Sixth International Conference on, 2010 [14] J R Kwapisz, G M Weiss and S A Moore, "Cell phone-based biometric identification," in Biometrics: Theory Applications and Systems (BTAS), 2010 Fourth IEEE International Conference on, 2010 83 [15] M Hu, Y Wang, Z Zhang, D Zhang and J J Little, "Incremental learning for video-based gait recognition with LBP flow," IEEE transactions on cybernetics, vol 43, pp 77-89, 2013 [16] R Vera-Rodriguez, J S D Mason, J Fierrez and J Ortega-Garcia, "Comparative analysis and fusion of spatiotemporal information for footstep recognition," IEEE transactions on pattern analysis and machine intelligence, vol 35, pp 823-834, 2013 [17] D Gafurov, "A survey of biometric gait recognition: Approaches, security and challenges," in Annual Norwegian computer science conference, 2007 [18] T Hoang, T D Nguyen, C Luong, S Do and D Choi, "Adaptive CrossDevice Gait Recognition Using a Mobile Accelerometer," JIPS, vol 9, p 333, 2013 [19] C Nickel and C Busch, "Classifying accelerometer data via hidden markov models to authenticate people by the way they walk," IEEE Aerospace and Electronic Systems Magazine, vol 28, no 10, pp 29-35, Oct 2013 [20] D Gafurov, K Helkala and T Sondrol, "Biometric Gait Authentication Using Accelerometer Sensor," JCP, vol 1, pp 51-59, 2006 [21] M Derawi and P Bours, "Gait and activity recognition using commercial phones," computers \& security, vol 39, pp 137-144, 2013 [22] D Precup, S Mannor, J Pineau and J Frank, "Time Series Analysis Using Geometric Template Matching," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 35, pp 740-754, 2013 84 [23] S Sprager and M B Juric, "An Efficient HOS-Based Gait Authentication of Accelerometer Data," IEEE Transactions on Information Forensics and Security, vol 10, pp 1486-1498, July 2015 [24] A M Sabatini, C Martelloni, S Scapellato and F Cavallo, "Assessment of walking features from foot inertial sensing," IEEE Transactions on biomedical engineering, vol 52, pp 486-494, 2005 [25] T Seel, J Raisch and T Schauer, "IMU-based joint angle measurement for gait analysis," Sensors, vol 14, pp 6891-6909, 2014 [26] A R A Raziff, M N Sulaiman, N Mustapha and T Perumal, "Gait identification using One-vs-one classifier model," in Open Systems (ICOS), 2016 IEEE Conference on, 2016 [27] Y Zhong and Y Deng, "Sensor orientation invariant mobile gait biometrics," in IEEE International Joint Conference on Biometrics, 2014 [28] Y LeCun, L Bottou, Y Bengio and P Haffner, "Gradient-based learning applied to document recognition," Proceedings of the IEEE, vol 86, pp 2278-2324, 1998 [29] M Gadaleta, L Merelli and M Rossi, "Human authentication from ankle motion data using convolutional neural networks," in 2016 IEEE Statistical Signal Processing Workshop (SSP), 2016 [30] R Subramanian, S Sarkar, M Labrador, K Contino, C Eggert, O Javed, J Zhu and H Cheng, "Orientation invariant gait matching algorithm based on the Kabsch alignment," in Identity, Security and Behavior Analysis (ISBA), 2015 IEEE International Conference on, 2015 85 [31] T Hoang, D Choi and T Nguyen, "Gait authentication on mobile phone using biometric cryptosystem and fuzzy commitment scheme," International Journal of Information Security, vol 14, pp 549-560, 2015 [32] M Muaaz and C Nickel, "Influence of different walking speeds and surfaces on accelerometer-based biometric gait recognition," in Telecommunications and Signal Processing (TSP), 2012 35th International Conference on, 2012 [33] N T Trung, Y Makihara, H Nagahara, R Sagawa, Y Mukaigawa and Y Yagi, "Phase registration in a gallery improving gait authentication," in Biometrics (IJCB), 2011 International Joint Conference on, 2011 [34] F Jordan, M Shie and P Doina, "Activity and Gait Recognition with Timedelay Embeddings," in Proceedings of the Twenty-Fourth AAAI Conference on Artificial Intelligence, Atlanta, 2010 [35] "CS231n Convolutional Neural Networks for Visual Recognition," [Online] Available: http://cs231n.github.io/convolutional-networks/ [Accessed 2017] [36] "Multi-Layer Neural Network," 10 2017 [Online] Available: http://ufldl.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks/ [37] "Convolutional Neural Networks," [Online] Available: https://leonardoaraujosantos.gitbooks.io/artificialinteligence/content/convolutional_neural_networks.html [Accessed 2017] [38] A Krizhevsky, I Sutskever and G E Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," in Advances in Neural 86 Information Processing Systems 25, F Pereira, C J C Burges, L Bottou and K Q Weinberger, Eds., Curran Associates, Inc., 2012, pp 1097-1105 [39] K Simonyan and A Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition," CoRR, vol abs/1409.1556, 2014 [40] K He, X Zhang, S Ren and J Sun, "Deep Residual Learning for Image Recognition," CoRR, vol abs/1512.03385, 2015 [41] Y LeCun, Y Bengio and G Hinton, "Deep learning," Nature, vol 521, pp 436-444, 2015 [42] "WILDML Artificial Intelligence, Deep Learning, and NLP," [Online] Available: http://www.wildml.com/2015/10/recurrent-neural-network- tutorial-part-4-implementing-a-grulstm-rnn-with-python-and-theano/ [Accessed 10 2017] [43] S Hochreiter and J Schmidhuber, "Long Short-term Memory," Neural Comput., vol 9, pp 1735-1780, #nov# 1997 [44] J Chung, ầ Gỹlỗehre, K Cho and Y Bengio, "Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling," CoRR, vol abs/1412.3555, 2014 [45] K Cho, B van Merrienboer, ầ Gỹlỗehre, F Bougares, H Schwenk and Y Bengio, "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation," CoRR, vol abs/1406.1078, 2014 [46] S D Bersch, D Azzi, R Khusainov, I E Achumba and J Ries, "Sensor data acquisition and processing parameters for human activity classification," Sensors, vol 14, pp 4239-4270, 2014 87 [47] C Nickel, H Brandt and C Busch, "Classification of Acceleration Data for Biometric Gait Recognition on Mobile Devices.," Biosig, vol 11, pp 57-66, 2011 [48] D Gafurov and P Bours, "Improved hip-based individual recognition using wearable motion recording sensor," Security Technology, Disaster Recovery and Business Continuity, pp 179-186, 2010 [49] "TensorFlow - An open-source software library for Machine Intelligence," [Online] Available: https://www.tensorflow.org/ [Accessed 2017] [50] S Ioffe and C Szegedy, "Batch normalization: Accelerating deep network training by reducing internal covariate shift," in International Conference on Machine Learning, 2015 [51] F Chollet and others, Keras, GitHub, 2015 [52] T T Ngo, Y Makihara, H Nagahara, Y Mukaigawa and Y Yagi, "Orientation-compensative signal registration for owner authentication using an accelerometer," IEICE TRANSACTIONS on Information and Systems, vol 97, pp 541-553, 2014 [53] J Frank, S Mannor and D Precup, "Activity and gait recognition with timedelay embeddings.," in AAAI, 2010 88 PHỤ LỤC Thông tin công bố khoa học Số tác giả: Hoàng Văn Hà, Trần Minh Triết (2017), “Nhận dạng người từ liệu chuyển động sử dụng Convolutional Neural Network”, Kỷ yếu Hội nghị khoa học quốc gia lần thứ X "Nghiên cứu ứng dụng Công nghệ thông tin” (FAIR X) ngày 17 - 18/08/2017, Đà Nẵng, trang 703-709, ISBN: 978-604-913-614-6 Ảnh bìa kỉ yếu hội nghị FAIR X (http://fair.conf.vn/) Phần phần mục lục nội dung công bố khoa học số kỷ yếu hội nghị FAIR X Thông tin công bố khoa học Số tác giả: Ha V.Hoang, Minh-Triet Tran (2017), “DeepSense-Inception: Gait Identification from Inertial Sensors with Inception-like Architecture and Recurrent Network”, accepted paper at 2017 International Conference on Computational Intelligence and Security (CIS'2017), December 15-18, 2017, Hongkong, China Ảnh bìa thảo kỉ yếu hội nghị CIS 2017 (http://www.cis-lab.org/cis2017/) Phần phần thư chấp nhận, mục lục nội dung công bố khoa học số thảo kỷ yếu hội nghị CIS 2017 ... trình nhận dạng dựa đặc trưng gait sử dụng liệu thu từ cảm biến chuyển động 2.1.4 Quy trình định danh đặc trưng gait từ liệu chuyển động Ý tưởng định danh người dùng sử dụng liệu từ cảm biến đeo người. .. cận nhận dạng người từ liệu chuyển động sử dụng kiến trúc CNN đề xuất kết thử nghiệm liệu chuyển động 14 Chương Tổng quan 496 người từ tập liệu OU-ISIR [4] đại học Osaka (Nhật Bản), tập liệu. .. dựng mẫu chuyển động Thủ tục nhận dạng Hình 2.1 Quy trình nhận dạng dựa đặc trưng gait từ cảm biển chuyển động [3] 2.1.4.1 Thiết lập cảm biến thu thập liệu Dữ liệu chuyển động thu thập sử dụng loại