Đang tải... (xem toàn văn)
Tài liệu ứng dụng công nghệ nhận dạng trong nhà thông minh IoTs sử dụng ESP32, lập trình trên nền tảng Python và ArduinoIDE. Có Source Code. CHƯƠNG I: ĐẶT VẤN ĐỀ VÀ PHƯƠNG ÁN GIẢI QUYẾT VẤN ĐỀ 5 1.1. Đặt vấn đề 5 1.2. Mục tiêu đề tài 6 1.3. Tổng quan về nhà thông minh 7 1.3.1. Nhà thông minh là gì? 7 1.3.2. Nguyên tắc hoạt động của nhà thông minh 8 1.3.3. Những xu hướng phát triển của nhà thông minh ở Việt Nam 9 1.4. Giới thiệu chung về hệ thống xử lý ảnh 10 1.5. Công nghệ nhận dạng bàn tay 12 1.5.1. Nhận dạng bàn tay dựa vào màu sắc và hình dáng 12 1.5.2. Nhận dạng dựa vào ngưỡng trên mỗi kênh màu 12 1.5.3. Optical Flow 12 1.5.4. Phương pháp trừ nền 13 CHƯƠNG II: THIẾT KẾ PHẦN CỨNG 14 2.1. Tổng quan về các linh kiện trong đề tài 14 2.1.1. Vi điều khiển ESP32 14 2.1.2. Các cảm biến được sử dụng trong đề tài 23 2.1.3. Một số linh kiện thiết bị khác 26 2.2. Sơ đồ thuật toán điều khiển hệ thống thiết bịbị 32 2.3. Sơ đồ nguyên lý của hệ thống 32 2.3.1. Sơ đồ nguyên lý phòng khách 32 2.3.1. Sơ đồ nguyên lý phòng ngủ 34 2.3.2. Sơ đồ nguyên lý phòng bếp 35 CHƯƠNG III: THIẾT KẾ PHẦN MỀM 37 3.1. Lập trình điều khiển thiết bị thông qua wifi bằng app Blynk 37 3.2. Lập trình điều khiển thiết bị bằng cử chỉ bàn tay 42 3.2.1. Cơ sở lý thuyết 42 3.2.2. Nhận dạng cử chỉ tay thông qua Python 48 3.2.3. Ứng dụng lập trình điều khiển thiết bị qua nhận dạng cử chỉ tay 51 CHƯƠNG IV: KẾT LUẬN VÀ PHƯƠNG HƯỚNG PHÁT TRIỂN 56 4.1. Kết luận 56 4.2. Phương hướng phát triển 56 TÀI LIỆU THAM KHẢO 57 PHỤ LỤC (Code) 58
MỤC LỤC CHƯƠNG I: ĐẶT VẤN ĐỀ VÀ PHƯƠNG ÁN GIẢI QUYẾT VẤN ĐỀ 1.1 Đặt vấn đề 1.2 Mục tiêu đề tài 1.3 Tổng quan nhà thông minh 1.3.1 Nhà thơng minh gì? 1.3.2 Nguyên tắc hoạt động nhà thông minh 1.3.3 Những xu hướng phát triển nhà thông minh Việt Nam 1.4 Giới thiệu chung hệ thống xử lý ảnh .10 1.5 Công nghệ nhận dạng bàn tay 12 1.5.1 Nhận dạng bàn tay dựa vào màu sắc hình dáng 12 1.5.2 Nhận dạng dựa vào ngưỡng kênh màu 12 1.5.3 Optical Flow 12 1.5.4 Phương pháp trừ 13 CHƯƠNG II: THIẾT KẾ PHẦN CỨNG 14 2.1 Tổng quan linh kiện đề tài .14 2.1.1 Vi điều khiển ESP32 14 2.1.2 Các cảm biến sử dụng đề tài 23 2.1.3 Một số linh kiện thiết bị khác 26 2.2 Sơ đồ thuật toán điều khiển hệ thống thiết bịbị 32 2.3 Sơ đồ nguyên lý hệ thống 32 2.3.1 Sơ đồ nguyên lý phòng khách 32 2.3.1 Sơ đồ nguyên lý phòng ngủ 34 2.3.2 Sơ đồ nguyên lý phòng bếp 35 CHƯƠNG III: THIẾT KẾ PHẦN MỀM 37 3.1 Lập trình điều khiển thiết bị thông qua wifi app Blynk 37 3.2 Lập trình điều khiển thiết bị cử bàn tay .42 3.2.1 Cơ sở lý thuyết 42 3.2.2 Nhận dạng cử tay thông qua Python 48 3.2.3 Ứng dụng lập trình điều khiển thiết bị qua nhận dạng cử tay 51 CHƯƠNG IV: KẾT LUẬN VÀ PHƯƠNG HƯỚNG PHÁT TRIỂN 56 4.1 Kết luận 56 4.2 Phương hướng phát triển 56 TÀI LIỆU THAM KHẢO 57 PHỤ LỤC (Code) 58 DANH MỤC HÌNH ẢNH Hình 1.1: Điều khiển hệ thống đèn qua Smartphone Hình 1.2: Giám sát ngơi nhà qua Camera an ninh Hình 1.3: Sơ đồ khối tiến trình xử lý ảnh 10 Hình 1.4: Hình minh họa kết thuật toán trừ 13 Hình 2.1: Module ESP32-WROOM-32 15 Hình 2.3: Cấu trúc địa nhớ ESP32 19 Hình 2.4: Sơ đồ nguyên lý module ESP32-WROOM-32 23 Hình 2.5: Module cảm biến nhiệt độ độ ẩm DHT11 23 Hình 2.6: Kit Module cảm biến mưa 24 Hình 2.7: Module cảm biến khí gas 25 Hình 2.8: Cảm biến điện dung cách điều chỉnh ngõ 26 Hình 2.9: Màn hình hiển thị LCD 16x2 26 Hình 2.10: Mạch chuyển đổi I2C 28 Hình 2.11: Module Relay kênh 29 Hình 2.12: Module điều khiển động L298N 30 Hình 2.13: Động Servo sg90 30 Hình 2.14: Chốt điện từ 12V LY-01 31 Hình 2.15: Lưu đồ tht tốn điều khiển hệ thống thiết bị 32 Hình 2.16: Sơ đồ nguyên lý phòng khách (1) 33 Hình 2.17: Sơ đồ nguyên lý phòng khách (2) 34 Hình 2.18: Sơ đồ nguyên lý phòng khách 35 Hình 2.19: Sơ đồ nguyên lý phòng bếp 36 Hình 3.1: Ứng dụng Blynk App điều khiển thiết bị 37 Hình 3.2: Lấy mã Auth Token Website Blynk 37 Hình 3.3: Giao diện đăng nhập Blynk 40 Hình 3.4: Giao diện App Blynk sau tạo tài khoản 40 Hình 3.5: Giao diện tạo trang nút nhấn 41 Hình 3.6: Cài đặt thông số nút Widget 41 Hình 3.7: Giao diện app sau hoàn thành đăng ký 42 Hình 3.8: Điểm ảnh (Pixel) 43 Hình 3.9: Minh họa mức xám sau mã hóa 44 Hình 3.10: Minh họa ảnh nhị phân sau mã hóa 44 Hình 3.11: Khơng gian màu HSV 45 Hình 3.12: Khơng gian màu RGB 45 Hình 3.13: Ngơn ngữ lập trình python Raspberry 48 Hình 3.14: Mức xám điểm ảnh cường độ sáng gán giá trị số điểm 50 Hình 3.15: Khung hình đầu vào 51 Hình 3.16: Khung hình chứa bàn tay 52 Hình 3.17: Lưu đồ thuật tốn thu thập ảnh 54 Hình 3.18: Lưu đồ thật tốn chạy chương trình sau train 55 Hình 4.1: Kết thu sau xử lí ảnh 56 DANH MỤC BẢNG BIỂU Bảng 2.1: Các phiên Module ESP32 14 Bảng 2.2: Thông số kiến nghệ cho ESP32-WROOM-32 15 Bảng 2.3: Bảng thông số kỹ thuật module ESP-WROOM-32 16 Bảng 2.4: Bảng chân Module ESP32-WROOM-32 16 Bảng 2.5: Bảng sơ đồ chân hình LCD 26 Bảng 2.6.: Thiết bị dùng phòng khách 34 Bảng 2.7: Thiết bị dùng cho phòng ngủ 35 Bảng 2.8: Bảng thiết bị sử dụng phòng bếp 36 CHƯƠNG I: ĐẶT VẤN ĐỀ VÀ PHƯƠNG ÁN GIẢI QUYẾT VẤN ĐỀ 1.1 Đặt vấn đề Với phát triển khoa học công nghệ, thiết bị điện tử dần phát triển theo hướng tự động hóa, thơng minh, hiểu biết tư người Đặc biệt năm gần đây, trí tuệ nhân tạo AI phát triển mạnh mẽ cho thấy tiên tiến tiện ích ứng dụng vào thiết bị điện phục vụ đời sống thường ngày người Thậm chí ngày người thực giao tiếp với thiết bị mà không cần qua thiết bị trung gian, để hiểu xử lí cử lệnh người đưa thiết bị cảm biến, thuật toán nhận dạng phải cang phát triển xác, dễ sử dụng Chúng nhận biết hoạt động, cử khuôn mặt, bàn tay người hoạt động theo ý đồ người lập trình Bài toán “Nhận dạng cử điều khiển thiết bị” số Ngơn ngữ thể, đặc biệt ngôn ngữ tay xem phương pháp giao tiếp tự nhiên dễ thực người Hệ thống nhận dạng cử khơng cịn q xa lạ với người đại ngày nay, chí hệ thống đề xuất phát triển mạnh mẽ thực tiễn sống hàng ngày đề án nghiên cứu để tạo giải thuật chun sâu nhận diện xác Trong năm qua nhắc tới số thành tựu bật lĩnh vực nghiên cứu công nghệ nhận diện cử như: Nghiên cứu Chen Chiung Hsieh Dung Lua Liou nhận dạng cử chuyển động ảnh xãy Các khung hình tích lũy ảnh lịch sử chuyển động Sử dụng thuật toán để lọc điểm ảnh da phát nhỏ ngưỡng định Hệ thống họ xây dựng hoạt động dựa khối: Digital Zoom, phát màu da, nhận dạng cử Nghiên cứu Dharani Mazumdar, Kandapar Kumar Sarma Anjan Kumar nghiên cứu nhận dạng cử găng tay cảm biến Data Glove Bằng việc sử dụng lối số Sensor gia tốc MEMS gắn liền với ngón tay sử dụng vi điều khiển Máy tính phân tích xử lý thông tin liệu thực thuật tốn Trong nước có đề tài như: “Nghiên cứu phát triển kỹ thuật nhận dạng cử động bàn tay người theo thời gian thực’ nhóm nghiên cứu thuộc khoa Công nghệ Thông tin, Học viện Kỹ thuật Quân TS Trần Nguyên Ngọc làm chủ nhiệm mở nhiều hướng ứng dụng hiệu thực tế Những hiệu ứng dụng đề tài phát triển hệ thống hỗ trợ tra cứu thông tin điều khiển thiết bị từ xa, điều khiển robot trợ giúp người khuyết tật, tích hợp điều khiển tivi, máy nghe nhạc,… Đê tài: ‘Nhận diện cử bàn tay sử dụng phân cụm K-MEANS mạng NƠRON” sinh viên khoa Điện – Điện Tử trường Đại học Sư Phạm Kỹ Thuật thành phố Hồ Chí Minh thực năm 2014, giúp tìm hiểu tổng quan xử lý ảnh, tìm hiểu phương pháp nhận dạng cử tay, mô tập lệnh liên quan đến đề tài phần mềm Matlab Tuy nhiên đề tài dừng lại mức lý thuyết mô ứng dụng để kiểm chứng kết nhiều hạn chế thực tế Bên canh đề tài xử lý ảnh ứng dụng nhận diện cử chỉ, có đề tài ứng dụng xử lý ảnh để nhận diện khuôn mặt như: “Xây dựng hệ thống điểm danh khuôn mặt” Quang Minh, sinh viên khoa Công Nghệ Thông Tin, Học viện Kỹ Thuật Quân Sự thực năm 2022 Đạt kết nhận diện xác 93.7% khoảng cách 0.3m mơi trường ánh sáng bình thường Tuy nhiên cịn hạn chế phải lấy mẫu đối chiếu thủ công tường đối tượng tốc độ load model chậm lên tới giây, xử lý hạn chế với đối tượng có đeo phụ kiện ảnh bị thay đổi màu sắc Đề tài: “Ứng dụng xử lý ảnh cảnh báo tài xế ngủ gật” sinh viên trường Đại học Sư Phạm Kỹ Thuật thực năm 2014, phát 90% với khoảng cách 0.2–1.2m, tồn nhược điểm: Không thể quay trái phải với góc lớn 40 độ Window 20 độ KIT, chưa đáp ứng tốc độ hay xử lý có phần hạn chế với người đeo kinh,… Đề tài “Công nghệ nhận diện ứng dụng nhà thông minh” nhóm xây dựng với mong muốn thơng qua việc tìm hiểu kế thừa thành tựu có từ cơng trình nghiên cứu trước, góp phần cho phát triển nhận dạng cử Về mặt kỹ thuật, qua đề tài người không tương tác với thiết bị qua trang Web ứng dụng điên thoại mà cịn điều khiển thiết bị mà không bị hạn chế cách tương tác truyền thống (như thơng qua bàn phím, chuột điện thoại…) phương pháp giao tiếp trực tiếp cử Ngồi giúp người khiếm thính nhận biết ngơn ngữ qua cử tay, người có vấn đề bắp tự điều khiển thiết bị nhà cách dễ dàng Về mặt khoa học, hệ thống nhận dạng cử nhóm sử dụng phương pháp tối ưu liệu huấn luyện thơng qua chương trình giúp nhận biết xác dạng cử chỉ, có khả đưa kết với độ xác cao 1.2 Mục tiêu đề tài Thực điều khiển thiết bị nhà thông minh thông qua mạng Wifi cách đơn giản xác Từ kết hợp với lập trình phần mềm thu thập liệu ảnh xử lí ảnh cử bàn tay, điều khiển thiết kết nối trước thông qua việc sử dụng cử thu thập trước Thiết kế hồn thiệt sản phẩm mơ hình điều khiển nhà thơng minh thơng qua ứng dung nhận dạng cử bàn tay 1.3 Tổng quan nhà thông minh 1.3.1 Nhà thông minh gì? Nhà thơng minh (Tiếng Anh: Home Automation, Domotics, Smart Home Intellihome) kiểu nhà lắp đặt thiết bị điện, điện tử điều khiển tự động hóa bán tự động, thay người thực thao tác quản lý, điều khiển Hệ thống điện tử giao tiếp với người dùng thông qua bảng điện tử đặt nhà, ứng dụng điện thoại di động, máy tính bẳng giao diện web Trong nhà thơng minh, đồ dùng nhà từ phịng ngủ, phịng khách gắn điều khiển điện tử kết nối với Internet điện thoại di động, cho phép chủ nhân điều khiển vật dụng từ xa lập trình cho thiết bị nhà hoạt động theo lịch… Các thiết bị đưa cách xử lý tình lập trình trước, điều khiển giám sát từ xa Sau số lời ích đem đến cho người từ hệ thống tự động hóa nhà thơng minh Hình 1.1: Điều khiển hệ thống đèn qua Smartphone - Lợi ích thứ 1: Tăng thêm an toàn qua việc điều khiển chiếu sang thiết bị điện (Appliance and Lighting Control) Một lợi ích Home Automation tăng thêm an tồn cho gia đình, ngơi nhà Con người kiểm sốt thiết bị điện dù nhỏ việc chiếu sang, chạm nhẹ đầu ngón tay vào thiết bị công nghệ Không tiết kiệm điện thông qua việc tự động tắt khơng có người, hệ thống kiểm sốt ánh sang cịn tự động bật tắt đèn theo chu kỳ để tạo cảm giác ln có người ngơi nhà Điều làm tăng độ an toàn an ninh cho nhà - Lợi ích thứ 2: Gia tăng quan sát thơng qua Camera an ninh Chúng ta khơng thể có mặt lúc nơi thời điểm, hệ thống Camera an ninh tồn ngơi nhà giúp ta không bỏ lỡ việc diễn đâu nhà Với hệ thống tự động hóa nhà thơng minh, dễ dàng quan sát, phát chuyển động âm lạ sau ghi lại chúng thời điểm định ngày Hình 1.2: Giám sát ngơi nhà qua Camera an ninh - Lợi ích thứ 3: Gia tăng tiện nghi nhà Thường vội vã tời khỏi nhà vào sáng sớm quên tắt chỉnh lại thiết bị nhà Kết phát việc này, suốt thời gian rời nhà thiết bị bật hồn tồn gây cố Với hệ thống nhà thông minh khơng cần lo vấn đề nữa, khỏi nhà mà quên tắt điều chỉnh thiết bị nhà ta thực máy tính điện thoại cách đơn giản nhẹ nhàng từ xa - Lợi ích thứ 4: Tiết kiệm thời gian - Lợi ích thứ 5: Tiết kiệm chi phí 1.3.2 Ngun tắc hoạt động nhà thơng minh Nhà thông minh hiểu hệ thống thiết bị điện tử gia dụng kết hợp với thành mạng thiết bị hoạt động theo kịch tùy biến nhằm tạo môi trường sống tiện nghi, an toàn, tiết kiệm lượng Một hệ thống nhà thơng minh bao gồm máy tính điều khiển trung tâm, gọi máy chủ (Home Server), có nhiệm vụ kết nối thiết bị với điều khiển toàn hệ thống nhà Các thiết bị gia dụng đầu cuối vật dụng điện tử nhà thiết bị an ninh, hệ thống cửa, điều hòa, rèm mành, hệ thống đèn, quạt thơng gió, ti vi, bếp gas… Các thiết bị kết nối với hệ thống mạng thiết bị công nghệ truyền liệu, qua đường điện (Power line communication – PLC) không dây (Zigbee) kết nối trực tiếp đến Home Server Cuối hệ thống phần mềm điều khiển nhà cài đặt Home Server, thiết bị điều khiển thiết bị điện tử gia dụng đầu cuối Chủ nhân Hệ thống nhà thơng minh kiểm sốt, điều khiển ngơi nhà thiết bị nhà nhiều phương tiện như: điện thoại di động, tablet, laptop… đâu lúc 1.3.3 Những xu hướng phát triển nhà thông minh Việt Nam Vài năm trở lại đây, giới dần tiến vào kỷ nguyên Internet of Things (IoTs), kết nối vật qua Internet, nhà thông minh trở thành xu hướng công nghệ tất yếu, tiêu chuẩn nhà đại Việt Nam khơng nằm ngồi xu hướng Nhà thông minh Việt Nam khái niệm không cịn xa lạ với nhiều người Khơng thế, thị trường nhà thông minh Việt Nam phát triển mạnh chủ yếu thành phố lớn Hải Phòng, Hà Nội, Đà Nẵng, Hồ Chí Minh Bởi thành phố lớn, việc tiếp cận khái niệm công nghệ dễ dàng Xu hướng nhà thông minh giới: Đối với công ty lớn cơng nghệ cánh mạng cơng nghệ 4.0 công nghệ IoT xem hội tỉ USD thị trường đầy tiềm Theo thống kê công ty nghiên cứu thị trường Statista vào năm 2020 giá trị thị trường Smarthome nhà thông minh dự báo đạt tới 43 tỉ USD Con số tăng gấp lần so với năm 2014 Xu hướng nhà thông minh dự báo ứng dụng cơng nghệ cách tồn diện vào sống hộ thông minh không thiết bị công nghệ thông minh Xu hướng nhà thông minh Việt Nam: Với tiềm phát triển đó, có nhiều nhà phát triển xâm nhập thị trường nhà thông minh Việt Nam Lumi, Bkav,… hay tới nhà đầu tư nước khác Tuy phát triển từ năm nay, nhiều đơn vị nước nắm thị phần phân phối nhà thông minh Việt Nam lớn Lumi, Bkav Các doanh nghiệp Việt Nam phần lớn cung cấp giải pháp nhà thông minh thiên giải pháp an ninh, an tồn, điều khiển thiết bị thơng qua Smartphone, điều khiển qua loa thông minh,… 1.4 Giới thiệu chung hệ thống xử lý ảnh Xử lý ảnh lĩnh vực mang tính khoa học cơng nghệ Nó ngành khoa học mẻ so với nhiều ngành khoa học khác tốc độ phát triển nhanh, kích thích trung tâm nghiên cứu, ứng dụng, đặc biệt máy tính chuyên dụng riêng cho Xử lý ảnh đưa vào giảng dạy bậc đại học nước ta khoảng chục năm Nó mơn học liên quan đến nhiều lĩnh vực cần nhiều kiến thức sở khác Đầu tiên phải kể đến xử lý tín hiệu số môn học cho xử lý tín hiệu chung, khái niệm tích chập, biến đổi Fourier, biến đổi Laplace, lọc hữu hạn… Thứ hai, cơng cụ tốn đại số tuyến tính, xác suất thống kê Một số kiến thứ cần thiết trí tuệ nhân tạo, mạng nơron nhân tạo đề cập trình phân tích nhận dạng ảnh Để dễ tưởng tượng, xét bước cần thiết xử lý ảnh Đầu tiên, ảnh tự nhiên từ giới thu nhận qua thiết bị thu (như camera, máy chụp ảnh) Trước đây, ảnh thu qua camera ảnh tương tự (loại camera ống kiểu CCIR) Gần đây, với phát triển công nghệ, ảnh màu đen trắng lấy từ camera, sau chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý (máy ảnh số thí dụ gần gũi) Hình 1.3: Sơ đồ khối tiến trình xử lý ảnh Mặt khác, ảnh tiếp nhận từ vệ tinh; quét từ ảnh chụp máy quét ảnh - Phần thu nhận ảnh (Image Acquisition): Ảnh nhận qua camera màu đen trắng Thường ảnh nhận qua camera ảnh tương tự, có loại camera số hố Camera thường dùng loại quét dòng, ảnh tạo có dạng hai chiều Chất lượng ảnh thu nhận phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh…) - Tiền xử lý (Image Processing):