Đang tải... (xem toàn văn)
Trang 1 1HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHÓM SRT NĂM HỌC 2019-2020THIẾT KẾ & CHẾ TẠO THIẾT BỊ NHẬN DẠNG VÀ THEO DÕI HỒ SƠ SỨCKHỎE CỦA NGƯỜI SỬ DỤNG BỞI AI T
1 HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHÓM SRT NĂM HỌC 2019-2020 THIẾT KẾ & CHẾ TẠO THIẾT BỊ NHẬN DẠNG VÀ THEO DÕI HỒ SƠ SỨC KHỎE CỦA NGƯỜI SỬ DỤNG BỞI AI TRÍ TUỆ NHÂN TẠO DESIGN AND MANUFACTURING FACE RECOGNITION TO MONITOR HUMAN’S HEALTH BY ARTIFICIAL INTELLIGENCE SVTH: Huỳnh Đình Sâm1, Nguyễn Minh Sơn2, Trần Thế Mỹ ,Huỳnh Quang Trưởng ,Trần Thăng Thiên Thắng 1,2,4,5Lớp 18CĐT2, Khoa Cơ Khí, 3Lớp 18D3, Khoa Điện, Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng GVHD: TS Trần Ngọc Hoàng Khoa Cơ Khí, Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng Tóm tắt - Bài báo trình bày mơ hình thiết bị nhận Abstract - This article presents a device model that identifies dạng theo dõi hồ sơ sức khỏe người sử dụng AI trí tuệ and monitors users' health by Artificial Intelligence (AI) In this nhân tạo Trong hệ thống sử dụng esp32-cam để paper, we use esp32-cam to stream video, recognize human streaming video, nhận diện khuôn mặt người qua mạng sử faces over the network and use Mlx90614 sensor to collect body dụng cảm biến Mlx90614 thu thập nhiệt độ thể, kết hợp với temperature, combined with E3F-DS30C4 infrared sensor cam to cam biến hồng ngoại E3F-DS30C4 để lấy khoảng cách phù hợp calcul appropriate distance Based on these sensors, we built-in với cảm biến, tích hợp LCD để xem nhanh kết Sau có LCD for quick viewing of results After full data, data is đầy đủ liệu, liệu tổng hợp gữi qua API synthesized via ThingSpeak's API and data is presented on ThingSpeak liệu biểu diễn websocket Node-red websocket Node-red Key words - esp-cam32, face recognition, mlx90614, Từ khóa - esp-cam32, face recognition, mlx90614, ThingSpeak, Node-red, Websocket ThingSpeak, Node-red, Websocket Đặt vấn đề ty, văn phòng,…) kết hợp với cảm biến MLX90614 để thu thập nhiệt độ cá nhân lúc sau gửi lên Ngày nay, cơng nghệ AI trí tuệ nhân tạo phát host lưu lại Database, tổng hợp đầy đủ triển đặc biệt chiếm vị trí quang trọng liệu có liệu thể giao diện WebSocket ngành cơng nghiệp 4.0 Nó đóng góp nhiều giá trị giúp cho người quản lý không cần tiếp xúc gần với cá sản xuất hàng hóa, kiểm duyệt sản phẩm, phân tích nhân cần kiểm tra Hệ thống nhằm theo dõi cá nhân số liệu,… Với tình hình giới liệu có khả đâu việc có dấu hiệu sốt vào thời gian nào, giúp người vượt qua sóng dịch bệnh này? giúp cho doanh nghiệp văn phòng đưa định phù hợp cho cá nhân đó, ví dụ: Nghỉ phép tự cách ly, Ở Việt Nam hay nước giới đối mặt báo cho quan có thểm quyền đưa vào bệnh viện có nơi với việc bùng phát dịch bệnh COVID-19 (Dịch bệnh viêm cách ly tập trung tránh tình trạng lây lan cho cộng đồng đường hô hấp) xuất phát từ Vũ Hán – Trung Quốc Đến dân cư thời điểm dịch bệnh bùng phát toàn cầu Tổng quan hệ thống WHO ban bố tình trạng khẩn cấp tồn cầu Ở thời điểm theo “Bộ Y Tế Việt Nam” cung cấp cho người Nguyên lý hoạt động “thiết bị nhận dạng theo dân dấu hiệu nhận biết thể có nguy nhiểm dõi hồ sơ sức khỏe người sử dụng AI Trí tuệ nhân corona Đó là: Sốt cao (trên 38 độ C), Ho, Hụt hơi, khó tạo” Hình Trong đó, thiết bị camera cảm biến thở, dấu hiệu bất thường dễ nhận biết Hệ lụy nhiệt độ liên tục hoạt động thu thập liệu gữi lên server bệnh lý tác động đến phần lớn dân số giới lưu vào Database, sau biểu diễn liệu dẫn đến làm suy nhược kinh tế giới nặng nề đến đồ hoạt laptop desktop trầm trọng Thế giới khởi động việc nghiên cứu chế tạo Vacxin chống lại Virus Corona Hinh 1: Sơ đồ tổng qt mơ hình Nhưng thời điểm Việt Nam hay nước nói riêng cần biện pháp , cơng cụ giúp cá nhân theo dõi sức khỏe nơi làm việc (cơng ty tư nhân, văn phịng, … ) Trên thực trạng bệnh lý để nhận biết dễ nhận biết việc sốt cao bất thường triệu chứng dễ test Do vậy, nhóm nghiên cứu sinh bọn em đề xuất nghiên cứu, thiết kế chế tạo thiết bị nhận dạng theo dõi hồ sơ sức khỏe người sử dụng AI Trí tuệ nhân tạo Chúng tôi, sử dụng esp32 – cam truyền(stream) hình ảnh host để nhận dạng khn mặt cá nhân (Cơng Huỳnh Đình Sâm, Nguyễn Minh Sơn, Trần Thế Mỹ, Huỳnh Quang Trưởng, Trần Thăng Thiên Thắng Thiết kế phần cứng Transmit Power 802.11b: 17±2 dBm 3.1 ESP32 Cam (@11Mbps) ESP32-CAM có module camera cỡ nhỏ Receiving Sensitivity 802.11g: 14±2 dBm hoạt động hệ thống độc lập với kích thước (@54Mbps) 27x40.5x4.5mm dòng chế độ deep sleep lên đến 6mA 802.11n: 13±2 dBm (@MCS7) ESP32-CAM đóng gói DIP-16 (Dual In-line Package) lắp trực tiếp vào bo mạch chủ, CCK, Mbps : -90dBm cung cấp cho khách hàng chế độ kết nối với độ tin cậy cao, thuận tiện cho việc ứng dụng thiết bị IoT CCK, 11 Mbps: -85dBm khác Mbps (1/2 BPSK): - 88dBm 54 Mbps (3/4 64-QAM): - 70dBm MCS7 (65 Mbps, 72.2 Mbps): -67dBm Tiêu thụ điện + Deep-sleep: 6mA@5V + Moderm-sleep: 20mA@5V + Light-sleep: 6.7mA@5V Hình 2: Hình ảnh thực tế esp32-cam Bảo mật WPA/WPA2/WPA2- Thông số kỹ thuật: Nhiệt độ hoạt động Enterprise/WPS -20 ℃ ~ 85 ℃ Tên Mô Tả Bộ cảm biến hình ảnh OV2640 có megapixel (1632 Điện áp cung cấp × 1232 pixel), kích thước nhỏ, điện áp hoạt động thấp SPI Flash 5V cung cấp tất tính xử lý hình ảnh RAM nhờ chip UXGA UXGA cho hình ảnh lên đến 15 khung Mặc định 32MB hình / giây Người dùng kiểm sốt hồn tồn chất Bộ nhớ lượng hình ảnh, định dạng liệu chế độ truyền Tất 520KB SRAM + 4MB chức xử lý ảnh bao gồm đường cong gamma, Bluetooth PSRAM cân trắng, độ bão hòa, màu sắc, vv lập trình thơng qua giao diện SCCB Bộ cảm biến hình ảnh WiFi Khe cắm thẻ micro SD lên OmmiVision ứng dụng công nghệ cảm biến độc đáo, Interface đến 4GB cách giảm loại bỏ lỗi quang học điện tử IO Port tiếng ồn mơ hình cố định, đi, nổi, vv, để cải thiện chất Chuẩn Bluetooth 4.2 lượng hình ảnh, có hình ảnh màu sắc rõ ràng BR/EDR BLE ổn định 802.11 b/g/n 3.2 Cảm Biến Nhiệt Hồng Ngoại Không Tiếp Xúc MLX90614 UART, SPI, I2C, PWM Tốc độ truyền UART 115200bps(Mặc định) Camera + Đầu nối FPC + Hỗ trợ camera OV2640(bán kèm theo board) camera OV7670 + JPEG(chỉ hỗ trợ OV2640), BMP, GRAYSCALE + Đèn led Dải quang phổ 2412 ~2484MHz Hình 3: Cảm biến MLX90614 Antenna Cảm biến nhiệt hồng ngoại không tiếp xúc Onboard PCB antenna, gain 2dBi HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHÓM SRT NĂM HỌC 2019-2020 MLX90614 loại cảm biến đo nhiệt độ hồng ngoại 4.1 ThingSpeak IOT không tiếp xúc dùng chip MXL90614 sử dụng giao tiếp I2C dễ dàng kết nối với vi điều khiển Tính lợi ích: -Kích thước nhỏ, chi phí thấp -10k Kéo điện trở lên cho giao diện I2C với jumper hàn tùy chọn -Dễ tích hợp -Nhiệt độ hoạt động : Hình 5: Trang chủ ThingSpeak -40 … + 125 ° C cho nhiệt độ cảm biến ThingSpeak clound service tiếng -70 … + 380 ° C nhiệt độ đối tượng phổ biến cộng đồng IoT, cho phép người dùng Độ xác cao 0.5 ° C nhiệt độ rộng (0 … + 50 liệu lên clound từ clound lấy liệu qua giao thức ° C ) HTTP Ngoài với giao diện đồ họa hiển thị liệu Độ phân giải đo lường 0,02 ° C bắt mắt Tùy chỉnh đầu PWM để liên tục Cung cấp người dùng API Reference dễ sử dụng, nên Chế độ ngủ để giảm tiêu thụ điện đóng vai trị trung gian truyền tải giữ liệu Các tùy chọn gói khác cho ứng dụng tính 4.2 Node-red linh hoạt tính linh hoạt 3.3 Cảm biến vật cản hồng ngoại E3F-DS30C4 Cảm biến vật cản hồng ngoại E3F-DS30C4 NPN 6- 36V dùng ánh sáng hồng ngoại để nhận biết vật cản cho độ phản hồi nhanh nhiễu sử dụng mắt nhận phát tia hồng ngoại theo tần số riêng biệt Cảm biến hồng ngoại E3F-DS30C4 chỉnh khoảng cách báo mong muốn thơng qua biến trở Cảm biến có dải điện áp rộng 3.4 Esp32 – WROOM-32 Hình 4: Esp32-Wroom32 Hình 6: icon node-red Node-RED cơng cụ lập trình kéo-thả để kết nối ESP32-WROOM-32 module với nhiều tính thiết bị phần cứng, API online services với cải tiến module dòng ESP8266 hỗ trợ Nó cung cấp trình soạn thảo dựa trình duyệt giúp thêm tính Bluetooth Bluetooth Low Energy dễ dàng kết nối luồng với cách sử dụng (BLE) bên cạnh tính WiFi Sản phẩm sử dụng chip loạt Node bảng màu (palette) ESP32-D0WDQ6 với CPU điều khiển độc triển khai cú nhấp chuột Node-RED lập với tần số xung clock lên đến 240 MHz dựa Node.js, xem web server mà bạn cấu hình tùy chỉnh chức gọi Module hỗ trợ chuẩn giao tiếp SPI, UART, I2C “flow” từ trình duyệt máy tính Mỗi ứng I2S có khả kết nối với nhiều ngoại vi dụng Node-RED bao gồm node liên kết cảm biến, khuếch đại, thẻ nhớ (SD card),… với với dạng input, output operation [3] Ở chế độ sleep dịng điện hoạt động µA nên thích Hình 7: Ví dụ hợp cho ứng dụng dùng pin thiết bị điện tử 4.3 Face Recognition đeo tay Ngồi module cịn hỗ trợ cập nhật firmware từ xa (OTA) người dùng có cập Là thư viện giúp nhận diện khuôn mặt dựa mã nhật sản phẩm nguồn mỡ opencv, dlib’s tác giả Adam Geitgey Việc sử dụng thư viện phù hợp cho dự án cần phát triển Thiết kế phần mềm nhanh, cần mẫu sớm Xét mặt lý thuyết nhận diện trải qua bước (dự án chia nhỏ giai đoạn để dễ hiểu hơn, Huỳnh Đình Sâm, Nguyễn Minh Sơn, Trần Thế Mỹ, Huỳnh Quang Trưởng, Trần Thăng Thiên Thắng thực tế tồn bước): sử dụng, ban quản lý kiểm tra sẻ đưa phương pháp tùy vào cách ứng phó (cơng ty tư nhân, văn phịng,…) Input ảnh, video (gồm nhiều frame ảnh) Face Detection Face Recognition Output 4.3.1 Input ảnh, video Ở nhóm sử dụng esp32-cam streamer video qua mạng với giao thức RTSP Nhờ đặc tính nhỏ gọn bé, giá sinh viên cho lại chất lượng hình ảnh tốt nên ưu tiên sử dụng vào dự án 4.3.2 Face Detection Xác định vị trí khn mặt hình, sau tách khn mặt có hình Hình 10: Mơ hình tổng qt hệ thống Kết 6.1 Kết sau hoàn thiện phần cứng Hình 8: Minh họa tách khuôn mặt Hình 11: Sản phẩm phần cứng 6.2 Kết sau hoàn thiện phần mềm 4.3.3 Face Recognition Ở bước tồn bước phụ trước nhận diện khuôn mặt Đó Tranning đối tượng để lưu lại tạo thành file có chứa liệu tranning khn mặt đối tượng định danh cho [1] Tiếp theo, sau có liệu khuôn mặt file tranning kết hợp đường truyền streaming esp32- cam xữ lý frame hình so sánh với liệu tranning Xuất định danh người cần nhận diện 4.3.4 Output Đây bước cuối xuất định danh nhân vật cần nhận diện, hiển thị giao diện người dung [2] Hình 9: Minh hoạ ảnh phân tích Hình 12: Kết thực tế Ngun lý hoạt động mơ hình 6.3 Đánh giá hoạt động thực tế Sau box kích hoạt, hệ thống tự kết nối với Qua lần thử nghiệm hệ thống hoạt động ổn định wifi định sẳn esp-32 cam bắt đầu stream cảm biến sẳn bên cạnh tồn hạn chế định sàng hoạt động chờ đối tượng cần kiểm tra đến trước box điển hình phần cứng thiết bị giá rẻ chất lượng đáp ứng với khoảng cách phù hợp, cảm biến bắt đầu đo gửi chưa cao phần võ thiết bị cần cãi thiện server lưu trữ xữ lý đồ họa Với đối tượng kiểm tính thẩm mỹ Với việc phát triển nóng, thiết chưa tra có dấu hiệu sốt cao hệ thống phát cịi cảnh báo người tối ưu tất cả, nên cần nghiên cứu phát triển thêm để đạt hiệu cao Kết Luận Trong báo nhóm trình bày mơ hình “thiết kế & chế tạo thiết bị nhận dạng theo dõi hồ sơ sức khỏe HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHÓM SRT NĂM HỌC 2019-2020 người sử dụng trí tuệ nhân tạo” Sử dụng esp32-cam Tài liệu tham khảo để stream hình ảnh người dùng cảm biến thu thập số nhiệt độ đối tượng gữi lên server Biểu diển (hiển [1] Neto, Laurindo Britto, et al "A Kinect-based wearable face thị) liệu đồ họa giúp người dùng nhìn thấy recognition system to aid visually impaired users." IEEE rõ ràng Transactions on Human-Machine Systems 47.1 (2016): 52-64 [2] Patil, Mr CS, Mr RR Karhe, and Mr MD Jain "Student Attendance Recording System Using Face Recognition with GSM Based." International Journal of Research in Advent Technology 2.8 (2014) [3] Lekić, Milica, and Gordana Gardašević "IoT sensor integration to Node-RED platform." 2018 17th International Symposium INFOTEH-JAHORINA (INFOTEH) IEEE, 2018