(Luận Văn Thạc Sĩ Kỹ Thuật Điện Tử) Nghiên Cứu Phát Triển Các Giải Pháp Thị Giác Máy Công Nghiệp Kết Hợp Ai Cho Nền Tảng Robot Thông Minh

Đ¾I HÌC QUÞC GIA HÀ NÞI TR£âNG Đ¾I HÌC CÔNG NGHÆ

Đ¾I HÌC QUÞC GIA HÀ NÞI TR£âNG Đ¾I HÌC CÔNG NGHÆ

NGUYÄN VN THÀNH

NGHIÊN CĀU PHÁT TRIÂN CÁC GIÀI PHÁP THÊ GIÁC MÁY CÔNG NGHIÆP K¾T HþP AI

CHO NÀN TÀNG ROBOT THÔNG MINH

NGÀNH CÔNG NGHÆ Kþ THUÀT ĐIÆN TĀ - VIÄN THÔNG Chuyên ngành: Kÿ thuÁt điÇn tā

LUÀN VN TH¾C SĨ

Cán bß h¤áng d¿n: 1 TS Đinh TriÁu D¤¢ng

HÀ NÞI, 2022

LâI CAM ĐOAN

Tôi xin cam đoan đÅ tài <NGHIÊN CĀU PHÁT TRIÆN CÁC GIÀI PHÁP THä GIÁC MÁY CÔNG NGHIàP KÂT HĀP AI CHO NÄN TÀNG ROBOT THÔNG MINH= do TS Đinh TriÅu D¤¢ng và PGS.TS Hoàng Văn Xiêm h¤áng d¿n là công trình nghiên cāu cÿa tôi Các nßi dung nghiên cāu, kÃt quÁ trong luÁn văn này là trung thực và không sao chép các công trình cÿa ng¤ãi khác

T¿t cÁ các tài liáu tham khÁo đ¤āc sā dăng trong khóa luÁn này đ¤āc ghi rõ ngußn gốc và ghi tên tác giÁ NÃu có sai sót, tôi xin chåu hoàn toàn trách nhiám

Hà Nội, ngày tháng năm 2022

Tác giÁ

NguyÅn Vn Thành

LâI CÀM ¡N

Em xin bày tỏ lòng biÃt ¢n sâu sÃc đÃn hai thÁy TS Đinh TriÅu D¤¢ng và PGS.TS Hoàng Văn Xiêm đã tÁn tình h¤áng d¿n và hỗ trā em hoàn thành luÁn văn này

Em cũng xin cÁm ¢n các thÁy, cô giáo cÿa khoa Đián tā - Vißn thông, Tr¤ãng Đ¿i học Công nghá - Đ¿i học Quốc gia Hà Nßi đã giÁng d¿y cho em nhăng kiÃn thāc bá ích trong suốt quá trình học tÁp t¿i tr¤ãng

Tôi cũng xin gāi lãi cÁm ¢n chân thành đÃn công ty TNHH Samsung Display Viát Nam n¢i tôi đang công tác đã t¿o điÅu kián cho tôi tham gia ch¤¢ng trình đào t¿o th¿c sỹ t¿i tr¤ãng Tr¤ãng Đ¿i học Công nghá - Đ¿i

học Quốc gia Hà Nßi

Trong quá trình thực hián luÁn văn này, do kiÃn thāc còn h¿n chÃ, không thÇ tránh khỏi nhăng thiÃu sót, em r¿t mong nhÁn đ¤āc nhăng ý kiÃn góp ý cÿa các thÁy cô đÇ em có thÇ tiÃp tăc hoàn thián và phát triÇn đÅ tài này

Hà Nội, ngày tháng năm 2022

Tác giÁ

NguyÅn Vn Thành

MĀC LĀC

CÁC THUÀT NGĂ VÀ CHĂ VIÂT TÂT iv

DANH MĂC HÌNH ÀNH/ HÌNH VÀ v

DANH MĂC BÀNG BIÆU vi

LâI NÓI ĐÀU 1

CH£¡NG 1 GIàI THIàU CHUNG 2

1.1 Đặt v¿n đÅ 2

1.2 Đóng góp luÁn văn 3

1.3 C¿u trúc luÁn văn 3

CH£¡NG 2 TàNG QUAN VÄ CÁC GIÀI PHÁP THä GIÁC MÁY CÔNG NGHIàP KÂT HĀP AI CHO NÄN TÀNG ROBOT THÔNG MINH 4

2.1 Táng quan vÅ các giÁi pháp thå giác máy công nghiáp kÃt hāp AI 4

2.1.1 Thå giác máy tính 4

2.1.2 Trí thông minh nhân t¿o 6

2.2 Táng quan vÅ robot tay máy thông minh 21

CH£¡NG 3: ĀNG DĂNG THä GIÁC MÁY CÔNG NGHIàP KÂT HĀP AI ĐIÄU KHIÆN ROBOT THEO CĀ CHâ CON NG£âI 26

3.1 Mô tÁ há thống 26

3.2 Āng dăng thå giác máy kÃt hāp AI nhÁn d¿ng cā chã tay ng¤ãi 27

3.2.1 Nhăng āng dăng vái cā chã bàn tay 27

3.2.2 Nhăng ph¤¢ng pháp nhÁn dián cā chã bàn tay 28

3.3 ĐiÅu khiÇn robot 32

CÁC THUÀT NGĂ VÀ CHĂ VI¾T TÂT

HOG: Histrogram of Oriented

HSV: Hue, Saturation, Lightness Vùng màu, đß bão hòa, đß sáng

SRM:Structural Risk Minimization GiÁm thiÇu rÿi ro c¿u trúc

SVM: Support Vector Machine ThuÁt học máy sā dăng véct¢ hỗ trā

Y

YOLO: You Only look Once B¿n chã nhìn mßt lÁn

DANH MĀC HÌNH ÀNH/ HÌNH VẼ

Hình 2.1 Mô tÁ vÅ thå giác máy tính 5

Hình 2.2 Ví dă vÅ KNN trong classification 8

Hình 2.4 KiÃn trúc c¢ bÁn cÿa mßt m¿ng tích chÁp 12

Hình 2.5 ví dă bß lọc tích chÁp đ¤āc sā dăng trên ma trÁn điÇm Ánh 13

Hình 2.6 Tr¤ãng hāp thêm/không thêm viÅn trÃng vào Ánh khi tích chÁp 14

Hình 2.7 Ph¤¢ng thāc Avarage pooling và Max pooling 15

Hình 2.8 S¢ đß kiÃn trúc m¿ngYOLO 16

Hình 2.9 Phát hián vÁt thÇ bằng thuÁt toánYOLO 17

Hình 2.10 Mô tÁ quá trình cÿaYOLO 17

Hình 2.11 Minh họa cách xác đånh bounding box trong YOLO 18

Hình 2.12 Minh họa biÇu dißn công thāc tính IOU 19

Hình 2.13 Bounding box khi áp dăng nms 20

Hình 2.14 S¢ đß kÃt nối m¿ch điÅu khiÇn Robot 23

Hình 2.15 Mô phỏng robot hoàn chãnh 25

Hình 2.16 Tay máy 4 bÁc tự do sau khi lÃp ghép hoàn chãnh (Uet robotics lab) 25 Hình 3.1 Mô tÁ bài toán robot thực thi theo cā chã tay ng¤ãi thông qua camera 26

Hình 3.2 Phân đo¿n Ánh dựa vào màu da 29

Hình 3.3 Nhå phân Ánh và t¿o đ¤ãng viÅn 31

Hình 3.4 Hình minh họa đßng học thuÁn cÿa cánh tay robot 33

Hình 4.1 Mô tÁ công că thực nghiám 37

Hình 4.2 Thực nghiám vái ph¤¢ng pháp học máy truyÅn thống 39

Hình 4.3 Thực nghiám vái ph¤¢ng pháp học máy truyÅn thống áp dăng mßt số kỹ thuÁt xā lý Ánh nhÁn dián vùng da 39

Hình 4.4 Thực nghiám vái ph¤¢ng pháp học sâu 41

Hình 4.5 Hình Ánh minh họa kÃt quÁ thực tÃ&&&&&&&&&&&&& 42

Hình 4.6 ThuÁt toán YOLO phát hián vÁt thÇ gÃp cÿa robot&&&&&& &42 Hình 4.7 Đß chính xác cÿa các thuÁt toán āng dăng 43

Hình 4.8 BiÇu đß thÇ hián thãi gian tiÅn xā lý - đào t¿o cÿa các thuÁt toán AI 44

Hình 4.9 BiÇu đß thÇ hián thãi gian dự đoán Ánh cÿa các thuÁt toán AI 44

DANH MĀC BÀNG BIÂU

BÁng 2.1 Chi tiÃt các linh kián sā dăng trong tay máy 4 bÁc tự do 22

BÁng 2.2 Các b¤ác thiÃt kà tay máy 4 bÁc tự do 24

BÁng 3.1 Thông số D – H cÿa tay máy robot 33

BÁng 3.2 Công thāc tính đßng học nghåch 35

BÁng 4.1 Bß dă liáu 1 sā dăng đÇ nhÁn dián cā chã 38

BÁng 4.2 Bß dă liáu 2 bao gßm các hình Ánh vÅ s¿c đián tho¿i 38

LâI NÓI ĐÀU

Ngày nay vái sự phát triÇn nhanh chóng cÿa các āng dăng công nghá thông tin vào trong cußc sống con ng¤ãi, viác t¤¢ng tác giăa con ng¤ãi và các máy móc ngày càng trở nên quan trọng h¢n Tr¤ác đây, bàn phím và chußt là các giao dián chính đÇ giao tiÃp giăa ng¤ãi và máy tính Tuy nhiên, con ng¤ãi giao tiÃp chÿ yÃu vái nhau bởi t¤¢ng tác <nghe= và <nhìn=, do đó mßt giao dián giăa ng¤ãi vái máy móc sÁ trực quan h¢n nhiÅu nÃu con ng¤ãi có thÇ điÅu khiÇn máy móc bằng giọng nói hay cā chã giống nh¤ khi t¤¢ng tác giăa ng¤ãi vái ng¤ãi trong thà giái thực mà không cÁn thông qua các thiÃt bå điÅu khiÇn nh¤ chußt hay bàn phím và có thÇ giao tiÃp tÿ xa So vái các há thống điÅu khiÇn bằng lánh âm thanh, mßt há thống thå giác sÁ thích hāp h¢n trong môi tr¤ãng ßn ào hoặc trong tr¤ãng hāp âm thanh bå nhißu, trong đó viác thå giác nhÁn d¿ng các cā đßng cÿa tay ng¤ãi trong giao tiÃp là cách t¤¢ng tác tự nhiên khi giao tiÃp giăa con ng¤ãi vái con ng¤ãi, do đó nhiÅu nhà nghiên cāu trong các học vián và ngành công nghiáp đang quan tâm đÃn h¤áng nghiên cāu và āng dăng t¤¢ng tác giăa con ng¤ãi vái máy móc qua các cā chã tay Nghiên cāu và āng dăng này cho phép con ng¤ãi t¤¢ng tác vái máy r¿t dß dàng và thuÁn tián tÿ xa mà không cÁn phÁi mang thêm b¿t kỳ thiÃt bå ngo¿i vi nào, thay đái các quá trình giao tiÃp tr¤ác đây và tăng tính thuÁt tián cũng nh¤ sự kÃt hāp thông minh giăa con ng¤ãi và máy móc

Do vÁy luÁn văn này tôi tÁp trung và nghiên cāu vái đÅ tài: “Nghiên

cāu phát triển các giải pháp thị giác máy công nghiệp kết hợp AI cho nền tảng Robot thông minh=

CH£¡NG 1 GIàI THIÆU CHUNG

1.1 Đặt v¿n đÁ

Trong thà giái ngày nay, các nhà sÁn xu¿t đang ngày càng chuyÇn sang tự đßng hóa dựa trên sự cßng tác giăa con ng¤ãi và máy móc Tự đßng hóa cßng tác linh ho¿t giúp giÁm thãi gian cÁn thiÃt cho viác lÁp kà ho¿ch, ngân sách, chi phí, thuê và đào t¿o nhân viên đÇ có đ¤āc các kỹ năng mái cÁn thiÃt đÇ thực hián c¿u hình mßt nhà máy lán

Mặc dù sự phát triÇn cÿa robot hāp tác (cobots - collaborative robots) v¿n tßn t¿i, nh¤ng cobots đã đ¤āc tích hāp thành công vào các quy trình khác nhau và chúng đã đ¤āc sā dăng trong nhiÅu āng dăng khác nhau tÿ công nghiáp thông qua chăm sóc sāc khỏe và nghiên cāu Có nhiÅu sự khác biát h¢n vÅ cách mßt robot công nghiáp thông th¤ãng khác vái cobots, trong khi robot công nghiáp thông th¤ãng bå cô lÁp khỏi ng¤ãi điÅu khiÇn (bằng hàng rào, rào cÁn quang học hoặc các ph¤¢ng tián khác đÇ ngăn chuyÇn đßng cÿa robot), thì cobots ho¿t đßng trực tiÃp bên c¿nh con ng¤ãi giúp con ng¤ãi xā lý các công viác hàng ngày Trong thãi đ¿i tự đßng hóa, robot không chã lo¿i bỏ sự can thiáp cÿa con ng¤ãi vào các công viác lặp đi lặp l¿i mà còn đ¤āc coi là sự thay thà phù hāp cho con ng¤ãi đối vái các công viác phāc t¿p, n¢i các kỹ năng ra quyÃt đånh gÃn vái lÁp kà ho¿ch di chuyÇn là r¿t cÁn thiÃt, mßt bối cÁnh t¤¢ng lai nh¤ vÁy cũng có thÇ yêu cÁu chia s¿ không gian làm viác giăa con ng¤ãi và robot Do đó, nhăng robot có thÇ học các kỹ năng tÿ con ng¤ãi chã bằng cách quan sát là mßt nhiám vă cÁn thiÃt đÇ phát triÇn và āng dăng trong t¤¢ng lai

Vì vÁy đßng c¢ thực hián luÁn văn này là mong muốn điÅu khiÇn robot mà không cÁn lÁp trình thÿ công trực tiÃp hoặc sā dăng các cÁm biÃn mà thay vào đó là sā dăng các ph¤¢ng pháp học sâu và trí tuá nhân t¿o đÇ phát hián các cā chã cÿa tay ng¤ãi đ¤āc thu thÁp bằng camera vision qua đó gāi tín hiáu điÅu khiÇn tái robot ĐiÅu này giúp lo¿i bỏ sự tiÃp xúc trực

tiÃp vái ng¤ãi vÁn hành, tăng tính di đßng và lo¿i bỏ mßt số h¿n chà vÅ t¤¢ng tác giăa con ng¤ãi và robot

1.2 Đóng góp luÁn vn

LuÁn văn nghiên cāu āng dăng trí thông minh nhân t¿o trong bài toán t¤¢ng tác robot vái con ng¤ãi qua cā chã bàn tay

1.3 C¿u trúc luÁn vn

Nßi dung chính cÿa luÁn văn đ¤āc trình bày qua 5 ch¤¢ng:

Chương 1: Giới thiệu chung

Nßi dung cÿa ch¤¢ng sÁ trình bày vÅ v¿n đÅ nghiên cāu, c¿u trúc và đóng góp cÿa luÁn văn

Chương 2: Tổng quan về các giải pháp thị giác máy công nghiệp kết hợp AI cho nền tảng robot thông minh

Nßi dung cÿa ch¤¢ng sÁ trình bày vÅ táng quan các giÁi pháp thå giác

máy công nghiáp và robot tay máy thông minh

Chương 3: Āng dụng thị giác máy công nghiệp kết hợp AI điều khiển robot theo cử chỉ con người

Nßi dung cÿa ch¤¢ng sÁ mô tÁ vÅ há thống āng dăng thå giác máy AI

nhÁn d¿ng cā chã tay ng¤ãi và tiÃn hành điÅu khiÇn robot

Chương 4: Đánh giá và kết quả

Nßi dung cÿa ch¤¢ng sÁ mô tÁ bß bß dă liáu, há thống và các kÃt quÁ đ¿t đ¤āc sau khi āng dăng các thuÁt toán

Kết luận và hướng phát triển

Nßi dung cÿa phÁn này sÁ đ¤a ra kÃt luÁn giăa các thuÁt toán trí tuá nhân t¿o và h¤áng phát triÇn tiÃp theo trong t¤¢ng lai

CH£¡NG 2 TàNG QUAN VÀ CÁC GIÀI PHÁP THÊ GIÁC MÁY CÔNG NGHIÆP K¾T HþP AI CHO NÀN TÀNG ROBOT

Thå giác máy tính bao gßm các lĩnh vực sau:

 Xā lí hình Ánh: Phát triÇn các thuÁt toán xā lí Ánh nh¤ tăng/giÁm

Hình 2.1 Mô tả về thị giác máy tính [1]

Thå giác máy tính là mßt chuyên ngành đã phát triÇn khá lâu và có nhiÅu āng dăng rßng rãi trong đãi sống, giúp cho máy tính <nhìn= đ¤āc nh¤ con ng¤ãi [1] Nó đã đ¤āc āng dăng rßng rãi trong nhiÅu lĩnh vực, các thành tựu nái bÁt đáng kÇ đÃn nh¤:

- Trong y học, các thuÁt toán xā lí Ánh cho phép biÃn đái hình Ánh đ¤āc t¿o ra tÿ ngußn bāc x¿ X-ray hay kÃt quÁ tÿ hình Ánh siêu âm quang học trên bÅ mặt phim x-quang hoặc nhăng hình Ánh trực tiÃp trên màn hình hiÇn thå Trong đó hình Ánh các c¢ quan chāc năng cÿa con ng¤ãi đ¤āc xā lí nâng cao đß t¤¢ng phÁn, lọc, tách các phÁn cÁn thiÃt hay t¿o ra hình Ánh không gian 3 chiÅu (siêu âm ba chiÅu) Mái nh¿t hián nay, thå giác máy tính t¿o ra āng dăng giúp hỗ trā thå giác cho ng¤ãi mù&

- Trong lĩnh vực đåa ch¿t, kỹ thuÁt làm nái đ¤ãng biên và khôi phăc hình Ánh giúp nâng cao ch¿t l¤āng vá tinh t¿o ra bÁn đß đåa hình 3D vái đß

chính xác cao Trong khí t¤āng học, hình Ánh thông qua vá tinh đ¤a ra các thông tin Trái Đ¿t trên mßt vùng rßng lán, giúp cho viác dự báo thãi tiÃt chính xác h¢n

- Trong lĩnh vực hình sự và bÁo mÁt, kiÇm soát truy cÁp trong quá trình xā lí nhÁn d¿ng vân tay, khuôn mặt hay nhÁn d¿ng biÇn số xe giúp phát hián nhanh đối t¤āng nghi v¿n, cũng nh¤ nâng cao quá trình bÁo mÁt, giám sát hay nhÁn d¿ng măc tiêu trong lĩnh vực quân sự

Không chã thÃ, thå giác máy tính āng dăng trong viác điÅu khiÇn tiÃn trình nh¤ các robot trong công nghiáp, hay các thiÃt bå, xe tự hành Ngoài ra, āng dăng đặc biát quan trọng là thå giác máy tính còn đóng vai trò làm đÁu vào cho thiÃt bå trong quá trình t¤¢ng tác giăa ng¤ãi và máy

2.1.2 Trí thông minh nhân tạo

Trí thông minh nhân t¿o (Artificial intelligence – viÃt tÃt là AI) là mßt ngành thußc lĩnh vực khoa học máy tính (Computer science) Là trí tuá do con ng¤ãi lÁp trình t¿o nên vái măc tiêu giúp máy tính có thÇ tự đßng hóa các hành vi thông minh nh¤ con ng¤ãi Trí tuá nhân t¿o khác vái viác lÁp trình logic trong các ngôn ngă lÁp trình là ở viác āng dăng các há thống học máy (machine learning) đÇ mô phỏng trí tuá cÿa con ng¤ãi trong các xā lý mà con ng¤ãi làm tốt h¢n máy tính Trí tuá nhân t¿o giúp máy tính có đ¤āc nhăng trí tuá cÿa con ng¤ãi nh¤: biÃt suy nghĩ và lÁp luÁn đÇ giÁi quyÃt v¿n đÅ, biÃt giao tiÃp do hiÇu ngôn ngă, tiÃng nói, biÃt học và tự thích nghi [2]

Mßt cách tiÃp cÁn cÿa AI là machine learning là mßt thuÁt ngă rßng đÇ chã hành đßng mà con ng¤ãi d¿y máy tính cÁi thián mßt nhiám vă mà nó đang thực hián Că thÇ h¢n, machine learning đÅ cÁp tái b¿t kỳ há thống mà hiáu su¿t cÿa máy tính khi thực hián mßt nhiám vă sÁ trở nên tốt h¢n sau khi hoàn thành nhiám vă đó nhiÅu lÁn Hay nói cách khác, khÁ năng c¢ bÁn nh¿t cÿa machine learning là sā dăng thuÁt toán đÇ phân tích nhăng thông tin có sẵn, học hỏi tÿ nó rßi đ¤a ra quyÃt đånh hoặc dự đoán vÅ mßt thā gì đó có liên quan Thay vì t¿o ra mßt phÁn mÅm vái nhăng hành đßng, h¤áng d¿n chi tiÃt đÇ thực hián mßt nhiám vă că thÇ, máy tính đ¤āc <hu¿n luyán=

bằng cách sā dăng l¤āng dă liáu và các thuÁt toán đÇ học cách thực hián nhiám vă Mßt thuÁt ngă cÿa machine learning là deep learning có thÇ xā lý dă liáu theo cách t¤¢ng tự nh¤ mßt bß não con ng¤ãi có thÇ thực hián ĐiÇm khác biát chính ở đây là con ng¤ãi sÁ không phÁi d¿y mßt ch¤¢ng trình deep learning biÃt mßt vÁt thÇ trông nh¤ thà nào, mà chã cÁn cung c¿p cho nó đÿ hình Ánh cÁn thiÃt vÅ vÁt thÇ, và nó sÁ tự mình hình dung, tự học và đ¤a ra kÃt quÁ đÁu ra

2.1.2.1 Thuật toán KNN

K-nearest neighbor (thuÁt toán K láng giÅng gÁn) là mßt trong nhăng thuÁt toán học có giám sát đ¢n giÁn Khi đào t¿o thuÁt toán này không học tÿ dă liáu đào t¿o, mọi tính toán đ¤āc thực hián khi cÁn dự đoán kÃt quÁ cÿa dă liáu mái K-nearest neighbor có thÇ áp dăng đ¤āc vào cÁ hai lo¿i cÿa bài toán học có giám sát là Classification (phân lo¿i) và Regression (hßi quy) [3]

Vái KNN, trong bài toán Classification, nhãn cÿa mßt điÇm dă liáu đ¤āc suy ra trực tiÃp tÿ K điÇm dă liáu gÁn nh¿t trong dă liáu đào t¿o Nhãn cÿa mßt test data (dă liáu kiÇm chāng) có thÇ đ¤āc quyÃt đånh bằng bÁu chọn theo số phiÃu giăa các điÇm gÁn nh¿t, hoặc có thÇ đ¤āc suy ra bằng cách đánh trọng số khác nhau cho mỗi trong các điÇm gÁn nh¿t đó rßi suy ra nhãn cÿa dă liáu Trong bài toán Regresssion, đÁu ra cÿa mßt điÇm dă liáu sÁ bằng chính đÁu ra cÿa điÇm dă liáu đã biÃt gÁn nh¿t (trong tr¤ãng hāp K=1), hoặc bằng trung bình có trọng số cÿa đÁu ra cÿa nhăng điÇm gÁn nh¿t, hay mßt các tính khác chính bằng mßt mối quan há dựa trên khoÁng cách tái các điÇm gÁn nh¿t đó Có thÇ tóm tÃt mßt cách đ¢n giÁn KNN là thuÁt toán đi tìm đÁu ra cÿa mßt điÇm dă liáu mái bằng cách chã dựa trên thông tin cÿa K điÇm dă liáu trong đào t¿o set gÁn nó nh¿t (K-lân cÁn), không quan tâm đÃn viác có mßt vài điÇm dă liáu trong nhăng điÇm gÁn nh¿t này là nhißu Hình 2.2 d¤ái đây là mßt ví dă vÅ KNN trong classification

Hình 2.2 Ví dụ về KNN trong classification [3]

ThuÁt toán KNN cho rằng nhăng dă liáu t¤¢ng tự nhau sÁ tßn t¿i gÁn nhau trong mßt không gian, tÿ đó sÁ tìm k điÇm gÁn vái dă liáu cÁn kiÇm tra nh¿t Viác tìm khoÁng cách giăa 2 điÇm cÿng có nhiÅu công thāc có thÇ sā dăng, tùy tr¤ãng hāp mà chúng ta lựa chọn cho phù hāp D¤ái đây là 3 cách c¢ bÁn đÇ tính khoÁng cách 2 điÇm dă liáu x, y có k thußc tính

Minkowski: (∑ ) (2.3) £u điÇm cÿa thuÁt toán KNN:

- ThuÁt toán đ¢n giÁn, dß dàng triÇn khai - Đß phāc t¿p tính toán nhỏ

- Xā lý tốt vái tÁp dă liáu nhißu

Nh¤āc điÇm cÿa thuÁt toán KNN:

- Vái K nhỏ dß gặp nhißu d¿n tái kÃt quÁ đ¤a ra không chính xác - CÁn nhiÅu thãi gian đÇ thực hián do phÁi tính toán khoÁng cách vái t¿t cÁ các đối t¤āng trong tÁp dă liáu

- CÁn chuyÇn đái kiÇu dă liáu thành các yÃu tố đånh tính

2.1.2.2 Thuật toán SVM

Ph¤¢ng pháp SVM ( Support Vector Machine ) đ¤āc coi là công că m¿nh cho nhăng bài toán phân láp phi tuyÃn tính đ¤āc các tác giÁ Vapnik và Chervonenkis phát triÇn m¿nh mÁ năm 1995 Ph¤¢ng pháp này thực hián phân láp dựa trên nguyên lý SRM (Structural Risk Minimization - Cực tiÇu hóa rÿi ro có c¿u trúc), đ¤āc xem là mßt trong các ph¤¢ng pháp phân láp giám sát không tham số tinh vi nh¿t cho đÃn nay Các hàm công că đa d¿ng cÿa SVM cho phép t¿o không gian chuyên đái đÇ xây dựng mặt phẳng phân láp [4]

Ý t¤ởng cÿa ph¤¢ng pháp:

Cho tr¤ác mßt tÁp hu¿n luyán, đ¤āc biÇu dißn trong không gian vector, trong đó mỗi tài liáu là mßt điÇm, ph¤¢ng pháp này tìm ra mßt siêu phẳng quyÃt đånh tốt nh¿t có thÇ chia các điÇm trên không gian này thành hai láp riêng biát t¤¢ng āng là láp + và láp - Ch¿t l¤āng cÿa siêu phẳng này đ¤āc quyÃt đånh bởi khoÁng cách (gọi là biên) cÿa điÇm dă liáu gÁn nh¿t cÿa mỗi láp đÃn mặt phẳng này Khi đó, khoÁng cách biên càng lán thì mặt phẳng quyÃt đånh càng tốt, đßng thãi viác phân lo¿i càng chính xác Măc đích cÿa ph¤¢ng pháp SVM là tìm đ¤āc khoÁng cách biên lán nh¿t, điÅu này đ¤āc minh họa nh¤ hình 2.3 sau:

Hình 2.3 Siêu phẳng phân chia dữ liệu học thành 2 lớp + và - với khoảng cách biên lớn nhất Các điểm gần nhất (điểm được khoanh tròn) là các

Support Vector [4]

C¢ sở lý thuyÃt:

SVM là mßt bài toán tối ¤u, măc tiêu cÿa thuÁt toán này là tìm đ¤āc mßt không gian F và siêu phẳng quyÃt đånh f trên F sao cho sai số phân lo¿i là th¿p nh¿t Cho tÁp m¿u ( , ), ( , ), & ( , )} vái ∈ , thußc vào hai láp nhãn: ∈ {-1,1} là nhãn láp t¤¢ng āng cÿa các xi (-1 biÇu thå láp I, 1 biÇu thå láp II)

Ta có, ph¤¢ng trình siêu phẳng chāa vect¢ ⃗⃗⃗ trong không gian:

Đặt f( ⃗⃗⃗ ) = sign ( ⃗⃗⃗ ⃗⃗⃗ = { ⃗⃗⃗ ⃗⃗⃗⃗⃗ ⃗⃗⃗ ⃗⃗⃗⃗⃗

Nh¤ vÁy, f( ⃗⃗⃗ ) biÇu dißn sự phân láp cÿa ⃗⃗⃗ vào hai láp nh¤ đã nêu Ta nói = +1 nÃu ⃗⃗⃗ ∈ láp I và = -1 nÃu ⃗⃗⃗ ∈ láp II Khi đó, đÇ có siêu phẳng f ta sÁ phÁi giÁi bài toán sau:

Tìm min ‖ ⃗⃗⃗ ‖ vái W thỏa mãn điÅu kián sau:

⃗⃗⃗ ⃗⃗⃗ + b)) 1 vái ∀ I ∈ ⃗⃗⃗⃗⃗⃗ (2.5) Bài toán SVM có thÇ giÁi bằng kỹ thuÁt sā dăng toán tā Lagrange đÇ biÃn đái vÅ thành d¿ng đẳng thāc Mßt đặc điÇm thú vå cÿa SVM là mặt phẳng quyÃt đånh chã phă thußc các Support Vector và nó có khoÁng cách đÃn mặt phẳng quyÃt đånh là 1/‖ ⃗⃗⃗ ‖, cho dù các điÇm khác bå xóa đi thì thuÁt toán v¿n cho kÃt quÁ giống nh¤ ban đÁu Đây chính là điÇm nái bÁt cÿa ph¤¢ng pháp SVM so vái các ph¤¢ng pháp khác vì t¿t cÁ các dă liáu trong tÁp hu¿n luyán đÅu đ¤āc đùng đÇ tối ¤u hóa kÃt quÁ

Táng kÃt l¿i trong tr¤ãng hāp nhå phân phân tách tuyÃn tính, viác phân láp đ¤āc thực hián qua hàm quyÃt đånh f(x) = sign(<w.x> +b) hàm này thu đ¤āc bằng viác thay đái vect¢ chuẩn w, đây là vect¢ đÇ cực đ¿i hóa viÅn chāc năng

Viác mở rßng SVM đÇ phân đa láp hián nay v¿n đang đ¤āc đÁu t¤ nghiên cāu Có mßt ph¤¢ng pháp tiÃp cÁn đÇ giÁi quyÃt v¿n đÇ này là xây dựng và kÃt hāp nhiÅu bß phân láp nhå phân SVM (Chẳng h¿n: trong quá trình hu¿n luyán vái SVM, bài toán phân m láp có thÇ đ¤āc biÃn đái thành bài toán phân 2*m láp, khi đó trong mỗi hai láp hàm quyÃt đånh sÁ đ¤āc xác đånh cho khÁ năng táng quát hóa tối đa) [5]

Ph¤¢ng pháp SVM yêu cÁu dă liáu đ¤āc dißn tÁ nh¤ các vector cÿa các số thực Nh¤ vÁy nÃu đÁu vào ch¤a phÁi là số thì ta cÁn phÁi tìm cách chuyÇn chúng vÅ d¿ng số cÿa SVM tiÅn xā lý dă liáu, thực hián biÃn đái dă liáu phù hāp cho quá trình tính toán, tránh các số quá lán mô tÁ các thußc tính Th¤ãng nên scaling (co giãn) dă liáu đÇ chuyÇn vÅ đo¿n [-1, 1] hoặc [0, 1] Lựa chọn hàm h¿t nhân phù hāp t¤¢ng āng cho tÿng bài toán că thÇ đÇ đ¿t đ¤āc đß chính xác cao trong quá trình phân láp, thực hián viác kiÇm tra chéo đÇ xác đånh các thám số cho āng đăng ĐiÅu này cũng quyÃt đånh đÃn tính chính xác cÿa quá trình phân láp, sā dăng các tham số cho viác hu¿n luyán vái tÁp m¿u

Trong quá trình hu¿n luyán sÁ sā dăng thuÁt toán tối ¤u hóa khoÁng cách giăa các siêu phẳng trong quá trình phân láp, xác đånh hàm phân láp trong không gian đặc tr¤ng nhã viác ánh x¿ dă liáu vào không gian đặc tr¤ng bằng cách mô tÁ h¿t nhân, giÁi quyÃt cho cÁ hai tr¤ãng hāp dă liáu là phân tách và không phân tách tuyÃn tính trong không gian đặc tr¤ng

2.1.2.3 Thuật toán CNN

M¿ng n¢-ron tích chÁp (CNN - Convolutional Neural Network) là mßt trong nhăng mô hình m¿ng Học sâu phá biÃn nh¿t hián nay, có khÁ năng nhÁn d¿ng và phân lo¿i hình Ánh vái đß chính xác r¿t cao, thÁm chí còn tốt h¢n con ng¤ãi trong nhiÅu tr¤ãng hāp Mô hình này đã và đang đ¤āc phát triÇn, āng dăng vào các há thống xā lý Ánh lán cÿa Facebook, Google hay Amazon& cho các măc đích khác nhau nh¤ các thuÁt toán tagging tự đßng, tìm kiÃm Ánh hoặc gāi ý sÁn phẩm cho ng¤ãi tiêu dùng

Sự ra đãi cÿa m¿ng CNN là dựa trên ý t¤ởng cÁi tiÃn cách thāc các m¿ng n¢-ron nhân t¿o truyÅn thống học thông tin trong Ánh Do sā dăng các liên kÃt đÁy đÿ giăa các điÇm Ánh vào nút (node), các m¿ng n¢-ron nhân t¿o truyÅn thẳng (Feedforward Neural Network) bå h¿n chà r¿t nhiÅu bởi kích th¤ác cÿa Ánh, Ánh càng lán thì số l¤āng liên kÃt càng tăng nhanh và kéo theo sự bùng ná khối l¤āng tính toán Ngoài ra sự liên kÃt đÁy đÿ này cũng là sự d¤ thÿa khi vái mỗi bāc Ánh, các thông tin chÿ yÃu thÇ hián qua sự phă thußc giăa các điÇm Ánh vái nhăng điÇm xung quanh nó mà không quan tâm nhiÅu đÃn các điÇm Ánh ở cách xa nhau M¿ng CNN ra đãi vái kiÃn trúc thay đái, có khÁ năng xây dựng liên kÃt chã sā dăng mßt phÁn căc bß trong Ánh kÃt nối đÃn node trong láp tiÃp theo thay vì toàn bß Ánh nh¤ trong m¿ng n¢-ron truyÅn thẳng [6]

Các láp c¢ bÁn trong mßt m¿ng CNN bao gßm: Láp tích chÁp (Convolutional), láp kích ho¿t phi tuyÃn ReLU (Rectified Linear Unit), láp l¿y m¿u (Pooling) và láp kÃt nối đÁy đÿ (Fully-connected), đ¤āc thay đái vÅ số l¤āng và cách sÃp xÃp đÇ t¿o ra các mô hình hu¿n luyán phù hāp cho tÿng bài toán khác nhau

Hình 2.4 Kiến trúc cơ bản cÿa một mạng tích chập [6]

Láp tích chÁp:

Đây là thành phÁn quan trọng nh¿t trong m¿ng CNN, cũng là n¢i thÇ hián t¤ t¤ởng xây dựng sự liên kÃt căc bß thay vì kÃt nối toàn bß các điÇm Ánh Các liên kÃt căc bß này đ¤āc tính toán bằng phép tích chÁp giăa các

giá trå điÇm Ánh trong mßt vùng Ánh căc bß vái các bß lọc filters có kích th¤ác nhỏ

Hình 2.5 Ví dụ bộ lọc tích chập được sử dụng trên ma trận điểm ảnh [6]

Trong ví dă ở Hình trên, ta th¿y bß lọc đ¤āc sā dăng là mßt ma trÁn có kích th¤ác 3x3 Bß lọc này đ¤āc dåch chuyÇn lÁn l¤āt qua tÿng vùng Ánh đÃn khi hoàn thành quét toàn bß bāc Ánh, t¿o ra mßt bāc Ánh mái có kích th¤ác nhỏ h¢n hoặc bằng vái kích th¤ác Ánh đÁu vào Kích th¤ác này đ¤āc quyÃt đånh tùy theo kích th¤ác các khoÁng trÃng đ¤āc thêm ở viÅn bāc Ánh gốc và đ¤āc tính theo công thāc d¤ái đây

Trong đó:

- o: kích th¤ác Ánh đÁu ra - i: kích th¤ác Ánh đÁu vào

- p: kích th¤ác khoÁng trÃng phía ngoài viÅn cÿa Ánh gốc - k: kích th¤ác bß lọc

- s: b¤ác tr¤āt cÿa bß lọc

Hình 2.6 Trường hợp thêm/không thêm viền trắng vào ảnh khi tích chập

Nh¤ vÁy, sau khi đ¤a mßt bāc Ánh đÁu vào cho láp Tích chÁp ta nhÁn đ¤āc kÃt quÁ đÁu ra là mßt lo¿t Ánh t¤¢ng āng vái các bß lọc đã đ¤āc sā dăng đÇ thực hián phép tích chÁp Các trọng số cÿa các bß lọc này đ¤āc khởi t¿o ng¿u nhiên trong lÁn đÁu tiên và sÁ đ¤āc cÁi thián dÁn xuyên suốt quá trình hu¿n luyán

Láp kích ho¿t phi tuy¿n ReLU:

Láp này đ¤āc xây dựng vái ý nghĩa đÁm bÁo tính phi tuyÃn cÿa mô hình hu¿n luyán sau khi đã thực hián mßt lo¿t các phép tính toán tuyÃn tính qua các láp Tích chÁp Láp Kích ho¿t phi tuyÃn nói chung sā dăng các hàm kích ho¿t phi tuyÃn nh¤ ReLU hoặc sigmoid, tanh& đÇ giái h¿n ph¿m vi biên đß cho phép cÿa giá trå đÁu ra Trong số các hàm kích ho¿t này, hàm ReLU đ¤āc chọn do cài đặt đ¢n giÁn, tốc đß xā lý nhanh mà v¿n đÁm bÁo đ¤āc tính toán hiáu quÁ Că thÇ, phép tính toán cÿa hàm ReLU chã đ¢n giÁn là chuyÇn t¿t cÁ các giá trå âm thành giá trå 0 �㕓( ) = �㕚ÿ (0, ) (2) Thông th¤ãng, láp ReLU đ¤āc áp dăng ngay phía sau láp Tích chÁp, vái đÁu ra là mßt Ánh mái có kích th¤ác giống vái Ánh đÁu vào, các giá trå điÇm Ánh cũng hoàn toàn t¤¢ng tự trÿ các giá trå âm đã bå lo¿i bỏ

Láp l¿y m¿u:

Mßt thành phÁn tính toán chính khác trong m¿ng CNN là l¿y m¿u (Pooling), th¤ãng đ¤āc đặt sau láp Tích chÁp và láp ReLU đÇ làm giÁm kích th¤ác Ánh đÁu ra trong khi v¿n giă đ¤āc các thông tin quan trọng cÿa Ánh đÁu vào Viác giÁm kích th¤ác dă liáu có tác dăng làm giÁm đ¤āc số l¤āng tham số cũng nh¤ tăng hiáu quÁ tính toán Láp l¿y m¿u cũng sā dăng mßt cāa sá tr¤āt đÇ quét toàn bß các vùng trong Ánh t¤¢ng tự nh¤ láp tích chÁp, và thực hián phép l¿y m¿u thay vì phép tích chÁp Láp này sÁ chọn l¤u l¿i mßt giá trå duy nh¿t đ¿i dián cho toàn bß thông tin cÿa vùng Ánh đó Hình 2.7 d¤ái thÇ hián các ph¤¢ng thāc l¿y m¿u th¤ãng đ¤āc sā dăng nh¿t hián nay, đó là Max Pooling (l¿y giá trå điÇm Ánh lán nh¿t) và Avarage Pooling (l¿y giá trå trung bình cÿa các điÇm Ánh trong vùng Ánh căc bß)

Hình 2.7 Phương thāc Avarage Pooling và Max Pooling

Nh¤ vÁy, vái mỗi Ánh đÁu vào đ¤āc đ¤a qua l¿y m¿u ta thu đ¤āc mßt Ánh đÁu ra t¤¢ng āng, có kích th¤ác giÁm xuống đáng kÇ nh¤ng v¿n giă đ¤āc các đặc tr¤ng cÁn thiÃt cho quá trình tính toán sau này

Láp k¿t nßi đÁy đÿ:

Láp kÃt nối đÁy đÿ này đ¤āc thiÃt kà hoàn toàn t¤¢ng tự nh¤ trong m¿ng n¢-ron truyÅn thống, tāc là t¿t cÁ các điÇm Ánh đ¤āc kÃt nối đÁy đÿ vái node trong láp tiÃp theo So vái m¿ng n¢-ron truyÅn thống, các Ánh đÁu

vào cÿa láp này đã có kích th¤ác đ¤āc giÁm bát r¿t nhiÅu, đßng thãi v¿n đÁm bÁo các thông tin quan trọng cho viác nhÁn d¿ng Do vÁy, viác tính toán nhÁn d¿ng sā dăng mô hình truyÅn thẳng đã không còn phāc t¿p và tốn nhiÅu thãi gian nh¤ trong m¿ng n¢ ron truyÅn thống

2.1.2.4 Thuật toán YOLO

ThuÁt toán YOLO (You only look once) là mßt mô hình m¿ng CNN cho viác phát hián, nhÁn d¿ng, phân lo¿i đối t¤āng ThuÁt toán YOLO đ¤āc t¿o ra tÿ viác kÃt hāp giăa các convolutional layers và connected layers Trong đóp các convolutional layers sÁ trích xu¿t ra các feature cÿa Ánh, còn full-connected layers sÁ dự đoán ra xác su¿t đó và tọa đß cÿa đối t¤āng KiÃn trúc YOLO bao gßm: base network là các m¿ng convolution làm nhiám vă trích xu¿t đặc tr¤ng PhÁn phía sau là nhăng Extra Layers đ¤āc áp dăng đÇ phát hián vÁt thÇ trên feature map cÿa base network Base network cÿa YOLO sā dăng chÿ yÃu là các convolutional layer và các fully conntected layer Các kiÃn trúc YOLO cũng khá đa d¿ng và có thÇ tùy biÃn thành các version cho nhiÅu input shape khác nhau Thành phÁn Darknet Architechture đ¤āc gọi là base network có tác dăng trích su¿t đặc tr¤ng, output cÿa base network là mßt feature map có kích th¤ác 7x7x1024 sÁ đ¤āc sā dăng làm input cho các Extra layers có tác dăng dự đoán nhãn và tọa đß bounding box cÿa vÁt thÇ [6]

Hình 2.8 Sơ đồ kiến trúc mạng YOLO [6]

Hình 2.9 Phát hiện vật thể bằng thuật toán YOLO

Output cÿa mô hình YOLO là mßt véc t¢ sÁ bao gßm các thành phÁn: ( ) (2.7)

Trong đó

 : là xác su¿t dự báo vÁt thÇ xu¿t hián trong bounding box

 : giúp xác đånh bounding box Trong đó là tọa đß tÁm và là kích th¤ác rßng, dài cÿa bounding box

 ( ) là véc t¢ phân phối xác su¿t dự báo cÿa các glass

Ho¿t đßng YoLo:

ĐÁu tiên, hình Ánh đÁu vào sÁ đ¤āc chia thành mßt m¿ng l¤ái các ô (grid of cells) có kích th¤ác SxS Mỗi ô sÁ phát hián các đối t¤āng xu¿t hián bên trong nó NÃu mßt trung tâm cÿa đối t¤āng nằm trong mßt ô nh¿t đånh thì ô này sÁ chåu trách nhiám phát hián ra nó

Hình 2.10 Mô tả quá trình cÿa YOLO

T¿i mỗi ô sÁ có trách nhiám dự đoán mßt số l¤āng B bounding boxes có kích th¤ác khác nhau đÇ bao phÿ các đối t¤āng cÁn xác đånh trong hình và phân phối xác su¿t cÿa C classes cÿa bài toán Mỗi mßt bounding box dự đoán đ¤āc t¿o thành có năm thành phÁn chính là: (x, y, w, h, confidence) Trong đó (x, y) là các tọa đß đ¿i dián cho tâm cÿa bounding box, liên quan đÃn vå trí gird cell (w, h) lÁn l¤āt là các kích th¤ác chiÅu rßng và chiÅu cao cÿa box Chúng đ¤āc chuẩn hóa đÇ nằm trong khoÁng [0;1]

Hình 2.11 Minh họa cách xác định bounding Box trong YOLO

Sau khi thuÁt toán đ¤āc thực hián, mỗi bounding box sÁ đ¤āc gán nhăng confidence (đß tin cÁy), là chã số đ¿i dián cho viác boungding box có chāa mßt đối t¤āng nào bên trong hay không, đ¤āc tính vái xác su¿t că thÇ Confidence (đß tin cÁy) đ¤āc đånh nghĩa là Pr (Object) × IOU (pred, truth) Pr(Object) là xác su¿t có mßt đối t¤āng đ¤āc chāa bên trong bounding box đó IOU (pred, truth) (IOU - Intersection over union) là tã lá trùng kháp cÿa bounding box đ¤āc dự đoán vái groundtruth cÿa mßt đối t¤āng

Hình 2.12 Minh họa biểu diễn công thāc tính IoU

NÃu không có object nào tßn t¿i thì confidence bằng 0 Trong thực tÃ, ta không có đ¤āc groundtruth cÿa đối t¤āng cho nên trong quá trình kiÇm thā chã số confidence sÁ chã còn là xác su¿t Pr(Object) Ta th¿y mỗi bounding box dự đoán có 5 thành phÁn tham số, mỗi ô t¿o ra B box dự đoán, vì vÁy sÁ có táng số SxSxB*5 đÁu ra liên quan đÃn các box dự đoán ThuÁt toán YOLO chã dự đoán mßt tÁp xác su¿t cÿa class trên mỗi ô nên táng xác su¿t cÿa class là SxSxC (C là số l¤āng class cÿa bài toán) Táng kÃt l¿i chúng ta nhÁn đ¤āc mßt ma trÁn khối 3 chiÅu (tensor) có SxSx(B*5+C) giá trå làm đÁu ra (output)

Sau khi có đ¤āc output này, ta nhÁn đ¤āc r¿t nhiÅu bounding boxes đ¤āc dự đoán ra bởi mỗi ô, nh¤ng phÁn lán trong số chúng đÅu có chã số confidence th¿p hoặc bao phÿ cùng mßt đối t¤āng trong Ánh Vì vÁy chúng ta cÁn phÁi lo¿i bỏ hÃt nhăng bounding boxes <d¤ thÿa= đÇ xác đånh chính xác và chã còn l¿i 1 bounding box tốt nh¿t cho 1 đối t¤āng tìm đ¤āc YOLO sā dăng Non-Max Suppresstion (NMS) đÇ có thÇ lo¿i bỏ đ¤āc hÁu hÃt các bounding box bå trùng mßt đối t¤āng và nhăng box có confidence th¿p h¢n mßt ng¤ÿng nh¿t đånh, giă l¿i nhăng bounding box có chã số cao

• Non-max suppression: Do thuÁt toán YOLO dự báo ra r¿t nhiÅu

bounding box trên mßt bāc Ánh nên đối vái nhăng ô có vå trí gÁn nhau, khÁ năng các khung hình bå overlap là r¿t cao Trong tr¤ãng hāp đó YOLO sÁ cÁn đÃn non-max suppression - NMS đÇ giÁm bát số l¤āng các khung hình

đ¤āc sinh ra mßt cách đáng kÇ Các b¤ác cÿa NMS:

• B¤ác 1: ĐÁu tiên chúng ta sÁ tìm cách giÁm bát số l¤āng các bounding box bằng cách lọc bỏ toàn bß nhăng bounding box có xác su¿t chāa vÁt thÇ nhỏ h¢n mßt ng¤ÿng confidence nào đó, th¤ãng là 0.5

• B¤ác 2: Đối vái các bouding box giao nhau, non-max suppression sÁ lựa chọn ra mßt bounding box có xác xu¿t chāa vÁt thÇ là lán nh¿t Sau đó tính toán chã số giao thoa IoU vái các bounding box còn l¿i

Hình 2.13 Bounding box khi áp dụng NMS

Hàm m¿t mát trong YOLO đ¤āc tính toán dựa trên viác sai số dự đoán và gán nhãn mô hình đÇ tính, că thÇ h¢n nó là táng đß m¿t mát cÿa 3 thành phÁn con sau:

Classifycation loss: Đo l¤ãng sai số cÿa viác dự đoán lo¿i nhãn cÿa đối t¤āng

Localization loss: Đo l¤ãng sai số cÿa dự đoán tọa đß tâm, chiÅu dài, rßng cÿa boundary box (x, y ,w, h)

Confidence loss : Đo l¤ãng sai số cÿa viác dự đoán bounding box đó chāa đối t¤āng so vái nhãn thực tà t¿i ô vuông đó - Confidence loss

Classifycation loss

Hàm này chã tính trên nhăng ô vuông có xu¿t hián đối t¤āng, còn nhăng ô vuông khác ta không cÁn quan tâm Classifycation loss có công thāc tính là :