-* -ELECTRIC POWER UNIVERSITY -* - MULTIMEDIA COMPUTER VISION Giới thiệu Computer Vision (CV) ∗ ∗ 1.1 Khái niệm Thị giác máy bao gồm lý thuyết kỹ thuật liên quan nhằm mục đích tạo hệ thống nhân tạo tiếp nhận thơng tin từ hình ảnh thu tập liệu đa chiều Đối với người chúng ta, q trình nhận thức giới bên ngồi điều dễ dàng Q trình nhận thức “học” thơng qua q trình sống người Tuy nhiên với vật vô tri vô giác như máy tính, robot v v điều thực bước tiến gian nan Các thiết bị ngày không nhận thông tin dạng tín hiệu đơn lẻ mà cịn có “nhìn” thật với giới bên ngồi Cái “nhìn” qua q trình phân tích, kết hợp với mơ máy học, mạng nơron v v giúp cho thiết bị tiến dần tới hệ thống nhân tạo có khả định linh hoạt đắn nhiều 1.2 Ứng dụng Lĩnh vực nghiên cứu thị giác máy rộng, đặc điểm chung toán thị giác máy tính khơng có đề chung cách giải Mỗi giải pháp giải vấn kết định cho trường hợp cụ thể Một vài lĩnh vực mà Computer Vision ứng dụng kể tới sau: - Điều khiển tiến trình (ví dụ: robot công nghiệp, hay thiết bị, xe tự hành) - Phát thay đổi (ví dụ: thiết bị giám sát) - Tổ chức thơng tin (ví dụ: số kho liệu ảnh chuỗi ảnh liên tục) - Mơ hình hố đối tượng (ví dụ: q trình kiểm tra mơi trường cơng nghiệp, xử lý ảnh y học) - Tương tác (đóng vai trị làm đầu vào cho thiết bị trình tương tác người máy) 1.3 Các thao tác CV 1.3.1 Nhận dạng (recognition): Nhận dạng ảnh vấn đề kinh điển lĩnh vực thị giác máy xử lý ảnh Mục đích nhận dạng ảnh tức xác định xem liệu ảnh có tồn đối tượng, đặc điểm đặc biệt hay khơng Chức thực tự động, không cần tác động người; nhiên khơng đảm bảo trường hợp chung, với đối tượng tuỳ ý tình tuỳ ý Các phương pháp để giải vấn đề ứng dụng với đối tượng đặc biệt( đối tượng hình học bản, nhận dạng mặt người, nhận dạng chữ in chữ viết tay, ) tình đặc biệt (trong điều kiện chiếu sáng xác định trước, ) 1.3.2 Phân tích chuyển động Nhận dạng chuyển động áp dụng để xử lý chuỗi ảnh liên tiếp để ước lượng tốc độ chuyển động điểm ảnh - Egomotion: Xác định chuyển động khung cảnh 3D từ camera Áp dụng cho camera theo dõi tự động - Tracking: Theo dõi chuyển động đối tượng đó, ví dụ người hay xe cộ 1.3.3 Xây dựng cảnh Đây chức cho phép xây dựng mô lại khung cảnh 3D từ ảnh đọan phim cho trước 1.3.4 Khơi phục hình ảnh (image restoration) Loại bỏ tác động nhiễu ảnh, khơi phục lại hình ảnh ban đầu 1.4 Một ví dụ liên quan đến CV Hệ thống CV cho toán robot di chuyển: Việc áp dụng thị giác máy vào toán robot di chuyển việc phức tạp Tuy nhiên, giới hạn đề tài, giả định ta biết trước điều kiện môi trường robot chuyển động (màu sàn, vật cản cố định) hình dạng màu mục tiêu biệt lập với mơi trường Sau xin trình bày bước chức ứng dụng vào tốn này: Các chức hầu hết hệ thống CV: a Lấy hình ảnh Chụp ảnh từ webcam Chất lượng ảnh thu từ bước phụ thuộc nhiều vào chất lượng webcam, tốc độ di chuyển chụp, góc nhìn độ sáng b Tiền xử lý (lọc mẫu, lọc nhiễu, tương phản…) Trước áp dụng chức thị giác ảnh, cần xử lý ảnh để đảm bảo ảnh thoả mãn vài giả thiết Ví dụ sau: - Lấy mẫu lại để đảm bảo hệ thống toạ độ Nếu ảnh lấy liên tiếp có sai khác q nhiều loại bỏ ảnh tư robot lúc chụp khơng ổn định. - Loại bỏ nhiễu để giảm thiểu khả xuất thông tin sai - Tăng độ tương phản để đảm bảo xác định thơng tin cần thiết c Phân tích hình ảnh (xác định đường, góc, cạnh, khối…) Đặc trưng ảnh mức phức tạp khác trích rút từ ảnh, đường, cạnh, góc d Nhận dạng, phân mảnh Tại vài điểm ảnh chọn tập điểm ảnh vùng ảnh phù hợp với thao tác xứ lý Ví dụ: - Chọn điểm ảnh có màu trùng với màu mục tiêu - Phân vùng ảnh có khả chứa mục tiêu - Phân ngưỡng định vị vật cản có e Xử lý mức cao Đến bước liệu đầu vào phần liệu ban đầu, tập điểm ảnh vùng ảnh có khả chứa đối tượng đặc biệt Q trình xử lý qua bước sau: - Thẩm định lại liệu có phù hợp với yêu cầu đặc biệt - Ước lượng tham số đặc biệt - Phân lớp đối tượng xác định Computer Vision y tế ∗ Một lĩnh vực ứng dụng bật tầm nhìn máy tính y tế xử lý hình ảnh y tế Khu vực đặc trưng việc khai thác thơng tin từ liệu hình ảnh cho mục đích thực chẩn đốn y tế bệnh nhân Ví dụ liệu hình ảnh hình ảnh kính hiển vi , hình ảnh X-quang , hình ảnh siêu âm , hình ảnh chụp cắt lớp 2.1 Siêu âm - Siêu âm phương pháp khảo sát hình ảnh học cách cho phần thể tiếp xúc với sóng âm có tần số cao để tạo hình ảnh bên thể Siêu âm khơng sử dụng phóng xạ ion hóa (như X quang) Do hình ảnh siêu âm ghi nhận theo thời gian thực nên cho thấy hình ảnh cấu trúc chuyển động phận bên thể kể hình ảnh dịng máu chảy mạch máu - Siêu âm khảo sát y học không xâm lấn (không gây chảy máu) giúp cho bác sĩ chẩn đốn điều trị bệnh * Siêu âm quy ước tạo hình ảnh lát cắt mỏng phẳng thể Những tiến kỹ thuật siêu âm bao gồm siêu âm chiều (siêu âm 3D) có khả tái tạo lại liệu thu nhận từ sóng âm thành hình ảnh chiều Siêu âm chiều (siêu âm 4D) siêu âm chiều có ghi nhận chuyển động Siêu âm giúp chẩn đoán nhiều loại bệnh khác tiếp cận tổn thương quan bị bệnh * Siêu âm giúp bác sĩ đánh giá triệu chứng: - Đau - Sưng, phù nề - Nhiễm trùng * Siêu âm cách hữu ích để kiểm tra nhiều quan bên thể, bao gồm (nhưng không giới hạn trong) quan sau: Tim mạch máu, bao gồm động mạch chủ bụng nhánh - Gan - Túi mật - Lách - Tụy - Thận - Bàng quang Các tay máy có đặc điểm chung kết cấu gồm có khâu, đựơc nối với khớp để hình thành chuỗi động học hở tính từ thân đến phần công tác Các khớp dùng phổ biến khớp trượt khớp quay tuỳ theo số lượng cách bố trí khớp mà tạo tay máy kiểu toạ độ Decac (Cartesian), toạ độ trụ (Cylindrical), toạ độ cầu (Revolute), SCARA, POLAR, kiểu tay người (Anthropomorphic)  Tay máy kiểu tọa độ đề các, gọi kiểu chữ nhật, dùng ba khớp trượt, cho phép phần công tác thực cách độc lập chuyển động thẳng, song với ba trục tọa độ Vùng làm việc tay máy có dạng hình hộp chữ nhật Do đơn giản kết cấu tay máy kiểu có độ cứng vững cao, độ xác đảm bảo đồng toàn vùng làm việc, khéo léo Vì vậy, tay máy kiểu đề dùng để vận chuyển lắp ráp  Tay máy kiểu tọa độ trụ khác với tay máy kiểu đề khớp đầu tiên: Dùng khớp quay thay cho khớp trượt Vùng làm việc có dạng hình trụ rỗng Khớp trượt nằm ngang cho phép tay máy “thò” vào khoang rỗng nằm ngang Độ cứng vững học tay máy trụ tốt, thích hợp với tải nặng độ xác định vị góc mặt phẳng nằm ngang giảm tầm với tăng  Tay máy kiểu tọa độ cầu khác kiểu trụ khớp thứ hai (khớp trượt) thay khớp quay Nếu quỹ đạo chuyển động phần công tác mô tả tọa độ cầu bậc tự tương ứng với khả chuyển động vùng làm việc khối cầu rỗng Độ cứng vững loại tay máy thấp hai loại độ xác định vị phụ thuộc vào tầm với  Tay máy Scara đề xuất dùng cho công việc lắp ráp Đó kiểu tay máy có cấu tạo đặc biệt, gồm hai khớp quay khớp trượt, ba khớp có trục song song với Kết cấu làm tay máy cứng vững theo phương thẳng đứng cứng vững theo phương chọn phương ngang Loại chuyên dùng cho công việc lắp ráp với tải trọng nhỏ theo phương đứng Từ Scara viết tắt “selective compliance assembly robot arm” để mô tả đặc điểm Vùng làm việc Scara phần hình trụ rỗng  Tay máy kiểu sinh, có ba khớp khớp quay, trục thứ vng góc với hai trục Do tương tự với tay người, khớp thứ hai gọi khớp vai, khớp thứ ba gọi khớp khuỷu nối cẳng tay với khuỷu tay Với kết cấu tương ứng khả chuyển động khâu số bậc tự Tay máy làmviệc khéo léo, độ xác định vị phụ thuộc vị trí phần cơng tác vùng làm việc Vùng làm việc tay máy kiểu gần giống phần khối cầu 3.2 Phân loại robot 3.2.1 Phân loại theo thiết kế  Lấy hai hình thức chuyển động nguyên thủy làm chuẩn: • Chuyển động thẳng theo hướng X, Y, Z không gian ba chiều thơng thường tạo nên khối hình có góc cạnh, gọi Prismatic (P) •  • • • • Chuyển động quay quanh trục X, Y, Z kí hiệu (R) Với ba bậc tự do, robot hoạt động trường công tác tùy thuộc tổ hợp P R ví dụ: PPP trường cơng tác hộp chữ nhật lập phương RPP trường công tác khối trụ RRP trường công tác khối cầu RRR trường công tác khối cầu 3.2.2 Phân loại theo điều khiển Có kiểu điều khiển robot: điều khiển hở điều khiển kín • Điều khiển hở, dùng truyền động bước ( động điện động thủy lực, khí nén, ) mà quãng đường góc dịch chuyển tỷ lệ với số xung điều khiển Kiểu đơn giản, đạt độ xác thấp • Điều khiển kín ( điều khiển kiểu servo ), sử dụng tín hiệu phản hồi vị trí để tăng độ xác điều khiển Có kiểu điều khiển servo: điều khiển điểm - điểm điều khiển theo đường ( contour) • Với kiểu điều khiển điểm - điểm, phần công tác dịch chuyển từ điểm đến điểm theo đường thẳng với tốc độ khơng cao ( khơng làm việc ) Nó làm việc điểm dừng Kiểu điều khiển dùng robot hàn điểm, vận chuyển, tán đinh, bắn đinh,… • Điều khiển contour đảm bảo cho phần công tác dịch chuyển theo quỹ đạo bất kỳ, với tốc độ điều khiển Có thể gặp kiểu điều khiển robot hàn hồ quang, phun sơn 3.2.3 Phân loại theo ứng dụng • Cách phân loại dựa vào ứng dụng robot Ví dụ, có robot cơng nghiệp, robot dùng nghiên cứu khoa học, robot dùng kỹ thuật vũ trụ, robot dùng qn sự… • Ngồi kiểu phân loại cịn có : Phân loại theo hệ thống lượng, phân loại theo hệ thống truyền động, phân loại theo độ xác… 4.HỆ THỐNG XỬ LÝ ẢNH SỐ 4.1 Khái quát qua hệ thống thị giác Hệ thống thị giác - bao gồm thị giác máy (machine vision) thị giác máy tính (computer vision)- hệ thống tiếp nhận thông tin từ cảm biến thị giác (vision sensor) với mục đích cho phép máy móc đưa định thơng minh 4.2 Khái qt q trình xử lí ảnh Hệ thống thị giác máy tính bao gồm nhiều lĩnh vực, xử lý ảnh số đóng vai trị định Hệ thống xử lý ảnh số bao gồm phạm vi rộng kiến thức phần cứng, phần mềm sở lý thuyết Các bước xử lý ảnh số mô tả sơ đồ đây: Thu thập ảnh(image acquision) : Ảnh số thu thập cảm biến ảnh có khả biến thông tin cường độ sáng mức xám ảnh thực thành tín hiệu điện áp dạng analog Tín hiệu sau số hóa để trở thành tín hiệu số Hiện có số cảm biến ảnh thực việc thu nhận tín hiệu cường độ sáng ảnh số hóa tín hiệu Trong trường hợp cảm biến khơng có chức số hóa cần phải có biến đổi ảnh tương tự thành ảnh số (video decoder) Tín hiệu ảnh sau số hóa cịn mã hóa theo chuẩn video (video format) định trước đưa vào trình lưu trữ xử lý Các chuẩn video thường gặp IUT-R-BT 656, 601 Tiền xử lý ảnh : Sau ảnh số thu thập dạng tín hiệu số, cần phải trải qua giai đoạn tiền xử lý Chức chủ yếu tiền xử lý cải thiện ảnh, nâng cao tính chất ảnh giúp cho trình xử lý sau thuận tiện Các công đoạn tiền xử lý : nâng cao độ tương phản, lọc nhiễu Phân vùng ảnh: Bước trình xử lý phân vùng ảnh Ảnh sau cải thiện, trở nên thuận tiện cho việc phân ngưỡng phân vùng Nhiệm vụ phân ngưỡng phân vùng ảnh tách ảnh đầu vào thành đối tượng, vật thể riêng biệt Kết trình phân vùng ảnh, ta tập hợp điểm ảnh có liên kết với thành đối tượng, đánh số phân biệt, thuận tiện cho trình xử lý cao Đầu trình phân vùng ảnh pixel chưa lọc, bao gồm liên kết vùng tất điểm ảnh vùng Số liệu cần biến đổi thành dạng thích hợp cho máy tính xử lý Phân tích ảnh: giai đoạn xử lý bậc cao hệ thống xử lý ảnh số Ảnh sau phân vùng thành đối tượng riêng biệt, đánh số phân biệt, phân tích để phục vụ mục đích khác như: Xác định đặc trưng hình học đối tượng: dựa sở đối tượng xác định phân biệt, ta thực xác định đặc trưng hình học đối tượng đấy, : vị trí, kích thước, hướng, số đối tượng hay mật độ đối tượng ảnh Đây đặc trưng dùng nhiều hệ thống thị giác máy (machine vision) Nhận dạng : đối tượng vật thể có hình dạng định, kí tự số, chữ cái, dấu vân tay Ảnh sau phân vùng nhận dạng theo phương pháp định phương pháp neural, để tìm mẫu hình dạng mà đối tượng thuộc Để hướng dẫn hoạt động module xử lý, cần có hệ sở kiến thức để kiểm tra hoạt động tương tác module Hệ có nhiệm vụ kiểm sốt hoạt động module xếp trình tự hoạt động chúng thời điểm, giải toán xung đột 4.3 Các thành phần hệ thống xử lý ảnh 4.3.1 Thành phần thu thập ảnh, Camera vấn đề định dạng ảnh: ∗ Giới thiệu chung camera : Trong hệ thống xử lý ảnh số, camera thiết bị quan trọng có chức quan sát thu nhận ảnh đầu vào hệ thống Nó thường coi hộp đen có trình biến đổi để chuyển ảnh thành dạng lưu trữ máy tính Các bước xử lý bao gồm phát sáng, thấu kính, sensor, phần tử quang điện số hoá, thành phần phối hợp nhằm đưa ảnh số cuối Điểm đặc biệt quan trọng nhận dạng ảnh đặc tính thời gian camera, q trình xử lí ảnh có vai trị lấy mẫu hệ thống nhận dạng ảnh ∗ Cảm biến nhìn chung gồm thành phần Thành phần thứ tạo tín hiệu điện đầu tỉ lệ với mức lượng mà nhận Thành phần thứ số hóa(digitalize) , phần tử biến đổi tín hiệu tương tự thành tín hiệu số Tùy thuộc vào thành phần số hóa thực chất chuyển đổi ADC, có tín hiệu với số bit khác nhau: bit, 8bit, 10 bit, 12 bit , tương ứng ta ảnh có 16, 256 mức xám khác 4.3.2 Thành phần xử lý ảnh ∗ ∗ ∗ ∗ ∗ ∗ Pixel lân cận Đường liên kết Đối tượng Biên Miền ảnh Các thuật toán xử lý ảnh số:  Toán tử cửa sổ (windowing operator)  Tăng độ tương phản  Các thuật toán nhân chập  Lọc tuyến tính, dị biên Ví dụ ứng dụng CV ∗ ∗ Tự động nhận dạng biển số xe Việc nhận dạng biển số xe có nhiều ứng dụng thực tế: Thu phí bãi đỗ xe tự động, quản lý giao thông đường cao tốc , có nhiều phần mềm thương mại trọn gói cho vấn đề Ở Việt Nam, có số bãi đỗ xe áp dụng phương pháp quản lý thơng minh tịa nhà chung cư cao tầng, BigC , nhiên hệ thống tự động mà có giám sát nhân viên trơng giữ xe, nguyên tắc hoạt động chúng đơn giản sau: camera ghi hình biển số xe lưu vào sở liệu, tiếp thẻ từ quẹt qua đầu đọc chứa thông tin hình ảnh biển số xe vừa chụp Thẻ từ giao cho người gửi xe Khi lấy xe ra, người gửi xe quẹt thẻ qua đầu đọc, mã số thẻ so sánh hình ảnh chụp biển số xe trước đó, nhân viên quan chăm quan sát xem biển số xe lấy biển số xe lúc gửi sở liệu có trùng khơng, trùng cho qua, khơng trùng u cầu dừng lại Việc giảm bớt nhiều công sức việc quản lý xe ghi vé, xé vé thực chất mặt kĩ thuật đơn giản, ta cần camera, máy tính đâu đọc thẻ làm Nó khơng phải hệ thống nhận dạng biển số xe tự động Có nhiều cách để tiếp cận vấn đề này, nhiên cách mà người ta hay làm chia toán thành toán nhỏ: Phát vùng chứa biển số xe, cách ly kí tự nhận dạng kí tự Phát vùng chứa biển số xe: bước khó khăn định tới tồn kết phía sau Để phát biển số xe có nhiều cách tiếp cận khác nhau, dùng phương pháp khớp mẫu, mạng neuron cách đơn giản dùng phương pháp hình học, có nghĩa dựa tỉ lệ kích thước chiều dài rộng, tỉ lệ pixel đen trắng Theo kết thử nghiệm với tập mẫu ảnh chụp ngẫu nhiên phép tối ưu hóa, phương pháp cho tỉ lệ phát vùng chứa biển số xe đạt độ xác khoảng 87% (trên 200 ảnh chụp ngẫu nhiên) Cách ly kí tự: sau phát biển số xe, việc cách ly kí tự trở nên đơn giản hơn, số phép biến đổi nâng cao chất lượng ảnh phép chiếu histogram theo phương ngang, dọc ta có kí tự rời rạc Nhận dạng kí tự: nhận dạng kí tự phương pháp khớp mẫu đơn giản, so sánh độ tương quan chéo phương pháp học: Knearest neighbour, SVM Kết nhận dạng tự động biển số xe Mục lục Giới thiệu computer vision Computer Vision y tế Computer Vision robot cơng nghiệp Computer V ision xử lý ảnh Ví dụ Computer Vison ... dạng tự động biển số xe Mục lục Giới thiệu computer vision Computer Vision y tế Computer Vision robot công nghiệp Computer V ision xử lý ảnh Ví dụ Computer Vison ... thống thị giác - bao gồm thị giác máy (machine vision) thị giác máy tính (computer vision) - hệ thống tiếp nhận thông tin từ cảm biến thị giác (vision sensor) với mục đích cho phép máy móc đưa... phù hợp với yêu cầu đặc biệt - Ước lượng tham số đặc biệt - Phân lớp đối tượng xác định 2 Computer Vision y tế ∗ Một lĩnh vực ứng dụng bật tầm nhìn máy tính y tế xử lý hình ảnh y tế Khu vực