TRƯỜNG ĐẠI HỌC DUY TÂN KHOA SAU ĐẠI HỌC BÀI TẬP MÔN HỌC XỬ LÝ ẢNH ĐỀ TÀI : GIẢI PHÁP PHẦN CỨNG CHO BÀI TOÁN THỊ GIÁC TRÊN NỀN LINUX NHÚNG Giảng viên : TS Đỗ Năng Toàn Học viên : Dương Trương Quốc Khánh TP.HCM – 5/2005 MỤC LỤC TRƯỜNG ĐẠI HỌC DUY TÂN KHOA SAU ĐẠI HỌC BÀI TẬP MÔN HỌC .1 2.1 FPGA 2.2 DSP Processor 3.2.1.Nhận dạng đối tượng .11 3.2.2 Xây dựng lại khung cảnh 11 Tài liệu tham khảo 13 Giới thiệu thị giác máy – Computer Vision Thị giác máy lĩnh vực phát triển Khái niệm thị giác máy – Computer vision có liên quan tới nhiều ngành học hướng nghiên cứu khác Từ năm 1970 mà lực tính toán máy tính ngày trở nên mạnh mẽ hơn, máy tính lúc xử lý tập liệu lớn hình ảnh, đoạn phim khái niệm kỹ thuật thị giác máy ngày nhắc đến nghiên cứu nhiều ngày Hiện lĩnh vực chuyên gia đánh giá “non nớt” có nhiều thay đổi thời gian tới 1.1 Thế thị giác máy Thị giác máy bao gồm lý thuyết kỹ thuật liên quan nhằm mục đích tạo hệ thống nhân tạo tiếp nhận thông tin từ hình ảnh thu tập liệu đa chiều Đối với người chúng ta, trình nhận thức giới bên điều dễ dàng Quá trình nhận thức “học” thông qua trình sống người Tuy nhiên với vật vô tri vô giác như máy tính, robot v v điều thực bước tiến gian nan Các thiết bị ngày không nhận thông tin dạng tín hiệu đơn lẻ mà có “nhìn” thật với giới bên Cái “nhìn” qua trình phân tích, kết hợp với mô máy học, mạng nơron v v giúp cho thiết bị tiến dần tới hệ thống nhân tạo có khả định linh hoạt đắn nhiều Lĩnh vực nghiên cứu thị giác máy rộng, đặc điểm chung toán thị giác máy tính đề chung cách giải Mỗi giải pháp giải vấn kết định cho trường hợp cụ thể Ta thấy tương quan Computer vision với lĩnh vực khác sau: Ảnh Quan hệ thị giác máy tính với lĩnh vực liên quan 1.2 Ứng dụng Một vài lĩnh vực mà Computer Vision ứng dụng kể tới sau: • Điều khiển tiến trình (ví dụ: robot công nghiệp, hay thiết bị, xe tự hành) • Phát thay đổi (ví dụ: thiết bị giám sát) • Tổ chức thông tin (ví dụ: số kho liệu ảnh chuỗi ảnh liên tục) • Mô hình hoá đối tượng (ví dụ: trình kiểm tra môi trường công nghiệp, xử • lý ảnh y học) • Tương tác (đóng vai trò làm đầu vào cho thiết bị trình tương tác • người máy) Các giải pháp phần cứng khả dụng Để giải toán xử lý hình ảnh, ta có nhiều giái pháp khác Từ phần cứng module phần mềm Ta điểm qua vài phương pháp hay sử dụng có hiệu cao sau 2.1 FPGA Đây giải pháp phần cứng mà hay sử dụng Tận dụng đặc tính FPGA linh hoạt tốc độ xử lý nhanh (cứng hoá giải thuật) Ta kết nối FPGA với CCD sensor để điều khiển nhận frame hình thông qua bus liệu tốc độ cao Ví dụ ta tham khảo mô hình CCD Sensor MT9T001 Micron sau : Ảnh : CCD Sensor MT9T001 hãng Micron Ta thao tác trực tiếp vào ghi điều khiển MT9T001 thông qua bus TWI, lấy frame hình qua bus data 10bit FPGA có tốc độ nhanh làm nhiệm vụ điều khiển MT9T001 lấy liệu liên tục từ data bus sau đưa vào nhớ tạm để xử lý 2.2 DSP Processor DSP Processor giới thiệu vào năm 1978, 1979 Intel, Bell Labs Các xử lý DSP có đặc tính bật sau: • Thích hợp cho trình cần xử lý theo thời gian thực • Hiệu tối ưu với liệu dạng luồng • Chương trình liệu bố chí riêng biệt (kiến trúc Harvard) • Tích hợp thị lệnh đặc biệt SIMD (Single Instruction, Multiple Data) • Không hỗ trợ đa nhiệm • Tương tác trực tiếp với nhớ thiết bị • Tích hợp sẵn ADC DAC Ảnh Mô hình DSP Processor DSP Processor ngày tích hợp nhiều thành phần khác nhau, làm tăng khả linh hoạt tốc độ xử lý Đặc biệt DSP Processor thích hợp cho nhu cầu cần tính toán nhanh, xử lý số thực Đặc biệt số có sẵn thị lệnh giúp cho việc tính toán ma trận, tích chập hay chí phép biến đổi DCT tình nén ảnh Với ưu điểm DSP Processor dùng nhiều thiết bị xử lý ảnh chuyên nghiệp 2.3 Mainboard, laptop Đây phương pháp đơn giản Có thể tận dụng mainboard máy tính hay chí máy tính xách tay với chức đơn vị xử lý ảnh, đưa định Với việc kết nối camera hay webcam ta hoàn toàn chủ động trình nhận/xử lý ảnh Các giao tiếp ngoại vi phổ biến UART, Parallel, USB hay Keyboard Việc sử dụng mainboard, laptop có ưu/ nhược điểm sau: • Ưu điểm • Có tốc độ xử lý cao • Dễ dàng lập trình, kiểm lỗi • Hệ điều hành quen thuộc (windows/linux) • Các công cụ lập trình/biên dịch phổ biến (MSVC, gcc) • Nhược điểm • Kích thước, khối lượng lớn • Dễ hư hỏng va đập hay tác nhân khác • Giá thành đắt (>600$) • Có nhiều thành phần không sử dụng đến • Chỉ giao tiếp với ngoại vi thông qua chuẩn phổ biến UART, USB 2.4 Main công nghiệp, PC 104 Ảnh Mainboard pc-104, kích thước 90.17mm × 95.89mm Ta sử dụng mainboard PC104 với chức máy tính thông thường Việc sử dụng PC104 có ưu/ nhược điểm sau: • Ưu điểm • Có tốc độ xử lý cao • Dễ dàng lập trình, kiểm lỗi • Hệ điều hành quen thuộc (windows/linux) • Các công cụ lập trình/biên dịch phổ biến (MSVC, gcc) • Nhược điểm • Kích thước lớn • Có nhiều thành phần không sử dụng đến • Giá thành đắt (>300$) • Chỉ giao tiếp với ngoại vi thông qua chuẩn phổ biến UART, USB 2.5 Single Board Computer(SBC) sử dụng Single on Chip (SoC) Ảnh SBC uDimm, Kích thước 43.18x68.58 mm SBC (Single board computer) có sử dụng SoC buớc tiến lớn việc xây dựng thiết bị với khả tính toán xử lý máy tính thông thường.Với nhiều ưu điểm hẳn so với thiết bị khác : • Kích cỡ • Giá thành • Sử dụng SoC làm xử lý trung tâm có khả chuyên biệt xử lý hình • ảnh hay xử lý môi trường mạng hữu hiệu • Do tuỳ toán đặt mà ta chọn SBC cho SoC phù hợp với • yêu cầu cụ thể Hiện có nhiều SoC có khả tích hợp DSP Processor vao nhân nhằm tăng khả xử lý (sign processing) Việc sử dụng mạch SBC có ưu/ nhược điểm sau: • Ưu điểm • Kích thước nhỏ • Giá thành rẻ (~[...]... từ camera Áp dụng cho các camera theo dõi tự động • Tracking: Theo dõi chuyển động của một đối tượng nào đó, ví dụ như người hay xe cộ 3.2.2 Xây dựng lại khung cảnh Chức năng này dùng để tính toán khung cảnh 3D từ một vài bức ảnh, đoạn video Khôi phục ảnh Mục đích của chức năng này là loại bỏ nhiễu có trong ảnh 4 Ứng dụng cho bài toán robot di chuyển Việc áp dụng thị giác máy vào bài toán robo di chuyển... kinh điển trong lĩnh vực thị giác máy và xử lý ảnh Mục đích của nhận dạng ảnh tức là xác định xem liệu một bức ảnh có tồn tại những đối tượng, đặc điểm đặc biệt hay không Chức năng này có thể thực hiện tự động, không cần sự tác động của con người; tuy nhiên nó không đảm bảo trong các trường hợp chung, với những đối tượng tuỳ ý và trong tình huống tuỳ ý Các phương pháp hiện nay để giải quyết vấn đề này... tạp Tuy nhiên cũng có nhiều thuận lợi như chúng ta đã biết trước được mô hình sân đấu, phần lớn đối tượng có thể có trên sân Tuy nhiên chúng ta cũng sẽ gặp nhiều khó khăn như không biết trước được điều kiện chiếu sáng của sân và robot của đối thủ Sau đây tôi sẽ đưa ra từng bước các chức năng có thể ứng dụng vào bài toán này: 4.1 Thu thập ảnh: Chụp ảnh từ webcam Chất lượng của ảnh thu được từ bước này... ảnh từ webcam Chất lượng của ảnh thu được từ bước này phụ thuộc nhiều vào chất lượng webcam, tốc độ di chuyển khi chụp, góc nhìn và độ sáng 4.2 Các bước tiền xử lý: Trước khi áp dụng các chức năng của thị giác ảnh, chúng ta cần xử lý ảnh để đảm bảo rằng ảnh sẽ thoả mãn một vài giả thiết nào đó Ví dụ như sau • Lấy mẫu lại để đảm bảo hệ thống toạ độ là đúng Nếu 2 ảnh lấy liên tiếp nhau có sự sai khác quá... Chọn ra một tập các điểm ảnh có màu gần với màu của “ụ” trong sân đấu • Phân ra làm một hay nhiều vùng ảnh có khả năng chứa đối tượng “ụ” 4.6 Xử lý cấp cao Đến bước này thì dữ liệu đầu vào chỉ là một phần của dữ liệu ban đầu, đó có thể là tập các điểm ảnh hoặc một vùng ảnh có khả năng chứa một đối tượng đặc biệt nào đó Quá trình xử lý sẽ qua các bước sau: • Thẩm định lại dữ liệu có phù hợp với các ... điểm qua vài phương pháp hay sử dụng có hiệu cao sau 2.1 FPGA Đây giải pháp phần cứng mà hay sử dụng Tận dụng đặc tính FPGA linh hoạt tốc độ xử lý nhanh (cứng hoá giải thuật) Ta kết nối FPGA với... kiến thức giao tiếp ngoại vi, kiến trúc SBC Đâu cách tiếp cận dễ dàng nhanh chóng ? Theo quan điểm chúng tôi, cách tiếp cận nhanh chóng với bạn sinh viên tận dụng môi trường mã nguồn mở Với mã nguồn... dàng nhanh chóng Chúng ta sử dụng HĐH Linux làm môi trường cho thiết bị, với mã nguồn mở ta chủ động đuợc cấu hình hệ thống, tăng hiệu hay xử lý thô với giao tiếp ngoại vi bên cách nhanh chóng