Mục Lục I. Tổng quan và lý do chọn đề tài. 1. Tổng quan. - Máy học là một nhóm công cụ không thể thiếu trong quá trình khám phá tri thức, đặc biệt là trong trường hợp dữ liệu cần khám phá rất lớn và mỗi mẫu dữ liệu mang rất nhiều thông tin và các thông tin này lại nằm trên một miền liên tục, khi đó việc sử dụng cây định dạnh hoặc rút trích luật là vô cùng khó khăn. - Các hệ thống máy học thường được dùng để tích lũy các dạng tri thức không tường minh trên một lượng dữ liệu lớn và đã được áp dụng rất thành công cho nhiều bài toán khác nhau như: phân lớp dữ liệu, detect đối tượng chuyển động trên ảnh hoặc video động, nhận dạng mặt người hoặc các đối tượng như biển số xe, chướng ngại vật, - Các hệ thống máy học ra đời dựa trên nhiều tư tưởng tiếp cận khác nhau như: o Mô phỏng theo một phần cấu trúc của não người: Mạng neural nhân tạo. o Dựa trên việc tổng hợp các thông tin/tri thức ít quan trọng theo một cách hợp lý để tạo ra tri thức quan trọng hơn: Phương pháp boosting. o Dựa trên các nền tảng hình học và lý thuyết tối ưu: Các hệ thống máy học dùng vector hỗ trợ. o Dựa trên nền tảng toán học xác suất: Các hệ thống dựa trên mô hình Markov như xích Markov và trường ngẫu nhiên Markov. o Ngoài ra còn rất nhiều mô hình khác nhau được đưa ra nhằm mục tiêu chính là trích xuất các tri thức dưới dạng ánh xạ từ dữ liệu đầu vào ra thành các quyết định, các lớp, hay cường độ của thuộc tính ngữ nghĩa nào đó. 1 - Dựa trên vai trò của hệ thống máy học trong các phương pháp rút trích tri thức, tác giả chọn đề tài áp dụng máy học SVM cho bài toán phân lớp các loại hoa, đề tài này có thể áp dụng cho các vấn đề khác trong thực tế như phân lớp các loại trái cây hay côn trùng gây hại, Do đặc trưng của bài toán này đó là đầu vào là ảnh của các loại hoa, ảnh được biểu diễn theo dạng ma trận rời rạc với các pixel là các giá trị màu trong đoạn nguyên [0:255], do đó việc áp dụng các phương pháp khác để phân lớp loại hoa là khá khó khăn, hệ thống máy học sẽ tìm ra ánh xạ giữa không gian đặc trưng là hình ảnh của các loại hoa với không gian các giá trị của kết quả phân lớp. - Do SVM là một hệ thống máy học mạnh, đã thể hiện được hiệu quả trong rất nhiều bài toán thực tế, dựa trên một nền tảng lý thuyết tốt và có thể tùy biến được nhiều dựa trên các giả thiết về phân bố dữ liệu trong tập học nên đề tài chọn hệ thống máy học này cho bài toán phân lớp của mình. 2. Lý do chọn đề tài và mục tiêu của đề tài. - Trong khuôn khổ của môn học, đề tài mong muốn tìm hiểu chi tiết và minh họa về một hệ thống máy học cụ thể là SVM nhằm hiểu rõ hơn về cơ chế vận hành, các kiến thức nền tảng được áp dụng và miền ứng dụng của hệ thống máy học này. - Vì thời gian có hạn nên đề tài không tránh khỏi có một số thiếu sót nhất định, tuy nhiên hy vọng sau khi tìm hiểu và xây dựng ứng dụng minh họa, tác giả đề tài có thể hiểu sâu hơn về lý thuyết và có thêm kỹ năng áp dụng hệ thống này vào một vấn đề cụ thể. 2 II. Các hệ thống dùng cho phân lớp, máy học SVM và thiết kế của hệ thống. 1 Tổng quan các hệ thống máy học. a Phương pháp K-Nearest-Neighbor (KNN) - K-NN là một phương pháp để phân loại các đối tượng dựa trên tập huấn luyện trong không gian đặc trưng. K-NN là một loại instance-based learning, hay lazy learning. Một đối tượng được phân lớp dựa vào K láng giềng của nó, K là số nguyên dương được xác định trước khi thực hiện thuật toán. Người ta thường dùng khoảng cách Euclidean để tính khoảng cách giữa các đối tượng. - Thuật toán K-NN được mô tả như sau: o B1: Xác định giá trị tham số K (số láng giềng gần nhất). o B2: Tính khoảng cách giữa đối tượng cần phân lớp với tất cả các đối tượng trong dữ liệu huấn luyện (thường sử dụng khoảng cách Euclidean). Sắp xếp khoảng cách theo thứ tự tăng dần và xác định K láng giềng gần nhất với đối tượng cần phân lớp. o B3: Lấy tất cả các lớp của K láng giềng gần nhất đã xác định. o B4: Dựa vào phần lớn lớp của láng giềng gần nhất để xác định lớp cho các đối tượng cần phân lớp. a) Phương pháp K-Means - K-Means là thuật toán rất quan trọng và được sử dụng phổ biến trong việc giải quyết các bài toán phân lớp. Tư tưởng chính của thuật toán K-Means là tìm cách phân nhóm các đối tượng đã cho vào K cụm (K là số các cụm được xác định trước, K nguyên dương) sao cho tổng bình phương khoảng cách giữa các đối tượng đến tâm của nhóm là nhỏ nhất. - Thuật toán K-Means thực hiện qua các bước chính sau: o B1: Chọn ngẫu nhiên K tâm cho K cụm. Mỗi cụm được đại diện bằng các tâm của cụm. o B2: Tính khoảng cách giữa các đối tượng đến K tâm (thường dùng khoảng cách Euclidean) o B3: Nhóm các đối tượng vào nhóm gần nhất. 3 o B4: Xác định lại tâm mới cho các nhóm. b) Phương pháp mạng neural nhân tạo (ANN) - Một cách tiếp cận khá phổ biến hiện nay dùng phương pháp mạng Neural nhân tạo cho bài toán phân lớp mẫu. Với cách tiếp cận này một mạng Neural nhân tạo sẽ được huấn luyện với tập mẫu để tìm ra bộ trọng số phục vụ cho quá trình phân lớp. Với bài toán phân lớp ảnh kích thước ảnh lớn (không gian biểu diễn mẫu có nhiều chiều) các phương pháp truyền thống K-NN và K-Means sẽ không thích hợp. Quá trình phân lớp ảnh sẽ được chia ra làm 2 giai đoạn: (1) xây dựng không gian biểu diễn ảnh; (2) áp dụng mạng Neural nhân tạo phân lớp ảnh. o Giai đoạn (1): Xây dựng không gian biểu diễn ảnh. Một ảnh ban đầu sẽ được tách thành m ảnh con. Mỗi ảnh con sẽ trích chọn ra một vector đặc trưng tương ứng. Các vector này đại diện cho ảnh ban đầu. Như vậy, ảnh ban đầu sẽ được biểu diễn bởi m không gian con tương ứng với m vector đặc trưng. o Giai đoạn (2): Áp dụng mạng neural nhân tạo vào phân lớp ảnh. Trên từng không gian con áp dụng một mạng neural nhân tạo phân loại ảnh về một lớp tương ứng, sau đó hợp nhất các kết quả phân lớp của từng mạng Neural riêng lẻ để đưa ra kết luận. c) Máy học sử dụng vector hỗ trợ (SVM) - Phương pháp Support Vector Machines là phương pháp phân lớp dựa trên lý thuyết học thống kê ngày càng được sử dụng phổ biến trong nhiều lĩnh vực đặc biệt là lĩnh vực phân lớp dữ liệu và nhận dạng. - Phương thức cơ bản của SVM là nghiên cứu hàm tuyến tính. Tăng cường khả năng SVM bằng cách chọn một hàm thích hợp là những hàm có khả năng học dữ liệu phức tạp và phân chia phi tuyến (ví dụ: hàm đa thức (Polynomial), hàm cơ sở bán kính (RBF), để phát triển thành công cụ phân lớp. - SVM có nhiều đặc tính trong cả lý thuyết và thực thi so với các phương pháp khác trong lĩnh vực phân lớp hình ảnh. Một trong những tính năng trong thực hành là dễ thực hiện, dễ hiểu và thực thi ổn định. Điều này rất quan trọng khi giải 4 quyết các tập dữ liệu rất lớn. Ưu điểm chính của SVM so với các phương pháp khác là cách giải quyết vấn đề mang tính tổng quát trong khi các phương pháp khác có thể mang tính cục bộ. Việc mở rộng nghiên cứu SVM trên các ứng dụng khác nhau cho thấy tính nhất quán giữa lý thuyết và thực hành tạo nên sức thuyết phục cho phương pháp SVM. - Ý tưởng của phương pháp này là cho trước một tập huấn luyện được biểu diễn trong không gian vector, trong đó mỗi một hình ảnh được xem như một điểm trong không gian này. Hình ảnh được biểu diễn trong không gian vector. - Phương pháp này xây dựng một siêu mặt phẳng H quyết định tốt nhất có thể phân chia các điểm trên không gian này thành hai lớp riêng biệt tương ứng. Chất lượng của siêu mặt phẳng này được quyết định bởi một khoảng cách (được gọi là biên) từ điểm dữ liệu gần nhất của mỗi lớp đến mặt phẳng này. Khoảng cách biên càng lớn thì càng có sự phân chia tốt các điểm ra thành hai lớp, nghĩa là sẽ đạt được kết quả phân lớp tốt. Mục tiêu của phương pháp SVM là tìm được khoảng cách biên lớn nhất để tạo kết quả phân lớp tốt nhất. 5 Một ví dụ về biên tối ưu. - Với những yêu cầu như trên bài toán đặt ra tìm siêu phẳng tách: h(x) = w T x + b với: trong đó: Trong đó: w: vector trọng số (weight vector). b: trọng số ngưỡng (threshold weight). - SVM là một phương pháp phân lớp phổ biến hiện nay, với khả năng vượt trội của SVM về tính hiệu quả, độ chính xác và khả năng xử lý các bộ dữ liệu một cách linh hoạt. Việc sử dụng SVM đã và đang là sự lựa chọn tối ưu nhất trong việc giải quyết các bài toán phân loại, dự báo trong một số các ngành khoa học. Trong phạm vi đề tài này sẽ tìm hiểu và phát triển phương pháp phân lớp ảnh sử dụng SVM. 3. Máy học sử dụng vector hỗ trợ (SVM). - Trong phần này đề tài sẽ trình bày một cách chi tiết hơn về phương pháp SVM phục vụ cho việc phân lớp. - SVM là phương pháp học có giám sát được sử dụng rộng rãi trong lĩnh vực phân lớp mẫu và nhận dạng mẫu. SVM là một họ các phương pháp dựa trên cơ sở các hàm nhân (kernel methods) để tối thiểu hoá rủi ro ước lượng. Phương pháp này được Boser, Guyon, và Vapnik giới thiệu lần đầu tiên vào năm 1995 để giải quyết vấn đề phân lớp mẫu hai lớp sử dụng nguyên tắc cực tiểu hóa rủi ro cấu 6 trúc (Structural Risk Minimization). Đây là phương pháp tiếp cận phân loại hình ảnh rất hiệu quả. Phương pháp tiếp cận này dựa trên lý thuyết toán học thống kê nên có một nền tảng toán học chặt chẽ để đảm bảo rằng kết quả đạt được là tối ưu. SVM là một trong những phương pháp máy học trong đó các khái niệm dựa trên dữ liệu đã thu thập được trước đó. Phương pháp này cho phép tận dụng được nguồn dữ liệu rất nhiều và sẵn có. a Bài toán tối ưu của SVM - Dữ liệu huấn luyện của SVM là tập các điểm dữ liệu - D = {(x 1 ,y 1 ), (x 2 ,y 2 ), …, (x 1 ,y 1 )}, trong đó, x i là vector dữ liệu biểu diễn đối tượng cần phân lớp d i (x i ∈R n ), y i ∈ {+1,-1}, cặp (x i , y i ) được hiểu là vector x i được gán nhãn là y i . - Một siêu phẳng phân chia dữ liệu được gọi là “tốt nhất”, nếu khoảng cách từ điểm dữ liệu gần nhất đến siêu phẳng là lớn nhất. Phương trình tổng quát của một siêu phẳng phân chia như vậy được biểu diễn có dạng như sau: w T x + b = 0 (1) Trong đó: W T : Vector trọng số, W T = {w 1 , w 2 ,…,w n }. n: Số thuộc tính (hay còn gọi là số chiều của dữ liệu). b: Bộ trọng số. Với T = 2 (dữ liệu hai chiều) → siêu phẳng phân chia là đường thẳng. Với T = 3 (dữ liệu ba chiều) → siêu phẳng phân chia là mặt phẳng. - Tổng quát cho dữ liệu n chiều thì sẽ được phân cách bởi một siêu phẳng. - Siêu phẳng phân chia có vai trò quan trọng trong việc phân lớp, nó quyết định xem một bộ dữ liệu sẽ thuộc về lớp nào. Ta xét trên ví dụ sau: 7 - Với bộ dữ liệu huấn luyện hai chiều, ta có 2 thuộc tính A 1 và A 2 : X={x 1 , x 2 }, với x 1 , x 2 là giá trị của thuộc tính A 1 , A 2 và W = {w 1 , w 2 }. Phương trình siêu phẳng có thể viết lại như sau: (2) Trong đó: w 0 tương đương với hằng số b trong PT tổng quát của siêu phẳng. Vì vậy mỗi điểm nằm trên siêu phẳng phân cách thỏa mãn: (3) Tương tự, những điểm nằm dưới siêu phẳng phân cách phải thỏa mãn: (4) Bằng cách điều chỉnh trọng số w 0 ta có: Đường biểu diễn H 1 và H 2 , đường màu đỏ là khoảng cách Euclidean của hai điểm 1 và 2. Đường màu xanh là khoảng cách Euclidean nhỏ nhất. 8 - Điều này có nghĩa là nếu bất kì bộ nào nằm tại hoặc trên H 1 đều thuộc về lớp +1, và bất kì bộ nào nằm tại hoặc dưới H 2 đều thuộc về lớp -1. Kết hợp 2 bất đẳng thức trên ta có: (5) - Mỗi bộ huấn luyện nằm tại các mặt biên H 1 hay H 2 thỏa mãn phương trình trên được gọi là support vectors. Support vectors là những bộ gần với siêu phẳng phân chia tuyến tính nhất. - Tuy nhiên trong thực tế có thể tìm được vô số những siêu phẳng phân chia trên cùng một tập dữ liệu. Do đó mục tiêu của phương pháp phân lớp SVM là tìm một siêu phẳng phân cách giữa hai lớp sao cho khoảng cách lề giữa hai lớp đạt cực đại, nghĩa là có sai sót phân loại bé nhất trên bộ dữ liệu. - Siêu phẳng có biên độ lớn nhất sẽ được chọn như là siêu phẳng phân chia tập dữ liệu một cách tốt nhất. Tức là, nếu có 2 siêu phẳng có thể phân chia được tất cả những bộ dữ liệu cho trước với biên độ của nó. Siêu phẳng với biên độ lớn hơn sẽ chính xác hơn trong việc phân loại các bộ dữ liệu trong tương lai so với siêu phẳng có biên độ nhỏ hơn. Điều này là lý do tại sao (trong suốt giai đoạn học hay huấn luyện), SVM tìm những siêu phẳng có biên độ lớn nhất, gọi là MMH (maximum marginal hyperlane).Siêu phẳng có biên độ lớn nhất là siêu phẳng có khoảng cách từ nó tới hai mặt bên của nó thì bằng nhau (mặt bên song song với siêu phẳng). Khoảng cách đó là khoảng cách ngắn nhất từ MMH tới bộ dữ liệu huấn luyện gần nhất của mỗi lớp. Siêu phẳng có biên độ lớn nhất này cho chúng ta một sự phân loại tốt nhất giữa các lớp. - Việc huấn luyện SVM với mục đích trên có thể được sử dụng để phân lớp dữ liệu mà dữ liệu đó có thể phân chia tuyến tính. Chúng ta xem SVM được huấn luyện là SVM tuyến tính. - Ngoài ra hướng tiếp cận của SVM tuyến tính có thể được mở rộng để tạo ra SVM không tuyến tính cho việc phân lớp các dữ liệu không thể phân chia tuyến tính (hay gọi tắt là dữ liệu không tuyến tính). Những SVM như vậy có khả năng 9 tìm những ranh giới quyết định không tuyến tính (những mặt không tuyến tính) trong không gian đầu vào. Những SVM như vậy được gọi là SVM phi tuyến. - Để tìm ra các support vectors và MMH, đồng nghĩa với việc tìm được bộ phân lớp trên bộ dữ liệu đã cho. Có ba trường hợp có thể xảy ra đối với từng bộ dữ liệu, mỗi trường hợp sẽ đưa ra một bài toán tối ưu. Việc cần làm là giải quyết bài toán tối ưu đó. d) Mô hình phân lớp tuyến tính - Tập dữ liệu D có thể phân chia tuyến tính được mà không có nhiễu (tất cả các điểm được gán nhãn +1 thuộc về phía dương của siêu phẳng, tất cả các điểm được gán nhãn –1 thuộc về phía âm của siêu phẳng). Tập dữ liệu có thể được phân chia tuyến tính. - SVM biên cứng được áp dụng đối với dữ liệu khả tách tuyến tính và nó cho kết quả phân lớp một cách chính xác đối với tất cả các dữ liệu dạng này. Ta sẽ tìm siêu phẳng tách với w∈R n là vector trọng số (weight vector), b∈R là hệ số tự do, sao cho: (6) 10 [...]... bộ phân loại nhị phân cho từng cặp phân lớp. Ứng với mỗi cặp phân lớp Cij, một bộ SVM Cijđược thiết lập sẽ phân lớp thứ i và lớp thứ j.Khi đưa mẫu x vào phân loại, nếu bộ phân loại nhị phân Cij quyết địnhx thuộc về phân lớp i thì giá trị bầu cử của phân lớp i (vote i) sẽ được tăng lên 1, ngược lại giá trị bầu cử của phân lớp j (vote j) sẽ được tăng lên 1 Phương pháp này sẽ quyết định mẫu x thuộc về phân. .. bằng 0 Ứng với mỗi cặp (i, j), ta xác định mẫu X thuộc về phân lớp nào (trường hợp phân lớp nhị phân) • Nếu X thuộc phân lớp thứ i: vote[i]++ • Ngược lại: vote[j]++  Quyết định x thuộc về phân lớp C tương ứng với giá trị vote[C] là - lớn nhất trong tất cả c giá trị Khi bắt đầu phân lớp, bộ SVM HHS sẽ được xem xét để xem cần phải loại trừ lớpHH hay loại trừ lớp HS Nếu là loại lớp HS thì bộ SVM H HC... trình minh họa cho bài toán phân lớp áp dụng bộ phân lớp SVM được xây dựng từ thư viện Aforge.NET, các ảnh đầu vào được lấy đặc trưng như sau: 17 o Mỗi ảnh sẽ được tách thành 3 ảnh theo 3 kênh màu sau đó các ảnh của từng kênh sẽ được dùng để huấn luyện trên 3 bộ SVM khác nhau o Ở giai đọan phân lớp, ảnh đầu vào cụng 4 được tách kênh màu và dùng 3 bộ phân lớp đã huấn luyện để phân lớp, kết quả cuối cùng... vấn đề chọn lọc về Công NghệThông Tin Quốc Gia, pp 327-340 [3] L.M.Trí, N.T.Hằng (2006), Phương pháp trích chọn đặc trưng cho nhận dạng mặt người và ứng dụng, trường đại học Khoa học Tự nhiên thành phố Hồ Chí Minh, khoa Công nghê Thông tin [4] N.T.Thảo, N.T.Huyền, Đ.T.T.Hà, T.T.T.Hiền, N.T.T, “Phương pháp phân lớp sử dụng máy vec-tơ hỗ trợ ứng dụng trong tin sinh học , Tạp chí khoa học và phát triển... cho kiểm tra trên c bộ SVM này Hàm phân lớp của SVM thứ i nào cho ra kết quả có giá trị bé nhất thì mẫu thử x thuộc lớp thứ i đó - Tuy nhiên, phương pháp này thường cho kết quả nhập nhằng, do đó phương pháp thứ hai được áp dụng cho bài toán phân lớp trong trường hợp có nhiều phân lớp i) Cách phân lớp “One vs One” (Phân loại theo từng cặp) - Phương pháp One-vs-One do John Platt và Nello Cristianini đưa... nhỏ dẫn đến học quá (overfitting) (C) 15 - Gaussian kernel cơ bản là bằng không nếu khoảng cách bình phương là lớn hơn nhiều so với σ, tức là cho x j cố định là một vùng xung quanh x j với các giá trị kernel cao h) Cách phân lớp “One vs rest” (Phân loại mỗi lớp với mọi lớp còn lại) - Giả sử cần phải phân mẫu vào c lớp thì cần sử dụng c bộ SVM SVM thứ i sẽ phân biệt lớp thứ i với (c-1) lớp còn lại.Một... về phân lớp có giá trị bầu cử lớn nhất (giá trị vote lớn nhất).Khi đó, nếu có c c(c − 1) 2 phân lớp thì sẽ có tất cả bộ phân loại nhị phân - Thuật toán cho phương pháp phân loại theo từng cặp:  Giả sử có c phân lớp, mẫu cần phân lớp là X  Tính các hàm phân biệt giữa 2 phân lớp i, j bất kì:  (1, 2), (1, 3), …., (1, c), (2, 3), …, (c-1, c)  Như vậy có tất cả c(c − 1) 2 hàm phân biệt (tương ứng với... đặc trưng màu sắc của ảnh hoa theo từng hệ màu Màn hình huấn luyện và phân lớp ảnh hoa 19 Màn hình phân lớp ảnh hoa IV Tài liệu tham khảo Tiếng việt [1] P.T.Bình(2007), Phân loại văn bản bằng phướng pháp Support Vector Machine, trường đại học Nha Trang, khoa Công nghệ Thông tin [2] Lê Hoàng Thái, Trần Sơn Hải (2009), “Phát Triển Mô Hình Liên Kết Mạng Áp Dụng Cho Bài Toán Phân Lớp Ảnh , Kỷ yếu hội thảo... lại thì bộ SVM H SC sẽ được xem xét Cứ loại trừ dần như vậy cho đến khi chỉ còn lại một lớp cuối cùng thì lớp đó là kết quả phân lớp - Có thể thấy rằng việc phân lớp một mẫu không cần phải trải qua hết c(c − 1) 2 bộ SVM mà chỉ cần trải qua c-1 bộ SVM mà thôi Do đó, số lượng các giá trị các Kernel K(x, y) cần phải tính chỉ là (c-1)×M S với MS là số lượng support vector trung bình của một bộ SVM C ij Vì... ban đầu, bằng cách sử dụng hàm : Chuyển không gian ban đầu vào không gian đặc trưng - Sau đó, tiến hành tìm những siêu phẳng trong không gian mới này Cuối cùng chúng ta lại quay lại vấn đề tối ưu bình phương đã được giải quyết sử dụng công thức SVM tuyến tính Siêu phẳng có biên độ lớn nhất được tìm thấy trong không gian mới tương ứng với siêu bề mặt phân chia không tuyến tính trong không gian ban đầu . nhất trong việc giải quyết các bài toán phân loại, dự báo trong một số các ngành khoa học. Trong phạm vi đề tài này sẽ tìm hiểu và phát triển phương pháp phân lớp ảnh sử dụng SVM. 3. Máy học sử dụng. bộ phân loại nhị phân cho từng cặp phân lớp. Ứng với mỗi cặp phân lớp C ij , một bộ SVM C ij được thiết lập sẽ phân lớp thứ i và lớp thứ j.Khi đưa mẫu x vào phân loại, nếu bộ phân loại nhị phân. cao. h) Cách phân lớp “One vs rest” (Phân loại mỗi lớp với mọi lớp còn lại) - Giả sử cần phải phân mẫu vào c lớp thì cần sử dụng c bộ SVM. SVM thứ i sẽ phân biệt lớp thứ i với (c-1) lớp còn lại.Một