Tiểu luận môn CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG ỨNG DỤNG MẠNG NEURON & GIẢI THUẬT LAN TRUYỀN NGƯỢC ĐỂ XÂY DỰNG CHƯƠNG TRÌNH NHẬN DẠNG KÝ TỰ

24 1.1K 4
Tiểu luận môn CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG ỨNG DỤNG MẠNG NEURON & GIẢI THUẬT LAN TRUYỀN NGƯỢC ĐỂ XÂY DỰNG CHƯƠNG TRÌNH NHẬN DẠNG KÝ TỰ

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

GVHD: GS.TSKH Hoàng Văn Kiếm Mạng Nơron lan truyền ngược ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN  BÀI THU HOẠCH MÔN CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG Đề tài ỨNG DỤNG MẠNG NEURON & GIẢI THUẬT LAN TRUYỀN NGƯỢC ĐỂ XÂY DỰNG CHƯƠNG TRÌNH NHẬN DẠNG KÝ TỰ Giảng viên hướng dẫn : GS.TSKH Hoàng Văn Kiếm Học viên thực : Nguyễn Hải Toàn Lớp : KHMT K8 Mã số : CH1301110 TP.HCM, 10/2014 Nguyễn Hải Toàn – CH1301110 GVHD: GS.TSKH Hoàng Văn Kiếm Mạng Nơron lan truyền ngược NHẬN XÉT CỦA GIẢNG VIÊN Nguyễn Hải Toàn – CH1301110 GVHD: GS.TSKH Hoàng Văn Kiếm Mạng Nơron lan truyền ngược MỤC LỤC NHẬN XÉT CỦA GIẢNG VIÊN .2 Nguyễn Hải Toàn – CH1301110 GVHD: GS.TSKH Hoàng Văn Kiếm Mạng Nơron lan truyền ngược .2 MỤC LỤC I.MÁY HỌC 1.Máy học: Tiến trình máy học: II.MẠNG NEURAL NHÂN TẠO Mạng Neural ? .9 Mơ hình mạng neural nhân tạo 12 Neuron (nút mạng) 12 Mạng neural lớp .14 Mạng lan truyền ngược .15 Định nghĩa 15 Nguyên tắc hoạt động mạng lan truyền ngược .16 Tóm tắt thuật giải lan truyền ngược .21 III.ỨNG DỤNG MẠNG NƠRON LAN TRUYỀN NGƯỢC .23 1.Mục đích chương trình 23 Ứng dụng mạng nơron lan truyền ngược để viết chương trình nhận dạng chữ viết (ký tự) 23 2.Mô tả chương trình 23 Giao diện chương trình : 23 23 Nguyễn Hải Toàn – CH1301110 GVHD: GS.TSKH Hoàng Văn Kiếm Mạng Nơron lan truyền ngược 1: Xóa khu vực “ Drawing Area” .23 2: Mở Netword có sẵn 23 3:Training Network 23 4:Nhận dạng ký tự khu vực “Drawing Area” 23 3.Mơ tả cách hoạt động chương trình .23 Vẽ ký tự vào khư vực “ Drawing Area” 23 Nhấn vào button “Train Network” 23 Sau nhấn vào button “Recognize” để nhận dạng ký tự vừa vẽ 23 24 sau nhấn “Recognize”, khu vực “Match Patterns” thị kết : Input ( ký tự vẽ), High (ký tự nhận dạng có xác suất cao), Low ( ký tự nhận dạng có xác suất thấp hơn) .24 Trên hình ta vẽ vào ký tự tương tự ký tự “A”, kết chương trình dự đốn ký tự nhập vào ký tự “A” với xác xuất 90 % .24 4.Một số đoạn code quan trọng .24 Hàm huấn luyện .24 25 Hàm nhận dạng ký tự .25 25 26 TÀI LIỆU THAM KHẢO .26 Nguyễn Hải Toàn – CH1301110 GVHD: GS.TSKH Hoàng Văn Kiếm I Mạng Nơron lan truyền ngược MÁY HỌC Máy học: Một số lợi ích máy học: Các thông tin ngày nhiều, hàng ngày ta phải xử lý nhiều thông tin đến từ nhiều nguồn khác Máy học giúp xứ lý dự báo thơng tin cách tạo luất sản xuất từ liệu thu thập Ở nơi khơng có chun gia, máy học giúp tạo định từ liệu có Các thuật tốn máy học giúp xử lý liệu khơng đầy đử, khơng xác Máy học giúp thiết kế hệ thống huấn luyện tự động (mạng nơrôn nhân tạo) giải mã mối liên hệ tri thức lưu trữ mạng từ liệu Rất khó để định nghĩa cách xác máy học Một nguyên nhân từ “học - learn” có ý nghĩa khác lĩnh vực: tâm lý học, giáo dục, trí tuệ nhân tạo,… Một định nghĩa rộng nhất, máy học cụm từ dùng để khả chương trình máy tính để tăng tính thực thi dựa kinh nghiêm trải qua Hoặc, máy học để khả chương trình phát sinh cấu trúc liệu khác với cấu trúc liệu cũ Chẳng hạn, luật sản xuất: if… then… Lợi điểm phương pháp máy học phát sinh luật tường minh, sửa đổi, huấn luyện giới hạn định Các phương pháp máy học hoạt động liệu có đặc tả thơng tin Các thơng tin trình bày theo cấu trúc gồm mức gọi tri thức kim tự tháp (pyramid knowledge) Mức thấp tập liệu lớn dùng để lưu thơng tin, thường khó hiểu với người Do đó, cần phải trích thơng tin hữu ích từ kho liệu cách sử dụng phương pháp tiền xử lý Kết việc tiền xử lý tạo thông tin mức thứ Các tri thức mức thứ thường tạo luật sản xuất Các siêu tri thức gọi tri thức tri thức Máy học tự động quy trình học việc học tương đương với việc xây dựng luật dựa việc quan sát trạng thái sở liệu chuyển hoá chúng Đây lĩnh vực rộng lớn không bao gồm Nguyễn Hải Toàn – CH1301110 GVHD: GS.TSKH Hoàng Văn Kiếm Mạng Nơron lan truyền ngược việc học từ mẫu, mà học tăng cường, học với “thầy”, Các thuật toán học lấy liệu thơng tin quen thuộc nhập trả kết câu nói hay câu ví dụ, khái niệm để diễn tả kết học Máy học kiểm tra ví dụ trước kiểm tra kết chúng xuất học làm cách để tái tạo lại kết tạo nên tổng quát hóa cho trường hợp Nói chung, máy học sử dụng tập hữu hạn liệu gọi tập huấn luyện Tập chứa mẫu liệu mà viết mã theo cách để máy đọc hiểu Tuy nhiên, tập huấn luyện hữu hạn khơng phải tồn liệu học cách xác Tiến trình máy học: Một tiến trình máy học gồm giai đoạn:  Giai đoạn học (learning): hệ thống phân tích liệu nhận mối quan hệ (có thể phi tuyến tuyến tính) đối tượng liệu Kết việc học là: nhóm đối tượng vào lớp, tạo luật, tiên đoán lớp cho đối tượng  Giai đoạn thử nghiệm (testing): Mối quan hệ (các luật, lớp ) tạo phải kiểm nghiệm lại số hàm tính tốn thực thi phần tập liệu huấn luyện tập liệu lớn Các thuật toán máy học chia làm loại: học giám sát, học khơng giám sát học nửa giám sát Học có giám sát Đây cách học từ mẫu liệu mà kỹ thuật máy học giúp hệ thống xây dựng cách xác định lớp liệu Hệ thống phải tìm mơ tả cho lớp (đặc tính mẫu liệu) Nhờ người ta sử dụng luật phân loại hình thành trình học phân lớp để sử dụng dự báo lớp liệu sau Thuật tốn học có giám sát gồm tập liệu huấn luyện M cặp: S = {(xi, cj)| i=1,…,M; j=1,…,C} Các cặp huấn luyện gọi mẫu, với xi vector n-chiều gọi vector đặc trưng Nguyễn Hải Toàn – CH1301110 GVHD: GS.TSKH Hoàng Văn Kiếm Mạng Nơron lan truyền ngược cj lớp thứ j biết trước Thuật toán máy học giám sát tìm kiếm khơng gian giả thuyết có thể, gọi H Đối với hay nhiều giả thuyết, mà ước lượng tốt hàm xác f : x  c Đối với cơng việc phân lớp xem giả thuyết tiêu chí phân lớp Thuật tốn máy học tìm giả thuyết cách khám phá đặc trưng chung ví dụ mẫu thể cho lớp Kết nhận thường dạng luật (Nếu thì) Tùy thuộc vào mức độ thuật tốn học giám sát, người ta có mơ hình học giám sát sau: • Học vẹt: hệ thống ln ln “dạy” luật đúng, có học hội tụ • Học phép loại suy: hệ thống dạy phản hồi cho công việc tương tự, khơng xác định Vì hệ thống phải hiệu chỉnh phản hồi trước cách tạo luật áp dụng cho trường hợp • Học dựa trường hợp: trường hợp hệ thống học lưu trữ tất trường hợp, với kết đầu chúng Khi bắt gặp trường hợp mới, cố gắng hiệu chỉnh đến trường hợp cách xử lý trước lưu trữ • Học dựa giải thích: hệ thống phân tích tập hợp giải pháp nhằm phương pháp thành công hay không thành cơng Sau giải thích tạo ra, chúng dùng để giải vấn đề Học không giám sát Đây việc học từ quan sát khám phá Hệ thống khai thác liệu ứng dụng với đối tượng lớp định nghĩa trước, mà để phải tự hệ thống quan sát mẫu nhận mẫu Hệ thống dẫn đến tập lớp, lớp có tập mẫu khám phá tập liệu Học khơng giám sát cịn gọi học từ quan sát khám phá Trong trường hợp có ít, hay gần khơng có tri thức liệu đầu vào, hệ thống học không giám sát khám phá phân lớp liệu, cách tìm thuộc tính, đặc trưng chung mẫu hình thành nên tập liệu Nguyễn Hải Toàn – CH1301110 GVHD: GS.TSKH Hoàng Văn Kiếm Mạng Nơron lan truyền ngược Một thuật tốn máy học giám sát ln biến đổi thành thuật tốn máy học khơng giám sát Đối với toán mà mẫu liệu mơ tả n đặc trưng, người ta chạy thuật toán học giám sát n-lần, lần với đặc trưng khác đóng vai trị thuộc tính lớp, mà tiên đoán Kết n tiêu chí phân lớp (n phân lớp), với hy vọng n phân lớp Học nửa giám sát Học nửa giám sát thuật tốn học tích hợp từ học giám sát học không giám sát Việc học nửa giám sát tận dụng ưu điểm việc học giám sát học không giám sát loại bỏ khuyết điểm thường gặp hai kiểu học II MẠNG NEURAL NHÂN TẠO Mạng Neural ? Mạng Neural thuật ngữ nói đến phương pháp giải vấn đề toán máy tính theo hoạt động tế bào thần kinh não Nói cụ thể hơn, mạng Neural xử lý phân tán song song lớn theo khuynh hướng tự nhiên nhằm tích lũy kinh nghiệm tri thức sử dụng chúng để giải tốn ngày hồn thiện Mạng neural nhân tạo hoạt động giống não người hai mặt: Tri thức tích lũy thơng qua mạng suốt trình học Mức độ kết nối tế bào thần kinh xem trọng số cung mạng neural nhân tạo Trọng số dùng để lưu trữ tri thức Nguyễn Hải Toàn – CH1301110 GVHD: GS.TSKH Hoàng Văn Kiếm Mạng Nơron lan truyền ngược Cấu trúc tế bào thần kinh người Trước vào nghiên cứu sâu mạng Neural, ta tìm hiểu sơ lược hoạt động não người Hệ thần kinh người đuợc chia thành ba phận: Bộ phận trung tâm gọi não bộ, biểu diễn mạng neural, tiếp nhận thơng tin, xử lý thông tin đưa định thích hợp Bộ phận tiếp nhận (Receptors) giữ nhiệm vụ chuyển đổi tín hiệu kích thích(stimulus) từ phận khác thể hay môi trường bên thành electrical impulses (xung lực điện sinh từ não bộ) chuyển chúng vào não Bộ phận phản hồi (Effectors) giữ vai trò ngược với phận tiếp nhận, chuyển đổi electrical impulses thành discernible responses phản hồi thông tin Hoạt động hệ thần kinh biểu diễn theo sơ đồ sau: Để vào phân tích hoạt động hệ thần kinh, ta xem xét mơ hình phân cấp mức từ thấp đến cao hình sau: Nguyễn Hải Tồn – CH1301110 10 GVHD: GS.TSKH Hoàng Văn Kiếm Mạng Nơron lan truyền ngược Mức biểu diễn phân tử ion (Molecules) Chính tương tác phân tử theo nhiều cách khác hình thành khớp thần kinh (Synapses) Một neural microcircuit nhóm khớp thần kinh có tổ chức để tạo tính tương tự Kích cỡ neural microcircuit khoảng vài micro-met, tốc độ phản ứng chúng vào khoảng vài mili giây Các neural microcircuit với đặc điểm tương tự nhóm lại dạng hình (denrictic tree), từ hình thành neuron với tính riêng Một neuron kích cỡ 100 micro-met chứa khoảng vài denrictic tree Ở cấp độ cao local circuits có chiều rộng khoảng mili mét hình thành từ neuron với tính khác gần giống Từ hình thành hoạt động có tính chất chun mơn hóa Ở mức cao hơn, local circuits liên Nguyễn Hải Toàn – CH1301110 11 GVHD: GS.TSKH Hoàng Văn Kiếm Mạng Nơron lan truyền ngược kết với theo qui tắc định, Interrgional circuits, có nhiệm vụ phản hồi thơng tin sau xử lý Trên quan thần kinh trung ương (Central nervous system) đóng vai trò định cho trả lời từ nhiều phản hồi thông tin Interrgional circuits Từ cấu trúc họat động não người, người ta đúc kết phương pháp học cho máy tính có mơ hình tương tự vậy, nhằm đạt kết tốt mong muốn, mạng neural nhân tạo Các thành phần mạng neural nhân tạo so sánh với local circuits interrigional circuits Mơ hình mạng neural nhân tạo Neuron (nút mạng) Đơn vị tảng mạng neural neuron, đơn vị xử lý thông tin Người ta đưa thành phần neuron sau: Một tập dây thần kinh mà đặc trưng sợi trọng số Trọng số wkj biểu diễn cho dây thần kinh có đầu tín hiệu xj nối vào neuron k wkj>0 thể kích thích tăng trưởng cho tín hiệu này, ngược lại wkj

Ngày đăng: 20/05/2015, 08:38

Từ khóa liên quan

Mục lục

  • NHẬN XÉT CỦA GIẢNG VIÊN

  • MỤC LỤC

  • I. MÁY HỌC

    • 1. Máy học:

    • 2. Tiến trình máy học:

  • II. MẠNG NEURAL NHÂN TẠO

    • Mạng Neural là gì ?

    • Mô hình mạng neural nhân tạo

      • Neuron (nút mạng)

      • Mạng neural một lớp

    • Mạng lan truyền ngược

      • Định nghĩa

      • Nguyên tắc hoạt động của mạng lan truyền ngược

      • Tóm tắt thuật giải lan truyền ngược

  • III. ỨNG DỤNG MẠNG NƠRON LAN TRUYỀN NGƯỢC

  • 1. Mục đích chương trình

  • Ứng dụng mạng nơron lan truyền ngược để viết chương trình nhận dạng chữ viết (ký tự).

  • 2. Mô tả về chương trình

  • Giao diện chương trình :

  • 1: Xóa khu vực “ Drawing Area”

  • 2: Mở một Netword có sẵn

  • 3:Training Network

  • 4:Nhận dạng ký tự trong khu vực “Drawing Area”

  • 3. Mô tả cách hoạt động của chương trình

  • Vẽ một ký tự vào khư vực “ Drawing Area”

  • Nhấn vào button “Train Network”.

  • Sau đó nhấn vào button “Recognize” để nhận dạng ký tự vừa vẽ

  • sau khi nhấn “Recognize”, trong khu vực “Match Patterns” sẽ hiện thị ra kết quả : Input ( ký tự được vẽ), High (ký tự được nhận dạng có xác suất đúng cao), Low ( ký tự được nhận dạng có xác suất đúng thấp hơn).

  • Trên hình trên ta vẽ vào ký tự tương tự ký tự “A”, kết quả chương trình dự đoán ký tự nhập vào là ký tự “A” với xác xuất 90 %.

  • 4. Một số đoạn code quan trọng

  • Hàm huấn luyện

  • Hàm nhận dạng ký tự

  • TÀI LIỆU THAM KHẢO

Tài liệu cùng người dùng

  • Đang cập nhật ...

Tài liệu liên quan