BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN VĂN TRỌNG CHỌN MẪU VÀ THÔNG SỐ ĐIỂN HÌNH TRONG ĐÁNH GIÁ ỔN ĐỊNH ĐỘNG HỆ THỐNG ĐIỆN NGÀNH: KỸ THUẬT ĐIỆN – 60520202 S K C0 Tp Hồ Chí Minh, tháng 10/2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN VĂN TRỌNG CHỌN MẪU VÀ THÔNG SỐ ĐIỂN HÌNH TRONG ĐÁNH GIÁ ỔN ĐỊNH ĐỘNG HỆ THỐNG ĐIỆN NGÀNH: KỸ THUẬT ĐIỆN - 60520202 Tp.Hồ Chí Minh, tháng 10/2015 Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh Chƣơng TỔNG QUAN 1.1 Tổng quan chung lĩnh vực nghiên cứu 1.1.1 Thực trạng hệ thống điện Hệ thống điện (HTĐ) đóng vai trò quan trọng phát triển kinh tế quốc gia sở hạ tầng quan trọng kinh tế quốc dân HTĐ thƣờng phân chia thành ba phần chính: Phần phát điện bao gồm nhà máy phát điện nhƣ: nhiệt điện chạy than, nhiệt điện chạy khí, nhà máy thủy điện, nhà máy điện hạt nhân, số loại máy phát điện khác Với phần truyền tải, đƣợc coi hệ thống xƣơng sống HTĐ, bao gồm đƣờng dây siêu cao áp, cao áp máy biến áp truyền tải Phần phân phối, nơi điện áp đƣợc hạ thấp để cung cấp trực tiếp cho phụ tải Đây phần có nhiều nút có chiều dài lƣới lớn HTĐ với nhiều loại phụ tải khác Để đảm bảo cho HTĐ vận hành chế độ bình thƣờng HTĐ cần thoả mãn điều kiện ổn định, tin cậy, đảm bảo chất lƣợng điện yêu cầu kinh tế Tuy nhiên, HTĐ không Việt Nam mà nhiều nƣớc phát triển giới phải đối mặt với nhiều khó khăn thách thức: + Thứ tăng trƣởng nhanh phụ tải, đặc biệt nƣớc phát triển nhƣ Việt Nam, tỉ lệ tăng trƣởng phụ tải khoảng 15-20% năm đặt thách thức lớn cho ngành điện phải đáp ứng kịp thời nhu cầu phụ tải + Thứ hai cạn kiệt tài nguyên thiên nhiên nhƣ than đá, dầu mỏ, khí đốt nguồn nƣớc làm cho việc phát triển loại nhà máy phát điện ngày bị giới hạn Việt Nam nƣớc giới nhận thức phải đối mặt với cạn kiệt lƣợng sơ cấp giá nhiên liệu ngày tăng bình diện quốc tế Năng lƣợng thủy điện nguồn lƣợng giá rẻ, kinh tế an toàn dần cạn kiệt đƣợc phát khai thác gần hết Việc ứng dụng công nghệ hạt nhân sản xuất điện phổ biến nhiều nƣớc giới nhƣng nƣớc ta nguồn lƣợng lạ vấn đề công nghệ, lo HVTH: Nguyễn Văn Trọng trang Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh ngại an toàn, nguồn cung cấp nhiên liệu, vốn đầu tƣ lớn đặc biệt vấn đề môi trƣờng cố xảy + Thứ ba xuất sử dụng ngày nhiều nguồn lƣợng tái tạo nhƣ nguồn lƣợng gió, lƣợng mặt trời nguồn lƣợng phân tán góp phần giảm thiểu gánh nặng cho ngành điện, đáp ứng phần nhu cầu phụ tải gia tăng, làm giảm tổn thất, tiết kiệm chi phí truyền tải phân phối điện Cùng với xuất thiết bị điện tử công suất phần truyền tải phân phối điện làm thay đổi khái niệm HTĐ truyền thống, làm khó khăn quản lý, vận hành, giám sát điều khiển HTĐ Việc đảm bảo chất lƣợng điện năng, tính liên tục cung cấp điện thách thức lớn đặt với ngành điện Một số cố lớn gần Việt Nam giới gây hậu to lớn kinh tế nguy rã lƣới toàn hệ thống ổn định HTĐ trở nên hữu Trong việc đánh giá ổn định động cho HTĐ phức tạp thực vấn đề khó khăn, đặc biệt xét hệ thống vận hành thời gian thực Do đó, vấn đề nghiên cứu ổn định động HTĐ nhiệm vụ cấp thiết 1.1.2 Hƣớng nghiên cứu ổn định hệ thống điện Đầu kỷ 20, nhà bác học ngƣời Mỹ R Park khởi đầu cho việc nghiên cứu ổn định HTĐ dựa sở thiết lập hệ phƣơng trình vi phân trình độ điện máy điện đồng hệ tọa độ quay Đồng thời với Park, loạt công trình đƣợc công bố độc lập nhà bác học ngƣời Nga A.A Goriev năm 1930 – 1935 mô hình trình độ máy điện quay làm phát triển lý thuyết nghiên cứu ổn định HTĐ thêm bƣớc, sau hệ phƣơng trình đƣợc gọi tên Park – Goriev Mô hình trình độ HTĐ hệ tọa độ quay làm đơn giản đáng kể hệ phƣơng trình vi phân mô tả trạng thái độ HTĐ Dựa sở đó, phƣơng pháp toán ổn định hệ thống đƣợc nghiên cứu áp dụng cho HTĐ [5] Trƣớc tiên, phƣơng pháp dựa khái niệm cân lƣợng hay HVTH: Nguyễn Văn Trọng trang Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh gọi tiêu chuẩn lƣợng Đây phƣơng pháp đơn giản, cho kết áp dụng dễ dàng nhiều trƣờng hợp Tuy nhiên, phƣơng pháp khác sau rằng, khái niệm ổn định theo ý nghĩa cân lƣợng không đầy đủ, phát đƣợc tƣợng ổn định dao động quán tính Hơn nữa, phƣơng pháp cân lƣợng sở chặt chẽ khó áp dụng HTĐ phức tạp nhƣ ngày [5] Một phƣơng pháp khác đƣợc nhắc đến phƣơng pháp dao động bé A M Lyapunov Chính Goriev công trình cách nghiên cứu ổn định HTĐ theo Lyapunov từ HTĐ đơn giản đến phức tạp Ông chứng minh đƣợc sử dụng tiêu chuẩn dấu dƣơng số hạng tự phƣơng trình đặc trƣng hệ phƣơng trình vi phân trình độ phát đƣợc hầu hết trƣờng hợp ổn định HTĐ, gọi tiêu chuẩn ổn định phi chu kỳ Dựa tiêu chuẩn cách tính toán phân tích ổn định cho HTĐ phức tạp dạng chung đƣợc xây dựng đƣợc áp dụng phổ biến chƣơng trình phân tích HTĐ [5] Phƣơng pháp mô theo miền thời gian cho kết xác để đánh giá ổn định độ HTĐ nhƣng không cho biết biên ổn định hệ thống, tốn nhiều thời gian phải giải hệ phƣơng trình vi phân phi tuyến sau cố [9,14], không phù hợp đánh giá trực tuyến Phƣơng pháp không cung cấp thông tin mức độ ổn định không ổn định Phƣơng pháp số cho câu trả lời xác ổn định độ HTĐ, nhƣng gặp khó khăn giải phƣơng trình vi phân bậc nhiều thời gian giải [24] Nhƣ vậy, phƣơng pháp truyền thống tốn nhiều thời gian tính toán, không phù hợp đánh giá ổn định thời gian thực, với yêu cầu khắc khe thời gian tính toán, tính nhanh nhƣng phải xác xuất nhu cầu ứng dụng phƣơng pháp khác hiệu Kỹ thuật nhận dạng mẫu áp dụng đánh giá ổn định động HTĐ bỏ qua giải tích thay cách học quan hệ mẫu đầu vào đầu ra, cách tiếp cận theo hƣớng [14,15] phân loại đƣợc huấn luyện off-line kiểm tra on-line Một số HVTH: Nguyễn Văn Trọng trang Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh tác giả chọn tín hiệu đầu vào biến đặc trƣng chế độ xác lập tiền cố để chuẩn đoán cố qua số thời gian cắt tới hạn (CCT – Critical Clearing Time) [18,19] Tuy nhiên, việc tìm mối liên hệ biến đặc trƣng trạng thái xác lập cấp ổn định nhiệm vụ khó khăn Hệ thống nhận dạng mẫu tìm kiếm, lọc mẫu thông tin đặc trƣng quan trọng làm mẫu liệu đầu vào, việc trích xuất giảm biến đặc trƣng giúp cho hệ thống xử lý liệu cách nhanh chóng nâng cao độ xác Mạng nơ-ron nhân tạo (ANN – Artificial Neural Network) phƣơng pháp tiếp cận đánh giá ổn định HTĐ thu hút đƣợc nhiều quan tâm nhà nghiên cứu khả học hỏi nhanh chóng quan hệ phi tuyến vào/ [23,24] Đã có nhiều ứng dụng MLPNN (Multilayer Perceptron Neural Network) để ƣớc lƣợng biên ổn định độ HTĐ Trong chuẩn đoán ổn định động chia thành hai giai đoạn Một chuẩn đoán dựa vào biến đặc trƣng tiền cố trạng thái xác lập gồm công suất máy phát, công suất đƣờng dây, điện áp bus, chuẩn đoán mang tính dự phòng ngăn chặn tích cực sớm [16,17] Hai là, chuẩn đoán ổn định động dựa vào biến đặc trƣng sau cố nhƣ số mức độ nghiêm trọng, góc , quỹ đạo điện áp, chuẩn đoán cho biết trạng thái ổn định tới HTĐ cố gây Trong đánh giá ổn định động đƣợc chia làm hai loại chuẩn đoán đánh giá Chuẩn đoán ổn định động thƣờng tập trung vào số CCT hệ thống cố, CCT thời gian cắt cố dài cho phép để hệ thống giữ ổn định ứng với góc công suất cắt chuẩn [18,23] ba giai đoạn cố mà HTĐ trải qua: trƣớc cố, cố sau cố Trong đánh giá ổn định động, không cần quan tâm CCT mà cần quan sát trình độ xảy gặp cố, câu hỏi mấu chốt đánh giá ổn định động sau dao động độ kết HTĐ ổn định hay không ổn định [19] toán chuẩn đoán ổn định độ thƣờng xem xét trình trƣớc cố sau cố, chuẩn đoán ổn định qua xác định góc đồng thời gian từ lúc dao động Do kích cỡ HTĐ ngày lớn quy mô, phức tạp cấu trúc, giải HVTH: Nguyễn Văn Trọng trang Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh phƣơng pháp truyền thống nhiều thời gian gây chậm trễ việc định nên cần giải pháp đánh giá nhanh tin cậy Hệ thống nhận dạng kết hợp phƣơng pháp ANN, có ƣu điểm lớn khả tính toán song song, nhanh xác cao Để hệ thống nhận dạng ANN có hiệu suất cao biến đặc trƣng đầu vào phải đƣợc chọn hiệu quả, biến đặc trƣng lại gia tăng theo kích cỡ HTĐ, nên cần phải tìm giải pháp trích xuất giảm biến đặc trƣng, phân loại nhóm liệu biến đặc trƣng giúp cho hệ thống nhận dạng ANN xử lý liệu cách nhanh chóng nâng cao độ xác.Điều công trình công bố hạn chế, đòi hỏi phải có cách phân loại mẫu hiệu quả, giúp giải toán chuẩn đoán nhanh ổn định HTĐ cảnh báo sớm trƣờng hợp không ổn định ANN công cụ tính toán hiệu suất cao đƣợc lựa chọn để đánh giá ổn định động HTĐ Hiệu suất ANN ứng dụng để đánh giá ổn định động HTĐ yêu cầu trình huấn luyện ANN bao trùm toàn kịch vận hành hệ thống mà không ảnh hƣởng đến cấu trúc hệ thống mức công suất phụ tải Vì vậy, trình lựa chọn biến đặc trƣng phù hợp yêu cầu để xây dựng công cụ tối ƣu để đánh giá xác ổn định động HTĐ So sánh với phƣơng pháp đánh giá ổn định khác, đặc điểm bật ANN gồm: tốc độ đánh giá ổn định theo thời gian thực, yêu cầu liệu hơn, khả tổng hợp mở rộng cao Điển hình phát triển hệ thống nhận dạng gồm bƣớc sau: - Tạo sở liệu - Thiết lập mẫu liệu ngõ vào/ngõ - Trích xuất tri thức (bao gồm mối quan hệ mẫu liệu ngõ vào ngõ thuật toán học) - So sánh, đánh giá hiệu suất ANN Các nghiên cứu gần chủ yếu tập trung vào bƣớc thứ ba quan tâm đến bƣớc lựa chọn biến đặc trƣng ngõ vào, thực tế bƣớc quan trọng ảnh hƣởng đến hiệu suất ANN Nó không định đến thời gian tính toán HVTH: Nguyễn Văn Trọng trang Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh trình mô off-line mà tác động lớn đến độ xác Lựa chọn biến đặc trƣng quan trọng bƣớc xây dựng hệ thống nhận dạng đánh giá ổn định động HTĐ dùng mạng nơ-ron Các công trình nghiên cứu gần chƣa thực hiệu có hệ thống vấn đề lựa chọn biến đặc trƣng cho đánh giá ổn định HTĐ Do cần thiết giới thiệu, bổ sung thêm số phƣơng pháp để làm phong phú thêm phƣơng pháp lựa chọn biến đặc trƣng Mục tiêu luận văn nhằm bổ sung điểm cần thiết 1.2 Mục tiêu đề tài  Tạo mẫu lựa chọn thông số điển hình cho HTĐ, dựa sở mạng nơ-ron truyền thẳng nhiều lớp để nhận dạng nhanh trạng thái ổn định động HTĐ 1.3 Nhiệm vụ đề tài giới hạn đề tài 1.3.1 Nhiệm vụ đề tài  Nghiên cứu lý thuyết mạng nơ-ron, nhận dạng ổn định HTĐ;  Tạo mẫu lựa chọn thông số điển hình đánh giá ổn định động HTĐ;  Ứng dụng phần mềm Matlab, PowerWorld nhằm tạo sở liệu xây dựng mô hình mô để nhận dạng ổn định động HTĐ;  Đánh giá hiệu phƣơng pháp nhận dạng đề xuất 1.3.2 Giới hạn đề tài  Thử nghiệm phƣơng pháp nhận dạng ổn định động HTĐ điển hình (hệ thống IEEE 30bus, máy phát) với dạng cố xảy 1.4 Phƣơng pháp nghiên cứu  Nghiên cứu tài liệu;  Mô hình hóa mô phỏng;  Mạng nơ-ron;  Phân tích, tổng hợp HVTH: Nguyễn Văn Trọng trang Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh Chƣơng MẠNG NƠ-RON VÀ ỔN ĐỊNH HỆ THỐNG ĐIỆN 2.1 MẠNG NƠ-RON 2.1.1 Khái niệm Nơ-ron nhân tạo chép nơ-ron sinh học não ngƣời, có đặc tính sau:  Mỗi nơ-ron có số đầu vào, kết nối (synaptic) đầu (axon);  Một nơ-ron hoạt động (+35mV) không hoạt động (-0,75mV);  Chỉ có đầu nơ-ron đƣợc nối với đầu vào khác nơ-ron khác Điều kiện để nơ-ron đƣợc kích hoạt hay không kích hoạt phụ thuộc đầu vào thời Thông thƣờng nơ-ron có phần nhƣ Hình 2.1: y1 Wi1 yj Wij ym WiN u1 Wil* uk Wik* um Wim* θ ⅀ vi Hệ động học tuyến tính xi Hàm động học phi tuyến a(.) yi Hình 2.1: Mô hình nơ-ron nhân tạo Trên đầu vào nơ-ron có gắn trọng số để liên kết nơ-ron thứ i nơ-ron thứ j Các trọng số tƣơng tự nhƣ tế bào cảm giác mạng nơron sinh học HVTH: Nguyễn Văn Trọng trang Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh Tổng trọng: N M j 1 k 1 Vi (t )  neti (t )   Wij y j (t )   W*ik u k (t )  i (2.1) Với Vi(t) tổng trọng nơ-ron thứ i; yj(t) đầu nơ-ron thứ j uk(t) đầu vào từ bên tƣơng ứng với trọng số Wij W*ik; θi số, gọi ngƣỡng nơ-ron thứ i 2.1.2 Cấu trúc mạng nơ-ron nhân tạo Bộ não ngƣời có khoảng 1011÷1012 nơ-ron Mỗi nơ-ron liên kết với 104 nơ-ron khác thông qua khớp nối (dendrite) Các nơ-ron nhận tín hiệu điện từ khớp nối sau tổng hợp tín hiệu vƣợt ngƣỡng cho phép nơ-ron kích hoạt tín hiệu điện ngõ để truyền tới trục nơ-ron (axon) dẫn đến nơ-ron khác Mối nối Tín hiệu từ trục nơ-ron khác Khớp nối Trục nơ-ron Thân nơ-ron Hình 2.2: Cấu trúc nơ-ron sinh học Hình 2.3: Sự liên kết nơ-ron Mạng nơ-ron nhân tạo hoạt động dựa theo cách thức não HVTH: Nguyễn Văn Trọng trang Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh ngƣời nhƣng cấp độ đơn giản Nó tái tạo kỹ thuật chức hệ thần kinh ngƣời gồm vô số nơ-ron liên kết với (Hình 2.3) Hai đặc tính mạng nơ-ron là:  Quá trình tính toán đƣợc tiến hành song song phân tán nhiều nơ-ron gần nhƣ đồng thời  Tính toán thực chất trình học, theo sơ đồ định sẵn từ trƣớc 2.1.3 Mô hình toán mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo gồm thuộc tính: trọng số kết nối, ngƣỡng phân cực hàm kích hoạt x1 W1 x2 W2 Hàm kích hoạt y ⅀ xn Wn Trọng số kết nối θ Ngƣỡng Hình 2.4: Mô hình toán nơ-ron nhân tạo Ta đặt X  [ x1 , x2 , , xn ]T cƣờng độ vector ngõ vào Ngõ mạng đƣợc tính theo công thức:  n   y  f  w j x j     f (W T X   )  i1   (2.2) + Trọng số kết nối W  [ w1 , w2 , , wn ]T (2.3) + Ngưỡng phân cực (ký hiệu θ) giá trị biên độ độ lệch, ảnh hƣởng đến kích hoạt ngõ nơ-ron theo công thức: u  X TW   + Hàm kích hoạt: xử lý thông tin tín hiệu đầu vào tín hiệu đầu Hàm tổng (u): dùng để kết hợp xử lý thông tin đầu vào HVTH: Nguyễn Văn Trọng trang (2.4) Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh  Hàm tuyến tính (linear fuction)  n   u   w j x j     (W T X   )  j1   (2.5)  Hàm toàn phƣơng (quadratic function) n u   w j x 2j   (2.6) j 1  Hàm cầu (spherical function)   n      u    x j  w j      ( X  W )T ( X  W )      j1     (2.7) Thông thƣờng, hàm tổng đƣợc sử dụng nhiều hàm tuyến tính Hàm kích hoạt để xử lý tín hiệu ngõ với số kiểu hàm thông dụng: + Hàm nấc: 0,  y  f (u )      1, u 0 u 0 (2.8) f(u) u o Hình 2.5 : Hàm nấc + Hàm dấu:  1, y  f (u )       1, u 0 u 0 (2.9) f(u) u o -1 Hình 2.6: Hàm dấu HVTH: Nguyễn Văn Trọng trang 10 Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh + Hàm tuyến tính (linear fuction): y  f (u )  .u (2.10) Với α độ dốc hàm tuyến tính, độ dốc α = hàm tuyến tính đƣợc gọi hàm đồng – hàm lặp f(u) u o Hình 2.7 : Hàm tuyến tính + Hàm tuyến tính bão hòa: 1,    y  f (u )   u,      1, u  1 1  u  u 1 (2.11) f(u) -1 u o -1 Hình 2.8 : Hàm tuyến tính bão hòa + Hàm dạng S (sigmoid) đơn cực: y  f (u )  1  eu (2.12) Với λ hệ số dạng hàm sigmoid Hàm đặc biệt thuận lợi sử dụng cho mạng đƣợc huấn luyện thuật toán lan truyền ngƣợc (backpropagation) dễ lấy đạo hàm, giảm HVTH: Nguyễn Văn Trọng trang 11 Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh đáng kể tính toán trình huấn luyện Hàm đƣợc ứng dụng cho chƣơng trình ứng dụng mà đầu mong muốn rơi vào khoảng [0,1] f(u) 0.7 0.5 0.3 u o Hình 2.9 : Hàm Sigmoid đơn cực + Hàm dạng S lƣỡng cực: y  f (u )  1  eu (2.13) f(u) 0.9 0.5 0.3 o u -1 Hình 2.10 : Hàm Sigmoid lưỡng cực Hàm có thuộc tính tƣơng tự hàm sigmoid, làm việc tốt ứng dụng có đầu yêu cầu khoảng [-1,1] Đối với đơn vị đầu ra, hàm kích hoạt cần đƣợc chọn cho phù hợp với phân phối giá trị đích mong muốn Chúng ta thấy giá trị khoảng [0,1] hàm sigmoid có ích, giá trị đích mong muốn liên tục khoảng hàm có ích, cho ta giá trị hay giá trị đích đƣợc khoảng hàm kích hoạt đầu HVTH: Nguyễn Văn Trọng trang 12 Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh 2.1.4 Phân loại mạng nơ-ron Nelson Illingworth (1991) đƣa số loại cấu trúc mạng nơ-ron Nơ-ron đƣợc vẽ vòng tròn xem nhƣ tế bào thần kinh, chúng có mối liên hệ đến nơ-ron khác nhờ trọng số, lập thành ma trận trọng số tƣơng ứng, nơ-ron phối hợp với nơ-ron khác tạo thành lớp trọng số Mạng lớp truyền thẳng (Single- Layer Feedforward Network) Hình 2.11 x1 W11 x2 xm y1 y2 Wmm ym Hình 2.11: Mạng nơ-ron truyền thẳng lớp Có thể nối vài lớp nơ-ron với tạo thành mạng nhiều lớp truyền thẳng (Multi- Layer Feedforward Network) Hình 2.12 x1 y1 x2 y2 xm ym Hình 2.12: Mạng nơ-ron truyền thẳng nhiều lớp Hai loại mạng nơ-ron lớp nhiều lớp đƣợc gọi truyền thẳng đầu nơ-ron đƣợc nối với đầu vào nơ-ron thuộc lớp trƣớc Mạng nơ-ron phản hồi mạng có đầu nơ-ron đƣợc quay trở lại nối với đầu vào nơ-ron lớp nhƣ Hình 2.13 Mạng nơ-ron phản hồi thực đóng vòng đƣợc gọi mạng nơ-ron hồi quy (Recurrent Network) Hình 2.14 HVTH: Nguyễn Văn Trọng trang 13 Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh Các nơ-ron lớp vào trực tiếp nhận tín hiệu đầu vào, nơ-ron có tín hiệu vào, nơ-ron lớp ẩn đƣợc nối với tất nơ-ron lớp vào lớp Các nơ-ron lớp có đầu vào đƣợc nối với tất nơ-ron lớp ẩn, chúng đầu mạng, mạng nơ-ron có nhiều lớp ẩn Các mạng nơ-ron nơ-ron đƣợc liên hệ với tất nơ-ron lớp tất mối liên kết đƣợc xây dựng từ trái sang phải đƣợc gọi mạng nhiều lớp truyền thẳng (perceptrons) x1 y1 x2 y2 xm ym Hình 2.13: Mạng nơ-ron phản hồi x1 W11 y1 x2 xm y2 Wmm ym Hình 2.14: Mạng nơ-ron hồi quy 2.1.4.1 Mạng nơ-ron truyền thẳng lớp Một lớp nơ-ron nhóm nơ-ron mà chúng nhận số tín hiệu vào đồng thời (Hình 2.11) Trong ma trận trọng số W, dòng thể trọng số nơ-ron, dòng thứ j đặt nhãn nhƣ vector wj nơ-ron thứ j gồm m trọng số wij w j  (w j1,w j2 , ,w jm ) HVTH: Nguyễn Văn Trọng trang 14 (2.14) Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh Các trọng số cột thứ j (j = 1, 2, …, n) đồng thời nhận tín hiệu vào xj Tại thời điểm, vector đầu vào x = (x1, x2 xj…, xm) nguồn bên cảm biến thiết bị đo lƣờng đƣa tới mạng Tới toàn ma trận trọng số wij đƣợc xác định tƣơng ứng với vector đầu vào x tích số wij * xi đƣợc tính toán 2.1.4.2 Mạng nơ-ron truyền thẳng nhiều lớp Trong mạng nơ-ron truyền thẳng nhiều lớp (Hình 2.12), lớp đƣợc phân chia thành loại sau đây: Lớp vào: lớp nơ-ron nhận tín hiệu vào xi vector tín hiệu vào x Mỗi tín hiệu xi tín hiệu vào đƣợc đƣa đến tất nơ-ron lớp nơron đầu tiên, chúng đƣợc phân phối trọng số có số lƣợng số nơron lớp Thông thƣờng, nơ-ron đầu vào không làm biến đổi tín hiệu vào xi, tức chúng trọng số loại hàm chuyển đổi nào, chúng đóng vai trò phân phối tín hiệu không đóng vai trò sửa đổi chúng Lớp ẩn: lớp nơ-ron dƣới lớp vào, chúng không trực tiếp liên hệ với giới bên nhƣ lớp nơ-ron vào Lớp ra: lớp nơ-ron tạo tín hiệu cuối 2.1.4.3 Mạng nơ-ron hồi quy Mạng nơ-ron hồi quy (Recurrent Neural Networks) đƣợc gọi mạng phản hồi (Feedback Networks) loại mạng tự liên kết thành vòng liên kết hồi quy nơ-ron Mạng nơ-ron hồi quy có trọng số liên kết đối xứng nhƣ mạng Hopfield hội tụ trạng thái ổn định (Hopfid, 1982) Mạng liên kết chiều (Bidirectional Associative Memory – BAM) mạng thuộc nhóm mạng nơ-ron hồi quy gồm lớp nơ-ron liên kết tay đôi, đảm bảo nơ-ron lớp không liên kết với hội tụ trạng thái ổn định (Kosko, 1986) Nghiên cứu mạng nơ-ron hồi quy có trọng số liên kết không đối xứng gặp nhiều HVTH: Nguyễn Văn Trọng trang 15 Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh phức tạp so với mạng truyền thẳng (Feedforward Networks) mạng hồi quy đối xứng (Symmetrich Recurrent Neural Networks) Mạng nơ-ron hồi quy có khả nhận dạng mẫu, nhận dạng hàm phi tuyến, dự báo … Một ƣu điểm khác mạng nơ-ron hồi quy cần mạng nhỏ cấu trúc có khả nhƣ mạng truyền thẳng có cấu trúc lớn Nó khắc phục đƣợc giả thuyết truyền thống mạng nơ-ron coi mạng có số nơ-ron đủ lớn Mạng nơ-ron hồi quy gồm hai loại: hồi quy không hoàn toàn (Partially Recrrent Networks) hồi quy hoàn toàn (Fully Recrrent Networks) + Mạng hồi quy không hoàn toàn (Partially Recurrent Networks): Là mạng dựa sở mạng lan truyền ngƣợc (Back – Propagation) với cấu trúc hồi quy, mạng có cấu trúc phần lớn truyền thẳng có chọn lựa cho phận có cấu trúc hồi quy Trong nhiều trƣờng hợp, trọng số cấu trúc hồi quy đƣợc trì không đổi nên luật học lan truyền ngƣợc đƣợc dễ dàng sử dụng Các mạng đƣợc gọi mạng dãy (Sequential Networks) nút nhận tín hiệu hồi quy đƣợc gọi phần tử Context (Context Units) Trong mạng loại này, tín hiệu truyền thẳng xảy nhanh không phụ thuộc vào thời gian, tín hiệu hồi quy thực có tính thời gian Từ đó, thời điểm t phần tử nằm phạm vi Context Units có tín hiệu vào từ phần mạng thời điểm (t – 1) Vì vậy, phận nằm phạm vi nhớ đƣợc số liệu khứ từ kết biến đổi thời điểm t Do vậy, trạng thái mạng nguyên thủy mẫu phụ thuộc vào trạng thái nhƣ dòng thông tin đầu vào Mạng nhận mẫu (Recognice) dãy dựa vào tình trạng cuối dãy dự báo cho tín hiệu dãy theo thời gian Từ đó, mạng hồi quy không hoàn toàn mạng truyền thẳng, liên kết hồi quy từ nút lớp lớp ẩn + Mạng nơ-ron hồi quy hoàn toàn (Fully Recurrent Networks): Là mạng nơ-ron hồi quy đƣợc Gossberg xây dựng để học biểu diễn mẫu Loại mạng đƣợc xây dựng theo mẫu Instar- Outstar nhận số lƣợng mẫu nhiều nhơn Với mạng hồi quy hoàn toàn hình thành quan điểm thực HVTH: Nguyễn Văn Trọng trang 16 Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh luyện mạng hồi quy từ mạng truyền thẳng nhiều lớp đƣợc xây dựng từ lớp cho bƣớc tính Khái niệm đƣợc gọi lan truyền ngƣợc theo thời gian phù hợp quan tâm đến dãy với độ lớn T nhỏ Nó đƣợc sử dụng học cho máy ghi với nhiệm vụ thực dãy có khả áp dụng cho điều khiển thích nghi 2.1.5 Các luật học Thông thƣờng mạng nơ-ron đƣợc điều chỉnh đƣợc huấn luyện để hƣớng đầu vào riêng biệt đến đích đầu Cấu trúc huấn luyện mạng đƣợc Hình 2.15 Ở đây, hàm trọng mạng đƣợc điều chỉnh sở so sánh đầu với đích mong muốn (taget) đến đầu mạng phù hợp với đích Những cặp vào/đích (input/taget) đƣợc dùng để giám sát cho huấn luyện mạng Đích Vào Hàm trọng (weights) nơ-ron So sánh Điều chỉnh Hình 2.15: Cấu trúc huấn luyện mạng nơ-ron Để có đƣợc số cặp vào/ra, giá trị vào đƣợc gửi đến mạng giá trị tƣơng ứng đƣợc thực mạng xem xét so sánh với giá trị mong muốn Thông thƣờng tồn sai số giá trị mong muốn không hoàn toàn phù hợp với giá trị thực Sau lần chạy, ta có tổng bình phƣơng tất sai số, sai số đƣợc sử dụng để xác định hàm trọng Mỗi lần chạy, hàm trọng mạng đƣợc sửa đổi với đặc tính tốt tƣơng ứng với đặc tính mong muốn Từng cặp giá trị vào/ra phải đƣợc kiểm tra trọng lƣợng đƣợc điều chỉnh vài lần Sự thay đổi hàm trọng mạng đƣợc dừng lại tổng bình phƣơng sai số nhỏ giá trị đặt trƣớc chạy đủ số lần chạy xác định (trong trƣờng hợp mạng không thoả mãn yêu cầu đặt sai lệch HVTH: Nguyễn Văn Trọng trang 17 Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh cao) Có hai kiểu học học thông số học cấu trúc Học thông số (paramater learning) tìm biểu thức cập nhật thông số trọng số, cập nhật kết nối nơ-ron Học cấu trúc (structure learning) biến đổi cấu trúc mạng nơ-ron gồm số lƣợng nút (node) mẫu liên kết Nhiệm vụ việc học thông số cách tìm đƣợc ma trận xác mong muốn từ ma trận giả thiết ban đầu với cấu trúc mạng nơ-ron có sẵn Vì vậy, mạng nơ-ron sử dụng trọng số điều chỉnh với nhiều phƣơng pháp học khác tính toán gần ma trận W cần tìm đặc trƣng cho mạng Có ba phƣơng pháp học: + Học có giám sát ( supervised learning): trình học thời điểm thứ i đƣa tín hiệu xi đƣợc đƣa vào mạng nơ-ron, tƣơng ứng có đáp ứng mong muốn di đầu cho trƣớc thời điểm Có thể nói, trình học có giám sát, mạng nơ-ron đƣợc cung cấp liên tục cặp số liệu mong muốn vào/ra thời điểm (x1, d1), (x1, d2), (xk, dk),… cho tín hiệu vào thực xk tƣơng ứng có tín hiệu đầu đƣợc lặp lại dk giống nhƣ mong muốn Kết trình học có giám sát tạo đƣợc hộp đen có đầu vào vector tín hiệu vào x đƣa đƣợc câu trả lời d Để đạt đƣợc kết mong muốn trên, đƣa vào tín hiệu xk, thông thƣờng có sai lệch ek tín hiệu đầu thực yk với tín hiệu đầu mong muốn dk Sai lệch đƣợc truyền ngƣợc tới đầu vào để điều chỉnh thông số mạng nơ-ron ma trận trọng số W Quá trình tiếp tục lặp lại cho sai lệch tín hiệu mong muốn tín hiệu thực tế nằm phạm vi cho phép, kết nhận đƣợc ma trận trọng số với phần tử Wij đƣợc điều chỉnh phù hợp với đặc điểm đối tƣợng hay hàm số mạng nơ-ron cần học Mô hình học có giám sát đƣợc minh họa nhƣ Hình 2.16 Nhƣ vậy, học có giám sát đƣợc xem nhƣ việc xấp xỉ ánh xạ X→ Y, X tập vấn đề Y tập lời giải tƣơng ứng cho vấn đề Các mẫu (x, y) với x = (x1, x2, ., xn) ∈ X, y = (yl, y2, , ym) ∈ Y đƣợc cho HVTH: Nguyễn Văn Trọng trang 18 Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh trƣớc Học có giám sát mạng nơ-ron thƣờng đƣợc thực theo bƣớc sau: x y Mạng nơ-ron e Máy tính phát sai d Hình 2.16: Mô hình học có giám sát học củng cố - Bƣớc 1: Xây dựng cấu trúc thích hợp cho mạng nơ-ron, chẳng hạn có (n+1) nơ-ron vào (n nơ-ron cho biến vào nơ-ron cho ngƣỡng x0), m nơ-ron đầu khởi tạo trọng số liên kết mạng - Bƣớc 2: Đƣa vector x tập mẫu huấn luyện X vào mạng - Bƣớc 3: Tính vector đầu d mạng - Bƣớc 4: So sánh vector đầu mong muốn y (là kết đƣợc cho tập huấn luyện) với vector đầu d mạng tạo ra; đánh giá lỗi - Bƣớc 5: Hiệu chỉnh trọng số liên kết theo cách cho lần đƣa vector x vào mạng, vector đầu d giống với y - Bƣớc 6: Nếu cần, lặp lại bƣớc từ đến mạng đạt tới trạng thái hội tụ Việc đánh giá lỗi thực theo nhiều cách, cách dùng nhiều là:  Lỗi tức thời: Err = (d - y), Err = |d - y| (2.15)  Lỗi trung bình bình phƣơng (MSE - Mean-Square Error) Err = (d- y)2/2 (2.16) Có hai loại lỗi đánh giá mạng nơ-ron Thứ lỗi rõ ràng (apparent error), đánh giá khả xấp xỉ mẫu huấn luyện mạng đƣợc huấn luyện Thứ hai lỗi kiểm tra (test error), đánh giá khả tổng quát hóa HVTH: Nguyễn Văn Trọng trang 19 S K L 0 [...]... đƣợc dùng để giám sát cho huấn luyện mạng Đích Vào Hàm trọng (weights) giữa các nơ-ron So sánh Điều chỉnh Hình 2.15: Cấu trúc huấn luyện mạng nơ-ron Để có đƣợc một số cặp vào/ra, ở đó mỗi giá trị vào đƣợc gửi đến mạng và giá trị ra tƣơng ứng đƣợc thực hiện bằng mạng là sự xem xét và so sánh với giá trị mong muốn Thông thƣờng tồn tại một sai số vì giá trị mong muốn không hoàn toàn phù hợp với giá trị thực... có giám sát trong các mạng nơ-ron thƣờng đƣợc thực hiện theo các bƣớc sau: x y Mạng nơ-ron e Máy tính phát hiện sai d Hình 2.16: Mô hình học có giám sát và học củng cố - Bƣớc 1: Xây dựng cấu trúc thích hợp cho mạng nơ-ron, chẳng hạn có (n+1) nơ-ron vào (n nơ-ron cho biến vào và 1 nơ-ron cho ngƣỡng x0), m nơ-ron đầu ra và khởi tạo các trọng số liên kết của mạng - Bƣớc 2: Đƣa một vector x trong tập mẫu. .. hơn một giá trị đặt trƣớc hoặc đã chạy đủ một số lần chạy xác định (trong trƣờng hợp này mạng có thể không thoả mãn yêu cầu đặt ra do sai lệch HVTH: Nguyễn Văn Trọng trang 17 Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh còn cao) Có hai kiểu học là học thông số và học cấu trúc Học thông số (paramater learning) là tìm ra biểu thức cập nhật các thông số về trọng số, cập nhật kết nối giữa các nơ-ron Học cấu... lần chạy, ta có tổng bình phƣơng của tất cả các sai số, sai số này đƣợc sử dụng để xác định các hàm trọng mới Mỗi lần chạy, hàm trọng của mạng đƣợc sửa đổi với đặc tính tốt hơn tƣơng ứng với đặc tính mong muốn Từng cặp giá trị vào/ra phải đƣợc kiểm tra và trọng lƣợng đƣợc điều chỉnh một vài lần Sự thay đổi các hàm trọng của mạng đƣợc dừng lại nếu tổng các bình phƣơng sai số nhỏ hơn một giá trị đặt trƣớc... nhận một số tín hiệu vào đồng thời (Hình 2.11) Trong ma trận trọng số W, các dòng thể hiện trọng số của mỗi nơ-ron, mỗi dòng thứ j có thể đặt nhãn nhƣ một vector wj của nơ-ron thứ j gồm m trọng số wij w j  (w j1,w j2 , ,w jm ) HVTH: Nguyễn Văn Trọng trang 14 (2.14) Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh Các trọng số trong cùng một cột thứ j (j = 1, 2, …, n) đồng thời nhận cùng một tín hiệu vào xj... ra thực tế nằm trong phạm vi cho phép, kết quả nhận đƣợc ma trận trọng số với các phần tử Wij đã đƣợc điều chỉnh phù hợp với đặc điểm của đối tƣợng hay hàm số mạng nơ-ron cần học Mô hình học có giám sát đƣợc minh họa nhƣ Hình 2.16 Nhƣ vậy, học có giám sát có thể đƣợc xem nhƣ việc xấp xỉ một ánh xạ X→ Y, trong đó X là tập các vấn đề và Y là tập các lời giải tƣơng ứng cho vấn đề đó Các mẫu (x, y) với... vào: là lớp nơ-ron đầu tiên nhận các tín hiệu vào xi của vector tín hiệu vào x Mỗi tín hiệu xi của tín hiệu vào sẽ đƣợc đƣa đến tất cả các nơ-ron của lớp nơron đầu tiên, chúng đƣợc phân phối trên các trọng số có số lƣợng đúng bằng số nơron của lớp này Thông thƣờng, các nơ-ron đầu vào không làm biến đổi các tín hiệu vào xi, tức là chúng không có các trọng số hoặc không có các loại hàm chuyển đổi nào,... các đơn vị đầu ra, các hàm kích hoạt cần đƣợc chọn sao cho phù hợp với sự phân phối của các giá trị đích mong muốn Chúng ta đã thấy rằng đối với các giá trị ra trong khoảng [0,1] thì hàm sigmoid là có ích, đối với các giá trị đích mong muốn là liên tục trong khoảng đó thì hàm này cũng vẫn có ích, nó có thể cho ta các giá trị ra hay giá trị đích đƣợc căn trong một khoảng của hàm kích hoạt đầu ra HVTH:... có đầu vào là vector tín hiệu vào x sẽ đƣa ra đƣợc câu trả lời đúng d Để đạt đƣợc kết quả mong muốn trên, khi đƣa vào tín hiệu xk, thông thƣờng sẽ có sai lệch ek giữa tín hiệu đầu ra thực yk với tín hiệu đầu ra mong muốn dk Sai lệch đó sẽ đƣợc truyền ngƣợc tới đầu vào để điều chỉnh thông số mạng nơ-ron là ma trận trọng số W Quá trình tiếp tục lặp lại sao cho sai lệch giữa tín hiệu ra mong muốn và tín... nối với đầu vào của các nơ-ron cùng lớp nhƣ Hình 2.13 Mạng nơ-ron phản hồi có thể thực hiện đóng vòng đƣợc gọi là mạng nơ-ron hồi quy (Recurrent Network) Hình 2.14 HVTH: Nguyễn Văn Trọng trang 13 Luận văn thạc sĩ GVHD: PGS.TS Quyền Huy Ánh Các nơ-ron lớp vào trực tiếp nhận tín hiệu ở đầu vào, ở đó mỗi nơ-ron chỉ có một tín hiệu vào, mỗi nơ-ron ở lớp ẩn đƣợc nối với tất cả các nơ-ron lớp vào và lớp ra