1 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG LÊ MINH TRÍ XÂY DỰNG HỆ THỐNG THU NHẬN VÀ XỬ LÝ THÔNG TIN ĐIỆN VĂN PHỤC VỤ CÔNG TÁC KIỂM TRA, THỐNG KÊ TẠI TRUNG TÂM QUẢN LÝ BAY MIỀN TRUNG Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 60.48.01 Cơng trình hồn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: PGS.TS Võ Trung Hùng Phản biện 1: Phản biện 2:……………………………………………… Luận văn ñược bảo vệ trước Hội ñồng chấm Luận văn tốt nghiệp Thạc sĩ Khoa học Máy tính họp Đại học Đà Nẵng vào ngày… tháng….năm 2011 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng – Năm 2011 Có thể tìm hiểu luận văn tại: - Trung tâm Thông tin - Học liệu, Đại học Đà Nẵng - Trung tâm Học liệu, Đại học Đà Nẵng MỞ ĐẦU Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu ñề tài gồm tập tin ñiện văn hệ thống AMSS, kỹ thuật trích lọc thơng tin Phạm vi nghiên cứu ñề tài hệ thống chuyển tiếp ñiện văn tự ñộng AMSS, nhu cầu tra cứu thông tin lập báo cáo kiểm sốt viên khơng lưu thuộc Trung tâm Quản lý bay miền Trung Phương pháp nghiên cứu Phương pháp ñược sử dụng ñề tài dựa vào tập tin hệ thống AMSS, kỹ thuật trích lọc thơng tin, khai phá liệu, tra cứu thơng tin Từ tạo mơ-dun đọc liệu điện văn, trích lọc thơng tin chứa điện văn từ hệ thống AMSS ñể xây dựng phần mềm cho phép người sử dụng tra cứu thơng tin cần thiết Ý nghĩa khoa học thực tiễn đề tài Sau q trình thực đề tài, tơi nghiên cứu ứng dụng thành công hệ thống thu nhận xử lý thông tin ñiện văn Hệ thống ñược sử dụng Trung tâm Quản lý bay miền Trung Cấu trúc luận văn Luận văn ñược tổ chức thành chương sau: Chương 1: Nghiên cứu tổng quan: chương trình bày khái niệm mạng viễn thơng cố định hàng khơng, hệ thống chuyển tiếp điện văn tự động AMSS Cơ sở lý thuyết kỹ thuật trích lọc thông tin, khai phá liệu Chương 2: Giải pháp ñề xuất: chương mô tả yêu cầu ñối với hệ thống, kiến trúc tổng thể mơ hình hoạt ñộng hệ thống Giải pháp ñể triển khai hệ thống Chương 3: Phát triển ứng dụng: chương trình bày cơng cụ để phát triển hệ thống, xây dựng mơ-dun trích lọc thơng tin, xây dựng giao diện hiển thị thông tin cho phép người sử dụng tra cứu thơng tin Q trình cài đặt, thử nghiệm ứng dụng ñánh giá kết Lý chọn đề tài Hiện nay, thơng tin lĩnh vực hàng khơng trao đổi hệ thống, hệ thống gọi AMSS (Automatic Message Switching System) hay gọi hệ thống chuyển tiếp điện văn tự động Các thơng tin trao ñổi bao gồm thông tin kế hoạch bay, thời tiết, thơng tin chuyến bay…và chuyển ñịnh dạng text Hệ thống ñược phát triển đóng gói để cài đặt cho trung tâm ñiều hành bay khu vực trung tâm.Tuy nhiên, người dùng can thiệp vào mã nguồn hệ thống để sửa đổi, bổ sung tính mà họ cần Vì việc thống kê báo cáo số thơng tin như: chuyến bay đi, ñến, cảnh qua khu vực miền Trung… ñiều ñược thống kê thủ công, dựa vào tập tin ñiện văn ñã ñược in ngày ñể tập trung lại Vấn ñề ñặt làm để trích lọc thơng tin có ñiện văn từ hệ thống AMSS tổng hợp lại để giúp cho kiểm sốt viên khơng lưu dễ dàng thống kê, theo dõi theo thời gian mà ta muốn Với lý người cơng tác Trung tâm Quản lý bay miền Trung, chọn ñề tài “ Xây dựng hệ thống thu nhận xử lý thơng tin điện văn phục vụ cơng tác kiểm tra, thống kê Trung tâm Quản lý bay miền Trung” Mục đích nghiên cứu Hệ thống xây dựng với mục đích trích thơng tin từ tập tin ñiện văn, ñể ñưa thơng tin cần thiết Từ đó, ta tổng hợp tất thơng tin lại với nhau, ñưa báo cáo thông tin mà người dùng u cầu (thời tiết ngày đó, tổng số chuyến bay ñi ñến tháng…) 5 CHƯƠNG 1:NGHIÊN CỨU TỔNG QUAN Trong chương này, tơi tập trung trình bày khái niệm hệ thống thơng tin điện văn lĩnh vực hàng khơng, hệ thống chuyển tiếp ñiện văn tự ñộng AMSS, kỹ thuật trích lọc thơng tin, khai phá liệu Những nội dung chương sở ñể thực chương 1.1 Hệ thống thông tin ñiện văn lĩnh vực hàng không Trung tâm Quản lý bay dân dụng Việt Nam đơn vị có nhiệm vụ quản lý mạng AFTN quốc gia, ñảm bảo trì thơng tin liên lạc điện văn phục vụ cơng tác điều hành bay cách liên tục an toàn AFTN loại dịch vụ chuyển tin loại store-and-forward (là loại chuyển ñiện văn mà node trung gian nhận ñầy ñủ tin trước chuyển tiếp ñến node khác Loại chuyển ñiện văn yêu cầu nhiều nhớ node trung gian) ñể chuyển tin ký tự Các tin AFTN ñược chuyển theo bước nhảy theo tuyến cấu hình trước để chuyển tới ñịa thời gian ngắn 1.1.1 Mạng viễn thơng cố định hàng khơng AFTN 1.1.2 Điện văn hàng khơng Điện văn hàng khơng tin chuyển mạng viễn thơng cố định hàng khơng Các tin chứa tất thông tin liên quan đến lĩnh vực hàng khơng như: • Điện văn kế hoạch bay: bao gồm thông tin chuyến bay khởi hành hoạch hạ cánh • Điện văn khí tượng: bao gồm thơng tin dự báo thời tiết sân bay ñến, dự báo khu vực đường bay Ngồi cịn loại điện văn như: điện văn dịch vụ khơng báo hàng khơng, điện văn hàng hàng khơng, điện văn vụ 1.2 Hệ thống chuyển tiếp ñiện văn tự ñộng AMSS 1.2.1 Giới thiệu Hệ thống AMSS (Automatic Messages Switch System) hay cịn gọi hệ thống chuyển tiếp điện văn tự động Hệ thống có chức thu nhận xử lý ñiện văn mạng AFTN Một hệ thống AMSS tuý thực ñúng chức chuyển tiếp ñiện văn AFTN Đồng thời, ñảm bảo cho hệ thống AMSS có giao tiếp mở cho phép kết nối mềm dẻo với hệ thống xử lý liệu khác có liên quan như: xử lý số liệu bay, số liệu thời tiết, vụ hàng không… Hệ thống có khả hoạt động chế độ dự phịng nóng Hai máy chủ hoạt động song song Khi máy có cố, hệ thống tự động chuyển sang máy dự phịng cảnh báo để kỹ thuật viên xử lý Hệ thống ñược thiết kế ñáp ứng ñược lưu lượng 30,000 ñiện văn ngày Có khả kết nối quản lý 40 kênh truyền AFTN Có khả kiểm sốt tình trạng hoạt động tất kênh thiết bị hệ thống Đảm bảo khả kiểm sốt mạch UP/DOWN Có khả sử dụng hai loại Modem tự ñộng kết nối quay số (leased line , dialup) Tốc ñộ kênh truyền đến đầu cuối thiết lập từ 50 bauds ñến 230 kbps theo mức ñối với ñầu cuối sử dụng cổng RS-232, 10/100 Mbs ñối với ñầu cuối mạng LAN Có tệp nhật ký ghi nhận kiện trình hoạt động tất vị trí hệ thống Các kiện ñược ghi vào tệp Log Hệ thống có khả định cấu hình trực tuyến với mức độ tham số hố cao cho tác vụ mà khơng phải Reset lại hệ thống Hệ thống có chế quản lý người dùng an ninh ñể ñảm bảo ñộ ổn ñịnh an toàn toàn cho hệ thống 8 1.2.2 Những chức hệ thống AMSS 1.2.2.1 Xử lý ñiện văn 1.2.2.2 Lưu trữ ñiện văn 1.2.2.3 Truy xuất ñiện văn 1.2.2.4 Thống kê 1.3 Kỹ thuật trích lọc thơng tin (Information Extraction) 1.3.1 Giới thiệu trích lọc thơng tin Trích lọc thơng tin kỹ thuật sử dụng sau thơng tin qua tác vụ thu thập lấy về, việc phải lấy ñược thông tin cần thiết thông tin mà cần cách tự động khơng cần tới thao tác người sử dụng Hầu hết thuật tốn trích lọc thơng tin dựa vào công cụ khác kỹ thuật “Wrapper” Wrapper hiểu hàm ñể tách thông tin từ tài nguyên Các hàm ñược viết dựa luật (quy luật) ñã ñược ñúc rút sau khảo sát văn chứa thơng tin cần lấy Các Wrapper xây dựng dựa nhiều quy luật khác tuỳ thuộc vào mục đích người sử dụng 1.3.2 Các dạng trích lọc thơng tin Việc trích lọc nội dung văn phụ thuộc vào ñịnh dạng tập tin mà người dùng ñịnh nghĩa cho phép nhận diện Các tập tin phải ñược khai báo trước có cách đọc cách trích lọc khác Sau bước trích lọc nội dung văn định dạng tập tin tến trình khai phá tri thức từ sở liệu, tri thức hỗ trợ việc ñịnh khoa học kinh doanh Để hình dung vấn đề này, ta sử dụng ví dụ đơn giản sau: khai phá liệu ví tìm kim đống cỏ khơ 1.4.2 Q trình khai phá liệu Một trình khai phá liệu bao gồm giai đoạn sau: Đánh giá luật Khai phá liệu Chuyển ñổi liệu Làm sạch, tiền xử lý liệu Mơ hình Trích lọc liệu Gom liệu Dữ liệu đích Dữ liệu thơ, Dữ liệu làm sạch, tiền xử lý Dữ liệu chuyển đổi Dữ liệu Hình 1.1: Quá trình phát tri thức a Gom liệu (Gathering) b Trích lọc liệu c Làm sạch, tiền xử lý chuẩn bị trước liệu 1.3.2.1 Đối với tập tin HTML d Chuyển ñổi liệu 1.3.2.1 Đối với tập tin PPT e Phát trích mẫu liệu 1.4 Khai phá liệu ( Data Mining) 1.4.1 Giới thiệu khai phá liệu Khai phá liệu khái niệm ñời vào năm cuối thập kỷ 1980 Nó trình khám phá thơng tin ẩn tìm thấy sở liệu xem bước trình khám phá tri thức Khai phá liệu giai ñoạn quan trọng Tri thức f Đánh giá kết mẫu Trên ñây giai ñoạn trình khai phá liệu, giai đoạn giai đoạn ñược quan tâm nhiều hay gọi Data Mining 10 1.4.3 Các kiểu khai phá liệu 1.4.3.1 Khai phá liệu dự đốn Nhiệm vụ khai phá liệu dự đốn đưa dự đốn dựa vào suy diễn liệu thời Nó sử dụng biến hay trường sở liệu để dự đốn giá trị hay giá trị tương lai Bao gồm kĩ thuật: phân loại (classification), hồi quy (regression) a Phân loại Mục tiêu phương pháp phân loại liệu dự đốn nhãn lớp cho mẫu liệu Quá trình phân loại liệu thường gồm bước: xây dựng mơ hình sử dụng mơ hình để phân loại liệu Bước 1: Xây dựng mơ hình dựa việc phân tích mẫu liệu cho trước Mỗi mẫu thuộc lớp, ñược xác ñịnh thuộc tính gọi thuộc tính lớp Các mẫu liệu cịn gọi tập liệu huấn luyện Các nhãn lớp tập liệu huấn luyện ñều phải ñược xác ñịnh trước xây dựng mơ hình, phương pháp cịn gọi học có giám sát Bước 2: Sử dụng mơ hình để phân loại liệu Trước hết phải tính độ xác mơ hình Nếu độ xác chấp nhận được, mơ hình sử dụng để dự đốn nhãn lớp cho mẫu liệu khác tương lai Hay nói cách khác, phân loại học hàm ánh xạ mục liệu vào số lớp cho trước b Hồi qui Phương pháp hồi qui khác với phân loại liệu chỗ, hồi qui dùng để dự đốn giá trị liên tục, cịn phân loại liệu dùng để dự đốn giá trị rời rạc Hồi quy học hàm ánh xạ mục liệu vào biến dự báo giá trị thực Các ứng dụng hồi quy có nhiều, ví dụ đánh giá xác xuất bệnh nhân chết dựa tập kết xét nghiệm chẩn đốn, dự báo nhu cầu người tiêu dùng ñối với sản phẩn dựa hoạt ñộng quảng cáo tiêu dùng 1.4.3.2 Khai phá liệu mơ tả Kỹ thuật có nhiệm vụ mơ tả tính chất đặc tính chung liệu CSDL có Bao gồm kỹ thuật: phân cụm (clustering), phân tích luật kết hợp (association rules) a Phân cụm Mục tiêu phương pháp phân cụm liệu nhóm ñối tượng tương tự tập liệu vào cụm cho ñối tượng thuộc cụm tương đồng cịn đối tượng thuộc cụm khác khơng tương đồng Phân cụm liệu ví dụ phương pháp học khơng giám sát Không giống phân loại liệu, phân cụm liệu khơng địi hỏi phải định nghĩa trước mẫu liệu huấn luyện Vì thế, coi phân cụm liệu cách học quan sát (learning by observation), phân loại liệu học ví dụ (learning by example) Trong phương pháp ta biết kết cụm thu ñược bắt đầu q trình Vì vậy, thơng thường cần có chun gia lĩnh vực để đánh giá cụm thu ñược Phân cụm liệu ñược sử dụng nhiều ứng dụng phân ñoạn thị trường, phân ñoạn khách hàng, nhận dạng mẫu, phân loại trang Web… Ngồi phân cụm liệu cịn ñược sử dụng bước tiền xử lí cho thuật toán khai phá liệu khác b Luật kết hợp Mục tiêu phương pháp phát ñưa mối liên hệ giá trị liệu CSDL Mẫu ñầu giải thuật khai phá liệu tập luật kết hợp tìm Khai phá luật kết hợp thực qua bước: • Bước 1: tìm tất tập mục phổ biến, tập mục phổ biến ñược xác ñịnh qua tính ñộ hỗ trợ thỏa mãn độ hỗ trợ cực tiểu 11 12 • Bước 2: sinh luật kết hợp mạnh từ tập mục phổ biến, luật phải thỏa mãn ñộ hỗ trợ cực tiểu ñộ tin cậy cực tiểu Phương pháp ñược sử dụng hiệu lĩnh vực marketing có chủ đích, phân tích ñịnh, quản lí kinh doanh,… 1.4.4 Kỹ thuật phân loại khai phá liệu Các sở liệu với nhiều thơng tin ẩn sử dụng để tạo nên định kinh doanh thơng minh Phân loại dạng phân tích liệu, dùng để trích mơ hình mơ tả lớp liệu quan trọng hay ñể dự ñoán khuynh hướng liệu tương lai Phân loại dùng để dự đốn nhãn xác thực (hay giá trị rời rạc) Nhiều phương pháp phân loại ñược ñề xuất nhà nghiên cứu lĩnh vực học máy, hệ chuyên gia, thống kê Hầu hết giải thuật dùng với giả thiết kích thước liệu nhỏ Các nghiên cứu khai phá sở liệu gần ñây ñã phát triển, xây dựng mở rộng kỹ thuật phân loại có khả sử dụng liệu thường trú ñĩa lớn Các kỹ thuật thường ñược xem xét xử lý song song phân tán 1.4.4.1 Khái niệm phân loại 1.4.4.2 Các vấn ñề quan tâm phân loại a Chuẩn bi liệu ñể phân loại Các bước tiền xử lý liệu sau giúp cải thiện độ xác, hiệu suất khả mở rộng phân loại • Làm liệu: Đây q trình thuộc tiền xử lý liệu ñể gỡ bỏ làm giảm nhiễu cách xử lý giá trị khuyết Bước giúp làm giảm mập mờ học • Phân tích thích hợp: Nhiều thuộc tính liệu khơng thích hợp hay khơng cần thiết để phân loại Vì vậy, phép phân tích thích hợp thực liệu với mục đích gỡ bỏ thuộc tính khơng thích hợp hay khơng cần thiết Trong học máy, bước gọi trích chọn • đặc trưng Phép phân tích giúp phân loại hiệu nâng cao khả mở rộng Biến ñổi liệu: Dữ liệu tổng qt hố tới mức khái niệm cao Điều hữu ích cho thuộc tính có giá trị liên tục Ví dụ, giá trị số thuộc tính thu nhập tổng quát hoá sang phạm vi rời rạc thấp, trung bình cao Tương tự, thuộc tính giá trị tên đường phố tổng qt hố tới khái niệm mức cao thành phố Nhờ thao tác vào/ra q trình học ñi b So sánh phương pháp phân loại 1.4.4.3 Phân loại ñịnh quy nạp Cây định cấu trúc có dạng biểu đồ luồng, nút kiểm ñịnh thuộc tính, nhánh đại diện cho kết kiểm ñịnh, nút ñại diện cho lớp Nút cao nút gốcĐể phân loại mẫu chưa biết, giá trị thuộc tính mẫu ñược kiểm ñịnh Đường ñi từ gốc tới nút cho biết dự đốn lớp mẫu Cây định dễ dàng chuyển ñổi thành luật phân loại Giải thuật tảng ñịnh quy nạp ID3, giải thuật ñịnh quy nạp tiếng a Chiến lược ID3 Giải thuật ñịnh quy nạp bao gồm chiến lược sau: • Cây bắt ñầu nút ñơn ñại diện cho mẫu huấn luyện • Nếu tất mẫu lớp nút trở thành gắn nhãn với lớp Ngược lại, giải thuật sử dụng phép đo Entropy để lựa chọn thuộc tính Đây thuộc tính phân tách tốt mẫu vào lớp riêng biệt Thuộc tính trở thành thuộc tính "kiểm định" hay "quyết định" nút Trong version giải thuật, tất 13 14 thuộc tính xác thực, tức giá trị rời rạc Các thuộc tính giá trị liên tục phải rời rạc hóa Một nhánh tạo lập cho giá trị ñã biết thuộc tính kiểm định mẫu phân chia cách phù hợp Giải thuật sử dụng xử lý ñệ quy ñể hình thành nên ñịnh cho mẫu lần phân chia Phân chia ñệ quy dừng ñiều kiện sau đúng: • Tất mẫu thuộc lớp • Khơng cịn thuộc tính để tiếp tục phân chia mẫu Trong trường hợp này, lựa chọn theo số đơng (majority voting) dùng Lúc nút ñược tạo trở thành với nhãn lớp lựa chọn theo số đơng • Khơng cịn mẫu cho nhánh test-attribute = Lúc này, ñược tạo với nhãn lớp chiếm ña số mẫu khoảng cách Các cơng cụ phân tích cụm dựa k-means, k-medoids số phương pháp khác xây dựng nhiều gói phần mềm hay hệ thống phân tích thống kê S-Plus, SPSS SAS b Phép đo lựa chọn thuộc tính 1.4.5 Kỹ thuật phân cụm khai phá liệu 1.4.5.1 Khái niệm phân cụm Xử lý nhóm tập ñối tượng vào lớp ñối tượng giống ñược gọi phân cụm Một cụm tập hợp ñối tượng liệu giống phạm vi cụm không giống với ñối tượng cụm khác Phép phân tích cụm hoạt động quan trọng Bằng phân cụm, ta nhận biết vùng đơng đúc thưa thớt, tìm tồn mẫu phân bố tương quan thú vị thuộc tính liệu Trong kinh doanh, phân cụm giúp cho nhà nghiên cứu thị trường tìm nhóm riêng biệt dựa khách hàng họ mơ tả nhóm khách hàng dựa mẫu mua sắm Như nhánh thống kê, phép phân tích cụm nghiên cứu mở rộng nhiều năm, tập trung phép phân tích cụm dựa 1.4.5.2 Các kiểu liệu ghép phân cụm 1.4.5.3 Độ tương đồng khơng tương ñồng 1.4.5.4 Phân loại phương pháp phân cụm Hiện có số lượng lớn giải thuật phân cụm tài liệu Việc lựa chọn giải thuật phân cụm tuỳ thuộc vào kiểu liệu cho sẵn, mục đích riêng ứng dụng Nếu phép phân tích cụm dùng cơng cụ mơ tả hay thăm dị thử vài giải thuật liệu ñể xem xem liệu thể điều Nhìn chung, phương pháp phân cụm phân thành loại sau a Các phương pháp phân chia b Các phương pháp phân cấp c Các phương pháp dựa mật ñộ d Phương pháp dựa lưới Một phương pháp dựa lưới lượng tử hố khơng gian đối tượng vào số hữu hạn hình thành nên cấu trúc lưới Sau thực tất thao tác phân cụm cấu trúc lưới (tức khơng gian lượng tử hố) Thuận lợi tiếp cận thời gian xử lý nhanh chóng độc lập với số ñối tượng liệu tuỳ thuộc vào số lượng ô chiều không gian lượng tử CHƯƠNG 2: GIẢI PHÁP ĐỀ XUẤT Đây chương quan trọng ñề tài Trong chương trình bày nội dung sau: tốn đặt ra, mơ tả hệ thống bao gồm: xác ñịnh yêu cầu ñối với hệ thống, kiến trúc tổng thể mơ hình hoạt động hệ thống; từ trạng hệ thống phục vụ tra cứu 15 16 thơng tin từ tập tin điện văn ta thiết kế sở liệu cuối thiết kế chức 2.1 Mơ tả tốn Hiện nay, Đài huy cất hạ cánh sân bay Đà Nẵng, thông tin thuộc lĩnh vực hàng không dân dụng mà kiểm sốt viên khơng lưu khai thác ñều từ ñiện văn ñược chuyển ñi hệ thống AMSS Những ñiện văn bao gồm tất thơng tin liên quan đến lĩnh vực hàng khơng dân dụng như: kế hoạch bay, ñiện văn thời tiết, điện văn vụ… Vì thơng tin điện văn thị theo mẫu sẵn, vài trường hợp ñiều dẫn ñến sai sót kiểm sốt viên khơng lưu đọc khơng xác thơng tin có điện văn Dưới giao diện phần mềm khai thác điện văn mà kiểm sốt viên không lưu sử dụng Giao diện gồm phần chính: • Phần bên trái: phần soạn thảo điện văn phần mềm • Phần bên phải: ñây phần hiển thị ñiện văn mà ñầu cuối nhận Ngồi ra, phần mềm cịn hiển thị tổng số ñiện văn ñã ñược gửi ñi nhận đầu cuối Bài tốn đặt ñây từ tập tin ñiện văn ban ñầu ñược lưu trữ hệ thống AMSS, ta sử dụng kỹ thuật bóc tách thơng tin, chia nhỏ tập tin điện văn thành nhiều tập tin text nhỏ chứa thơng tin mà ta cần đưa vào sở liệu Tiếp ta tiến hành khai phá liệu sở liệu đưa thơng tin mà người sử dụng yêu cầu thông qua phần mền tra cứu thông tin - Hệ thống ñược xây dựng bao gồm phần chính: • Sưu tập liệu: phần nầy, ta tiến hành lấy liệu từ hệ thống AMSS, cụ thể lấy tất tập tin điện văn liên quan mà ta cần phân tích • Xây dựng sở liệu: phần này, ta sử dụng kỹ thuật trích lọc thơng tin để lấy thơng tin tập tin điện văn mà ta cần Tạo sở liệu ñể lưu trữ thơng tin trích lọc • Khai phá thông tin: phần này, dựa yêu cầu người dùng Xây dựng giao diện tra cứu thông tin mà người dùng cần xem - Dưới mơ hình hệ thống xử lý thơng tin điện văn: Hình 2.1: Giao diện phần mềm khai thác ñiện văn ñầu cuối 17 18 Tập tin ñiện văn ban ñầu Hệ thống AMSS … - - - - Quá trình sưu tập liệu Modul trích lọc thơng tin Tập tin ñiện văn ñã ñược tách - 2.2.1 Sưu tập thơng tin điện văn Trong hệ thống AMSS có nhiều kênh truyền khác nhau, kênh truyền truyền ñi vài kiểu ñiện văn riêng (ví dụ: kênh MET chuyển điện văn khí tượng,…) Để tập trung thơng tin mà muốn có, ta tạo thêm kênh truyền Thơng tin chuyển hệ thống AMSS dựa vào ñịa ñầu cuối ñể nhận chuyển tiếp điện văn, dải địa kênh truyền ñược tạo ra, ta nhập tất địa đầu cuối có thu nhận ñiện văn liên quan mà ta cần phải lấy Quá trình xây dựng CSDL Kho liệu Bộ khai phá liệu Quá trình khai phá liệu Giao diện người dùng Người sử dụng Hình 2.2: Sơ đồ hệ thống xử lý thơng tin điện văn 2.2 Quy trình xử lý Dựa vào mơ hình hệ thống, ta tiến hành xây dựng bước xử lý sau: Hình 2.3: Bảng giám sát kênh truyền hệ thống AMSS Để đọc gói tin qua cổng RJ 45, ta tiến hành tạo mơ-dun thu thập liệu, mơ-dun tích hợp thẳng vào chương trình mơ-dun đóng vai trị đọc tất gói tin qua cổng RJ45 Vì gói tin qua cổng RJ45 tất liệu ñiện văn mà ta thiết lập ñi qua kênh truyền ñược tạo Các ñiện văn bao gồm nhiều loại khác nhau, có điện văn chứa thơng tin mà ta khơng sử dụng, nên mơ-dun đọc gói tin qua cổng RJ 45 kênh truyền chuyển chúng vào đệm Tại đệm, mơ-dun trích lọc thơng tin tiến hàng lọc tách thơng 19 tin mà cần để đưa vào sở liệu 2.2.2 Bóc tách thơng tin từ tập tin điện văn Vì điện văn chuyển hệ thống AMSS theo mẫu định, ta cần quan tâm nội dung ñiện văn 2.2.2.1 Các mẫu điện văn khơng lưu Điện văn khơng lưu điện văn sử dụng để trao ñổi tin tức người sử dụng qua mạng viễn thơng hàng khơng cố định (AFTN) di động • Mỗi điện văn khơng lưu gồm có: Mã ñiện văn; ký hiệu ñộ khẩn (ưu tiên); nhóm ñịa nơi gửi, nơi nhận thời gian; thành phần liệu tổ chức thành nhóm (field) • Căn theo mục đích sử dụng, điện văn khơng lưu chia thành loại điện văn với độ khẩn tương ứng • Các điện văn liên quan đến việc cung cấp dịch vụ khơng lưu sở cung cấp dịch vụ không lưu định phát • Các điện văn liên quan đến hoạt động kiểm sốt; điện văn thơng báo tin tức chuyến bay mà khơng mục đích cung cấp dịch vụ khơng lưu tổ lái, hãng hàng khơng đại diện nhà khai thác phát • Các điện văn kế hoạch bay; sửa ñổi hủy bỏ kế hoạch bay ñược gửi ñến sở cung cấp dịch vụ có liên quan a Điện văn kế hoạch bay không lưu (FPL) b Điện văn cất cánh (DEP - Departure c Điện văn hạ cánh (Arr – Arrival) d Điện văn hủy bỏ kế hoạch bay e Điện văn kế hoạch bay hành f Điện văn khí tượng Metar 20 2.2.2.2 Một số qui luật dùng để bóc tách thơng tin từ điện văn Với thơng tin chứa tập tin ñiện văn theo khảo sát yêu cầu người dùng Phần trích lọc thơng tin, báo cáo tập trung vào ñiện văn kế hoạch bay ñiện văn thời tiết Dữ liệu sau trích lọc tổng hợp việc trích lọc thơng tin mơ tả lưu vào sở liệu Đối với ñiện văn kế hoạch bay, phần ñầu ñiện văn nhau, ta vào từ khóa FPL để tiến hành tách nội dung gặp ký tự kết thúc ta dừng Đối với điện văn khí tượng, phần đầu điện văn nhau, ta vào hai dạng từ khóa Metar Speci để tiến hành tách nội dung thời tiết 2.2.3 Quá trình khai phá liệu Từ liệu trích lọc từ tập tin ñiện văn, ta tiến hành khai phá liệu Q trình khai phá liệu bao gồm bước sau: 2.2.3.1 Khảo sát yêu cầu người dùng Vì chương trình nhằm phục vụ cho kiểm sốt viên khơng lưu nên q trình khảo sát tập trung vào nhu cầu khai thác ñiện văn thuộc kế hoạch bay, thời tiết khu vực Đà Nẵng Một số u cầu sau tiến hành khảo sát: • Hiển thị thơng tin chứa ñiện văn kế hoạch bay như: mã hiệu chuyến bay, tên chuyến bay, sân bay xuất phát, sân bay ñến, sân bay dự bị cần hạ cánh khấn cấp, phương thức bay, thời gian bay… • Hiển thị thơng tin chứa điện văn thời tiết như: thời tiết khu vực sân bay Đà Nẵng thời điểm cụ thể • Tổng hợp chuyến bay ñi, bay ñến phục vụ cho việc thống kê sản lượng bay hàng tháng 2.2.3.2 Xây dựng luật truy vấn 21 2.3 Nhận xét Giải pháp ñã ñáp ứng ñược yêu cầu mà toán ñặt ñề tài Nó giúp cho việc diễn giải thơng tin có điện văn kế hoạch bay, điện văn thời tiết ñược rõ ràng so với việc phải ñọc toàn ñiện văn Giao diện tương tác người dùng ñược thiết kế giúp người sử dụng dễ dàng tương tác với ứng dụng, hiển thị thơng tin rõ ràng dễ ñọc CHƯƠNG 3: PHÁT TRIỂN ỨNG DỤNG Trong chương tập trung trình bày ngơn ngữ phát triển ứng dụng, tạo sở liệu mơ-dun ứng dụng Q trình cài đặt ứng dụng 3.1 Công cụ phát triển ứng dụng 3.1.1 Lưu trữ sở liệu 3.1.2 Ngôn ngữ phát triển ứng dụng Visual Studio.Net sản phẩm công nghệ NET Microsoft với nhiều ngơn ngữ lập trình: C++.Net, Visual Basic.Net, ASP.Net, C#, J#, giúp dễ dàng tạo giao diện dễ dàng, nhanh chóng với cơng cụ hỗ trợ kèm Trong ñề tài chọn công nghệ NET với ngôn ngữ C# ñể phát triển ứng dụng 3.2 Xây dựng sở liệu Dựa vào thành phần tập tin điện văn sau trích lọc, ta xây dựng sở liệu chương trình bao gồm bảng ghi sau: a Bảng ghi BANG_TIN: dùng ñể lưu nội dung ñiện văn Bảng gồm trường ID NOI_DUNG b Bảng ghi KE_HOACH_BAY: dùng ñể lưu nội dung ñiện văn kế hoạch bay sau trích lọc thơng tin c Bảng ghi TB_THOI_TIET: dùng để lưu thơng tin liên quan đến thời tiết khu vực miền Trung sau ñã trích lọc thơng tin 22 d Bảng ghi TB_DSSANBAY: bảng dùng để lưu thơng tin sân bay có điện văn mà trích lọc Nó phục vụ cho cơng tác thống kê sản lượng bay Các bảng ghi sau tạo hồn tất: Hình 3.1: Các bảng ghi chương trình 3.3 Xây dựng mơ-dun ứng dụng 3.3.1 mơ-dun trích lọc thơng tin mơ-dun xây dựng tích hợp thẳng vào chương trình, đọc liệu ñiện văn từ ñệm phân tích dứ liệu Trong q trình đọc liệu, tách riêng điện văn dựa vào từ khóa: bắt đầu ñiện văn (ZCZC) kết thúc ñiện văn (NNNN) Tiếp theo phân tích nội dung điện văn để tìm điện văn kế hoạch bay thời tiết mà cần dựa vào từ khóa FPL, Metar, Speci Những điện văn có chứa từ khóa tiếp tục trích lọc nội dung đưa vào sở liệu, điện văn khơng chứa từ khóa loại bỏ 3.3.2 mô-dun khai phá liệu Modun khai phá liệu sử dụng luật truy vấn trình bày ñể ñưa kết người sử dụng u cầu Nó tích hợp vào giao diện người dùng Dưới giao điện chương trình: 23 - Giao diện lấy tin chương trình 24 3.4 Cài đặt thử nghiệm Chương trình chạy hệ điều hành Windown Vì chương trình sử dụng hệ quản trị CSDL SQL Server 2005, nên để chạy chương trình ta cần cài SQL Server 2005 nạp lại sở liệu cho chương trình Sau nạp thành cơng sở liệu, ta chạy chương trình tập tin KeHoachBay.exe ñường dẫn sau: demo->KeHoachBay>Bin->Release Khi chạy chương trình, giao diện tương tác với người dùng hình : Giao diện gồm tab: Lấy tin, Tìm ĐV kế hoạch bay, Tìm ĐV thời tiết, Thống kê chuyến bay Hình 3.3: Giao diện chương trình Ở cửa sổ bên trái phần lấy tin ứng dụng, sổ bên phải phần hiển thị nội dung ñiện văn trích lọc Sau thiết lập đầy đủ thơng số cho chương trình, tự ñộng chọn tập tin ñiện văn cần phân tích đưa kết hình bên phải hình bên dưới: Hình 3.4: Giao diện trích lọc thơng tin điện văn Hình 3.8: Giao diện tương tác người dùng Để kết nối với hệ thống AMSS, ta chọn Listen chọn Connect Chương trình tự ñộng phân tích ñiện văn kế hoạch bay thời tiết nhận từ hệ thống AMSS Ngồi ra, người dùng chọn phần Lấy tin để chọn điện văn cần xem lại Hình biểu thị ñiện văn kế hoạch bay ñã ñược trích lọc ứng dụng 25 26 Hình 3.9: Giao diện trích lọc điện văn kế hoạch bay Ngồi chức trích lọc thơng tin từ điện văn kế hoạch bay, thời tiết, chương trình cịn có chức khác như: - Để tìm điện văn kế hoạch bay ta chon tab Tìm ĐV kế hoạch bay, chọn ngày số thứ tự điện văn để tìm Hình 3.15: Giao diện thống kê sản lượng bay 3.5 Đánh giá kết Trong q trình thực chương này, tơi áp dụng thành cơng kỹ thuật trích lọc thơng tin, khai phá liệu vào ứng dụng Dựa vào nhu cầu tra cứu thông tin, thống kê sản lượng bay kiểm sốt viên khơng lưu cơng tác Đài huy cất hạ cánh Đà Nẵng ñể từ ñó xây dựng “Hệ thống thu nhận xử lý thơng tin điện văn” để hỗ trợ công tác kiểm tra, thống kê, lập báo cáo thông tin hàng không Trung tâm Quản lý bay Đà Nẵng Tuy nhiên, ứng dụng cịn tồn hạn chế chưa thể đọc phân tích cụm từ cụ thể có ñiện văn kế hoạch bay hay ñiện văn thời tiết ñể ñưa chi tiết ý nghĩa cụm từ Hình 3.10: Giao diện tìm điện văn kế hoạch bay theo ngày - Ngồi chức tìm trích lọc thơng tin từ điện văn kế hoạch bay, điện văn thời tiết, ứng dụng cịn thống kê sản lượng bay bao gồm chuyến bay ñi, bay ñến sân bay Đà Nẵng theo ngày tháng dựa vào loại ñiện văn Dưới ñây giao diện thống kê sản lượng bay 27 KẾT LUẬN Với mục tiêu giảm thiểu ñến mức tối ña sai sót khơng đáng có kiểm sốt viên khơng lưu nhằm phục vụ cơng tác điều hành bay an tồn tuyệt đối Sau q trình thực đề tài, bước đầu tơi áp dụng kỹ thuật trích lọc thơng tin, khai phá liệu để xây dựng thành công “ Hệ thống thu nhận xử lý thơng tin điện văn”, đưa vào sử dụng Ứng dụng phần giúp ích cho kiểm sốt viên khơng lưu việc khai thác thơng tin mạng viễn thơng cố định hàng khơng Ngồi cịn giúp cho việc thống kê sản lượng bay trở nên dễ dàng thuận lợi Ứng dụng phần giúp ích cho kiểm sốt viện khơng lưu phần việc xem điện văn kế hoạc bay thời tiết cách dễ dàng Nó cịn giúp cho việc thống kê sản lượng bay trở nên nhanh chóng xác so với việc thống kê tay Mặc dù ñã xây dựng hệ thống thành cơng tơi làm bước đầu cịn có nhiều giới hạn Ứng dụng chưa ñáp ứng ñược việc tra cứu tất thơng tin chuyển tải mạng AFTN mà kiểm sốt viên khơng lưu cần Tôi hy vọng nghiên cứu sản phẩm tơi tiếp tục phát triển thật có ích cho kiểm sốt viên khơng lưu cơng tác Đài huy cất hạ cánh sân bay Đà Nẵng Để ứng dụng thực hồn chỉnh, tiếp tục phát triển hệ thống nhằm tra cứu tất thơng tin khác liên quan đến lĩnh vực hàng khơng Dựa vào thơng tin có kế hoạch bay để đưa cảnh báo cho kiểm sốt viên khơng lưu như: hai máy bay có mức bay gần nhau, hai máy bay ñường bay tốc ñộ bay khác nhau, thông tin dự báo tượng thời tiết bất thường xảy  ... tin điện văn phục vụ cơng tác kiểm tra, thống kê Trung tâm Quản lý bay miền Trung? ?? Mục đích nghiên cứu Hệ thống xây dựng với mục đích trích thơng tin từ tập tin ñiện văn, ñể ñưa thơng tin cần... kiểm sốt viên khơng lưu dễ dàng thống kê, theo dõi theo thời gian mà ta muốn Với lý người cơng tác Trung tâm Quản lý bay miền Trung, chọn ñề tài “ Xây dựng hệ thống thu nhận xử lý thơng tin điện. .. tài, tơi nghiên cứu ứng dụng thành công hệ thống thu nhận xử lý thông tin ñiện văn Hệ thống ñược sử dụng Trung tâm Quản lý bay miền Trung Cấu trúc luận văn Luận văn ñược tổ chức thành chương sau: