MỞ ĐẦU 1. Lý do chọn đề tài Ngày nay, sự bùng nổ thông tin, truyền thông đã có những bước phát triển vượt bậc. Sự phát triển công nghệ của các thiết bị tính toán: Siêu máy tính, máy chủ, máy tính cá nhân, các thiết bị di động thông minh, được kết nối và sự bùng nổ ứng dụng Web. Với sự phát triển nhanh chóng của công nghệ thông tin đòi hỏi sự đầu tư trang thiết bị cơ sở hạ tầng CNTT ngày càng lớn, chi phí sử dụng các phần mềm, quản lý hệ thống cũng tăng. Trong khi nhu cầu lưu trữ, xử lý thông tin nhanh chóng, chính xác nên các doanh nghiệp, các tổ chức tăng cường ứng dụng CNTT. Do áp lực cạnh tranh, mong muốn ứng dụng CNTT hiệu quả nhưng lại giảm chi phí luôn đặt ra. Trong thời gian gần đây, chủ đề ĐTĐM được nhắc đến nhiều nhất trong các sự kiện công nghệ, bất kỳ tạp chí công nghệ, các trang Web, blog về IT đều đề cập đến ĐTĐM. Theo khảo sát mới đây của hãng nghiên cứu Gartner, tốc độ phát triển ĐTĐM trên toàn thế giới đã đạt mức 17% hàng năm trong khi hơn 50% doanh nghiệp, tổ chức tham gia đều triển khai điện toán đám mây dưới hình thức này hay hình thức khác. [25] Hiện nay, ĐTĐM được dự đoán là “cơn sóng thần công nghệ”. Không nằm ngoài xu thế chung của thế giới, Việt Nam dần tiếp cần ĐTĐM thông qua các nhà cung cấp như Google, IBM, Microsoft, Nhiều công ty tại Việt Nam đã triển khai ĐTĐM như FPT, Sacombank, Misa, Để giảm thiểu chi phí và tăng cường ứng dụng CNTT trong quản lý đào tạo nhằm tăng hiệu quả đào tạo thì việc ứng dựng điện toán đám mây mang lại nhiều lợi ích. 1 Mặt khác, quản lý dữ liệu đào tạo gồm nhiều dữ liệu không tương thích với nhau, khi dữ liệu ngày càng khổng lồ thì việc truy xuất, thống kê, phân loại càng khó khăn. Nhà quản lý còn mong muốn phân tích dữ liệu có khả năng hỗ trợ các quyết định thì xây dựng kho dữ liệu giúp ích được điều đó. Trong khi đó nhu cầu đào tạo của Trường Trung cấp Kinh tế Quảng Bình ngày càng mở rộng, với chủ trương nhà trường mở nhiều mã ngành mới nhằm đa dạng hóa ngành nghề đào tạo và đáp ứng nhu cầu xã hội. Hiện trạng quản lý dữ liệu chưa đồng bộ, tính hệ thống chưa cao, việc tiếp cận nguồn dữ liệu cần thiết đối với cán bộ, giáo viên, học sinh, người quản lý còn hạn chế. Công tác lưu trữ dữ liệu chưa đảm bảo, chủ yếu lưu trữ trên từng máy do từng cá nhân phụ trách. Chưa tiến hành phân tích dữ liệu để hỗ trợ các quyết định của nhà quản lý. Thông qua mối quan hệ chương trình đào tạo, các khâu quản lý, chất lượng giáo viên, ảnh hưởng đến chất lượng đào tạo để phân tích, so sánh, đối chiếu hỗ trợ quá trình lãnh đạo. Việc ứng dụng điện toán đám mây để xây dựng kho dữ liệu là cần thiết, do đó tôi chọn đề tài “Ứng dụng điện toán đám mây xây dựng kho dữ liệu phục vụ đào tạo tại trường Trung cấp Kinh tế Quảng Bình”. 2. Mục tiêu và nhiệm vụ Trên cơ sở phân tích hiện trạng và nhu cầu phát triển hiệu quả đào tạo tại trường Trung cấp Kinh tế Quảng Bình, đề tài tìm hiểu lĩnh vực ĐTĐM, các công cụ phát triển khai thác ĐTĐM, xây dựng kho dữ liệu phục vụ đào tạo, trợ giúp, phân tích, báo cáo, dự báo hoạt động đào tạo tại trường trong bối cảnh phát triển kinh tế địa phương Quảng Bình và hội nhập quốc tế. 2 Từ thực trạng, sẽ đánh giá được ưu điểm, hạn chế của việc sử dụng mô hình này. Từ đó đề xuất các giải pháp nhằm nâng cao hiệu quả đào tạo tại trường. 3. Đối tượng và phạm vi nghiên cứu Nghiên cứu nguồn dữ liệu phục vụ đào tạo tại trường Trung cấp Kinh tế Quảng Bình Tìm hiểu kho dữ liệu, ĐTĐM, các công cụ phát triển, khai thác Kho dữ liệu và ĐTĐM. 4. Phương pháp nghiên cứu - Phân tích hiện trạng và nhu cầu đào tạo tại trường Trung cấp Kinh tế Quảng Bình - Tìm hiểu ĐTĐM để đề xuất giải pháp. - Lựa chọn mô típ công cụ, ngôn ngữ lập trình để xây dựng ứng dụng và đánh giá kết quả thử nghiệm. 5. Ý nghĩa khoa học và thực tiễn của đề tài Về khoa học, đề tài tìm hiểu, nghiên cứu ứng dụng điện toán đám mây, xây dựng kho dữ liệu, trên cơ sở đó có cách nhìn tổng quan để đề xuất giải pháp xây dựng ứng dụng. Về thực tiễn, đề tài xây dựng ứng dụng nhằm giảm chi phí nguồn lực CNTT, quản lý dữ liệu đào tạo khoa học, hỗ trợ nhà quản lý đưa ra quyết định kịp thời góp phần nâng cao hiệu quả đào tạo của nhà trường. 6. Bố cục của luận văn Luận văn gồm có 3 chương: Chương 1. Tìm hiểu kho dữ liệu và điện toán đám mây Tìm hiểu, nghiên cứu về kho dữ liệu (Data Warehouse), một số khái niệm cơ bản, đặc điểm, phân loại, sử dụng. 3 Tìm hiểu, nghiên cứu tổng quan về điện toán đám mây (Cloud Computing), một số khái niệm cơ bản, tìm hiểu về kiến trúc, mô hình chung của điện toán đám mây, tìm hiểu một số sản phẩm ứng dụng công nghệ này. Chương 2. Phân tích và thiết kế hệ thống Phân tích hiện trạng công tác đào tạo tại trường Trung cấp Kinh tế Quảng Bình, nhu cầu cầu xây dựng kho dữ liệu và đề xuất giải pháp ứng dụng ĐTĐM xây dựng kho dữ liệu Chương 3. Xây dựng ứng dụng Thiết kế kho dữ liệu, thiết kế báo cáo, phân tích dữ liệu. Xây dựng và triển khai kho dữ liệu trên nền tảng đám mây của Google 4 CHƯƠNG 1 TÌM HIỂU KHO DỮ LIỆU VÀ ĐIỆN TOÁN ĐÁM MÂY 1.1. KHO DỮ LIỆU 1.1.1. Khái niệm về Kho dữ liệu Có nhiều cách định nghĩa về Kho dữ liệu (Data Warehouse): Kho dữ liệu là kho lưu trữ dữ liệu lưu trữ bằng thiết bị điện tử của một tổ chức. Các kho dữ liệu được thiết kế để hỗ trợ việc phân tích dữ liệu và lập báo cáo. [12] Kho dữ liệu là tập hợp các CSDL tích hợp, hướng chủ đề, ổn định, gắn với thời gian, được thiết kế để hỗ trợ cho chức năng ra quyết định trong công tác quản lý. 1.1.2. Đặc điểm và phân loại a. Đặc điểm Tính tích hợp (integrated); Hướng chủ đề (subject-oriented); Biến thời gian (time-variant); Dữ liệu ổn định (non-volatile). b. Phân loại Tùy thuộc vào quy mô tổ chức, cách tổ chức và vị trí của kho dữ liệu mà người ta chia Kho dữ liệu thành hai loại là: Enterprise Data Warehouse và Data Mart. 1.1.3. Kiến trúc kho dữ liệu a. Kiến trúc kho dữ liệu Mô hình kiến trúc của kho dữ liệu cơ bản gồm có ba thành phần: Nguồn dữ liệu, khu vực xử lý và kho dữ liệu. 5 Hình 1.1. Mô hình kiến trúc kho dữ liệu b. Dòng dữ liệu trong kho Dòng dữ liệu trong kho được thể hiện theo hình sau: Hình 1.2. Dòng dữ liệu trong kho 1.1.4. Phương pháp xây dựng kho dữ liệu a. Phương pháp xây dựng kho dữ liệu Thiết kế CSDL cho kho dữ liệu theo các phương pháp: - Lược đồ hình sao (Start schema): Lược đồ hình sao cho phép một hệ thống đối tượng có thể kết nối với nhiều đối tượng khác. 6 Hình 1.3. Mô hình hình sao - Lược đồ hình tuyết rơi (Snowflake): Lược đồ này là mở rộng của lược đồ hình sao. Hình 1.4. Mô hình bông tuyết - Mô hình dữ liệu nhiều chiều (lược đồ kết hợp: Là kết hợp giữa sơ đồ hình sao dựa trên bảng sự kiện và những bảng chiều. Hình 1.5. Mô hình lược đồ nhiều chiều b. Quy trình xây dựng Kho dữ liệu 7 Môn học Sinh viên Để xây dựng kho dữ liệu gồm các bước sau: - Lập kế hoạch - Phân tích các yêu cầu hệ thống - Thiết kế và xây dựng kho dữ liệu - Duy trì và triển khai kho dữ liệu 1.2. ĐIỆN TOÁN ĐÁM MÂY 1.2.1 Khái niệm về điện toán đám mây a. Lịch sử phát triển Thuật ngữ điện toán đám mây xuất hiện bắt nguồn từ ứng dụng điện toán lưới (grid computing) trong thập niên 1980, tiếp theo là điện toán theo nhu cầu (utility computing) và phần mềm dịch vụ (SaaS). b. Khái niệm Điện toán đám mây (tiếng Anh: cloud computing), còn gọi là điện toán máy chủ ảo, là mô hình điện toán sử dụng các công nghệ máy tính và phát triển dựa vào mạng Internet. [17] Điện toán đám mây là mô hình diện toán cho phép truy cập qua mạng để lựa chọn và sử dụng tài nguyên tính toán (ví dụ: mạng, máy chủ, lưu trữ, ứng dụng và dịch vụ) theo nhu cầu một cách thuận tiện và nhanh chóng, đồng thời cho phép kết thúc sử dụng dịch vụ, giải phóng tài nguyên dễ dàng, giảm thiểu các giao tiếp với nhà cung cấp. [10] Như vậy, hiểu một cách đơn giản mô hình ĐTĐM cung cấp cho người sử dụng, các tổ chức, doanh nghiệp sử dụng tài nguyên CNTT dưới dạng các dịch vụ. Cho phép người sử dụng lựa chọn các dịch vụ linh hoạt, theo yêu cầu, giảm thiểu chi phí đầu tư cơ sở hạ tầng. 8 1.2.2. Kiến trúc điện toán đám mây Kiến trúc mô hình ĐTĐM gồm bốn tầng như sau: Tầng ứng dụng (Aplication Layer) Tầng nền tảng (Platform Layer) Tầng tài nguyên hợp nhất (Unified Resource Layer) Tầng thiết bị (Fabric Layer) Hình 1.8. Kiến trúc ĐTĐM [5] 1.2.3. Mô hình điện toán đám mây a. Mô hình dịch vụ (Service Models) Mô hình dịch vụ điện toán đám mây chia thành ba nhóm: Dịch vụ phần mềm (Software as a Service - SaaS); Dịch vụ nền tảng (Platform as a Service - PaaS); Dịch vụ hạ tầng (Infrastructure as a Service - IaaS). b. Mô hình triển khai (Deployment of cloud services) Triển khai các dịch vụ đám mây thông qua một trong các mô hình cơ bản: Đám mây riêng (private cloud), đám mây cộng đồng (community cloud), đám mây công cộng (public cloud) hoặc đám mây lai (hybrid cloud). 1.2.4. Các nhà cung cấp dịch vụ điện toán đám mây a. Amazon b. Google c. Microsoft 9 d. Salesforce 1.2.5. Google App Engine (GAE) a. Giới thiệu GAE là một nền tảng hosting cho phép lưu trữ nhiều Web Server. CSDL BigTable và kho lưu trữ bởi file GFS. GAE cho phép chạy các ứng dụng web trên cơ sở hạ tầng của Google. Ứng dụng App Engine rất dễ xây dựng, dễ bảo trì, và dễ dàng để mở rộng quy mô như lưu lượng truy cập và nhu cầu lưu trữ dữ liệu lớn. Với App Engine, không có máy chủ để duy trì: Chỉ cần tải ứng dụng, và nó sẵn sàng để phục vụ người dùng. [15] b. Một số tính năng đặc trưng của GAE Lưu trữ dữ liệu (Data store); Tìm kiếm (Search); Viết code một lần và triển khai cung cấp và cấu hình nhiều máy tính cho trang web dịch vụ và lưu trữ dữ liệu; Cân bằng tải; Dể dàng tích hợp với các dịch vụ khác của Google c. Google Web Tookit (GWT) d. Xây dựng ứng dụng Google trên GWT e. Google Gears R.I.P f. Google Apps Script (GAS) 1.2.6. Lợi ích và thách thức của điện toán đám mây a. Lợi ích Linh động; Kiểm soát chi phí; Giảm thiểu kỹ năng CNTT b. Khó khăn thách thức của điện toán đám mây Vấn đề bảo mật; Vấn đề kiểm soát dữ liệu. 1.2.7. Xu hướng phát triển điện toán đám mây Xu thế về công nghệ ĐTĐM sẽ được ngày càng hoàn thiện và phát triển mạnh về sau. Các dịch vụ và mô hình ĐTĐM hướng tới nhằm mang lại những sản phẩm dịch vụ tốt nhất cho người dùng. 10 [...]... mõy 2.4.2 Gii phỏp s dng in toỏn ỏm mõy Mụ hỡnh TM nh sau: CSDL Internet Văn bản Chuyên gia Tích hợp dữ liệu CSDL thô Xây dựng kho DL, lựa chọn nhà cung cấp dịch vụ éTéM Kho DL éTéM Khai thác Ngu ời dùng Quản trị hệ thống Ưng dụng Thu thập dữ liệu 15 Hỡnh 2.1 Mụ hỡnh gii phỏp TM a Thu thp d liu Xõy dng kho d liu l quỏ trỡnh thu thp d liu t nhiu ngun khỏc nhau: T cỏc CSDL, vn bn, chuyờn gia, Internet,... Trung cp Kinh t Qung Bỡnh Trng Trung cp kinh t Qung Bỡnh, tin thõn l Trng Trung hc Kinh t Bỡnh Tr Thiờn c thnh lp nm 1977 cú chc nng o to, bi dng, liờn kt o to nhm cung cp ngun nhõn lc cho a phng Nghiờn cu, ng dng khoa hc gúp phõn phỏt trin kinh t xó hi a phng 2.2 PHN TCH THC TRNG CễNG TC O TO TI TRNG TRUNG CP KINH T QUNG BèNH 2.2.1 M u Hin nay, nh trng ang T vi 5 chuyờn ngnh trung cp c th nh sau: K toỏn... dựng ng dng cú th chy trờn hai mụi trng l Java v Python [15] 3.2 THIT K KHO D LIU 3.2.1 Thit k kho d liu Thụng qua vic kho sỏt ti trng Trung cp Kinh t Qung Bỡnh, s lng d liu o to rt ln, bin ng, ri rc, phõn tỏn, phc tp nhng cu trỳc khụng ng nht trỏnh tht lc, mt mỏt, x lý thụng tin thun li Chỳng tụi xut t chc Kho d liu tớch hp cỏc CSDL quan h nh sau: Quản lý Học tập Quản lý tài vụ Quản lý CSVC&TB Kho. .. dựng up lờn Google App 23 3.3.4 Trin khai ng dng kho d liu trờn GAE ng nhp h thng Hỡnh 3.2 Giao din ng nhp ng dng H thng s dng mt ca ng nhp duy nht Nu ng nhp vo ti khon ngi qun lý o to thỡ h thng s dn n trang qun lý o to Nu ng nhp ti khon giỏo viờn h thng dn n trang giỏo viờn Nu ng nhp ti khon sinh viờn h thng dn n trang sinh viờn 24 Hỡnh 3.3 Giao din trang qun lý o to 3.3.5 Khai thỏc ng dng t kho. .. lý o to 3.3.5 Khai thỏc ng dng t kho d liu trờn ỏm mõy a Cp nht d liu lờn Kho d liu trờn ỏm mõy b Kt xut cỏc bỏo cỏo 3.4 NH GI KT QU THC NGHIM Qua nghiờn cu, tỡm hiu v kho d liu, TM, kho sỏt, phõn tớch thc trng cụng tỏc o to v d liu phc v cụng tỏc o to ti trng Trung cp Kinh t Qung Bỡnh, ó xõy dng c chng trỡnh ng dng TM xõy dng kho d liu ti trng trờn nn tng GAE h tr cụng tỏc lu tr, truy xut thụng tin,... mụ hỡnh TM hng ti nhm mang li nhng sn phm dch v tt nht cho ngi dựng ng dng TM xõy dng kho d d liu, lun vn tp trung trỡnh by tng quan kho d liu v TM núi chung, TM GAE núi riờng, ng dng c xõy dng trờn nn tng GAE HNG PHT TRIN D liu phc v o to l rt ln v phc tp Vic ng dng minh ho trờn Kho d liu o to Trong xut hng phỏt trin ca tụi s hon thin Kho d liu o to, s dng cỏc tp lut khai phỏ d liu nh hng phỏt trin... nhau nh thi gian, cỏc n v bỏo cỏo Giao din bỏo cỏo n gin, d s dng 3.3 XY DNG V TRIN KHO D LIU TRấN GOOGLE APP ENGINE 3.3.1 ng ký ti khon ca Google App Engine (GAE) trin khai ng dung trờn GAE, phi cú ti khon GAE Cỏc bc ng ký ti khon GAE nh sau: Truy cp vo Web site http://appengine.google.com/ v ng nhp vi thụng tin ti khon gmail ca bn v lm theo hng dn 3.3.2 Ci t Eclipse v Google Plugin cho Eclipse: Truy... chuyn i d liu b Tớch hp d liu(data integration) Quỏ trỡnh hp nht d liu thnh nhng kho d liu (data warehouses and data marts) sau khi ó lm sch v tin x lý (data cleaning and preprocessing) gm rỳt trớch, bin i v np d liu c Xõy dng kho d liu, la chn nh cung cp dch v TM Quy trỡnh xõy dng kho d liu: Kin trỳc t chc kho d liu; Cp nht kho d liu; T chc lu tr vt lý; Khai thỏc; Bo mt; ỏnh giỏ hiu qu khai thỏc La chn... hỡnh kinh t - xó hi tnh Qung BỡnhTỡnh hỡnh kinh t - xó hi tnh Qung Bỡnh cú chuyn bin tớch cc, kinh t phỏt trin t tc tng trng khỏ v to lp c cỏc yu t m bo phỏt trin bn vng M ra nhiu c hi vic lm, ng thi ũi hi nng lc ngi lao ng mi phi cú chuyờn mụn k thut t chun b S doanh nghip ang hot ng sn xut kinh doanh trờn a bn tnh n nm 2012 cú 2.301 doanh nghip trờn a bn tnh, cỏc doanh nghip cú s thay i ln v c cu kinh. .. tht lc, mt mỏt, x lý thụng tin thun li Chỳng tụi xut t chc Kho d liu tớch hp cỏc CSDL quan h nh sau: Quản lý Học tập Quản lý tài vụ Quản lý CSVC&TB Kho dữ liệu Đào tạo Quản lý Ngân hàng đề thi Quản lý Khung CT ĐT Quản lý CBGV QL thu viện Hỡnh 3.1 S kho d liu o to Qun lý quỏ trỡnh hc tp hc sinh Qun lý CSVC&TB (C s vt cht v thit b) Qun lý CBGV (Cỏn b, giỏo viờn) Qun lý th vin Qun lý CT T (Chng trỡnh . là cần thiết, do đó tôi chọn đề tài Ứng dụng điện toán đám mây xây dựng kho dữ liệu phục vụ đào tạo tại trường Trung cấp Kinh tế Quảng Bình . 2. Mục tiêu và nhiệm vụ Trên cơ sở phân tích hiện trạng. xuất giải pháp ứng dụng ĐTĐM xây dựng kho dữ liệu Chương 3. Xây dựng ứng dụng Thiết kế kho dữ liệu, thiết kế báo cáo, phân tích dữ liệu. Xây dựng và triển khai kho dữ liệu trên nền tảng đám mây của. 1 TÌM HIỂU KHO DỮ LIỆU VÀ ĐIỆN TOÁN ĐÁM MÂY 1.1. KHO DỮ LIỆU 1.1.1. Khái niệm về Kho dữ liệu Có nhiều cách định nghĩa về Kho dữ liệu (Data Warehouse): Kho dữ liệu là kho lưu trữ dữ liệu lưu trữ