ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN MÔN HỌC CƠ SỞ DỮ LIỆU NÂNG CAO GIẢNG VIÊN: TS NGUYỄN TRẦN MINH THƯ ĐỀ TÀI : NEWSQL DỰA TRÊN TÀI LIỆU : NEWSQL TOWARDS NEXT - GENERATION SCALABLE RDBMS FOR ONLINE TRANSACTION PROCESSING (OLTP) FOR BIG DATA MANAGEMENT HỌC VIÊN: LÊ HỒNG DANH – 16C12005 TP.HCM – 11/2017 NỘI DUNG TRÌNH BÀY KẾT LUẬN NỀN TẢNG SO SÁNH RDBMS, NOSQL VÀ GIỚI THIỆU NEWSQL Lê Hồ ng D an h– 16 C1 20 05 NEWSQL DATABASES PH ẦN GIỚI THIỆU Lê Hồ n gD an h– 16 C1 20 05 GIỚI THIỆU VÀ ĐỘNG LỰC GIỚI THIỆU VÀ ĐỘNG LỰC Các ứng dụng tập trung liệu (mạng xã hội, IoT,…); Cơ sở liệu quan hệ không phù hợp với loại ứng dụng này; Hệ thống lưu trữ liệu – NoSQL: Cung cấp khả mở rộng theo chiều ngang linh hoạt cho việc đọc/ghi đơn giản hệ sở liệu máy chủ phân tán; Lê Hồ n gD an h– 16 C1 20 05 Khả phân phối chép liệu,… GIỚI THIỆU VÀ ĐỘNG LỰC yếu NoSQL:  • Khơng hỗ trợ giao tác ACID nên quán NoSQL có phải hệ thống lưu trữ liệu Điểm 16 C1 20 05 Xử lý phân tích trực tuyến (OLAP) giảm CSDL phình to an h– • Xử lý giao dịch trực tuyến (OLTP) hạn chế, người dùng cần độ xác giao dịch gD • liệu Lê Hồ n tốt nhất? GIỚI THIỆU VÀ ĐỘNG LỰC Hãy thử kết hợp hai mô hình RDBMS NoSQL Để đảm bảo đặc tính ACID Để đảm bảo khả mở rộng Để đảm bảo hiệu suất cao giao dịch OLTP Để đảm bảo liệu phân tích thời gian thực gD an h– 16 C1 20 05 … Lê Hồ n • • • • • GIỚI THIỆU VÀ ĐỘNG LỰC Lê Hồ n gD an h– 16 C1 20 05 NewSQ L PH ẦN NỀN TẢNG BIGDATA • Trong thập kỉ qua, hầu hết lĩnh vực kinh tế chuyển định hướng theo liệu Sự bùng nổ liệu làm tăng nhu cầu sử dụng 10 gD an h– 16 C1 20 05 hệ thống lưu trữ liệu Lê Hồ n • ACID x BASE Thuật ngữ BASE [Brewer:2000] • Basically Available: đảm bảo tính sẳn sàng • Soft-state: trạng thái hệ thống thay đổi theo thời gian Eventually consistent: hệ thống trở nên quán 14 gD an h– 16 C1 20 05 theo thời gian Lê Hồ n • PH ẦN NEWSQL DATABASES ĐỊNH NGHĨA NEWSQL MATT ASSLET – 451 GROUP (APRIL 4th, 2011) Các hệ thống cung cấp khả mở rộng tính linh hoạt NoSQL giữ hỗ trợ cho truy vấn SQL ACID để cải thiện hiệu Lê Hồ n gD an h– 16 C1 20 05 suất cho khối lượng cơng việc thích hợp ĐỊNH NGHĨA NEWSQL MICHAEL STONEBRAKER – BLOG@CACM (JUNE 16th, 2011) Một định nghĩa hẹp cho việc triển khai hệ thống NewSQL: Sử dụng lock-free kiểm soát truy cập đồng thời lược đồ Sử dụng shared-nothing kiến trúc phân tán Hỗ trợ truy vấn SQL Hỗ trợ ACID cho giao dịch Hiệu cao cho node gD an h– 16 C1 20 05 Khả mở rộng Lê Hồ n • • • • • • ĐỊNH NGHĨA NEWSQL WIKIPEDIA ARTICLE NewSQL hệ thống quản lý sở liệu quan hệ đại nhằm cung cấp hiệu khả thi tương tự cho hệ thống NoSQL để xử lý giao dịch trực tuyến (OLTP) đảm Lê Hồ n gD an h– 16 C1 20 05 bảo trì ACID hệ thống sở liệu truyền thống MƠ HÌNH KIẾN TRÚC 19 Lê Hồ n gD an h– 16 C1 20 05 Shared Nothing Architecture PHÂN LOẠI New Architecture databases NouDB, Clustrix, VoltDB, Drizzle, MenSQL Các hệ thống thiết kế để đạt khả mở rộng hiệu hoạt động Share Nothing nodes New MySQL storage engines InnoDB, Akiban, TokuDB (commercial), InfiniDB, Xeround, GenieDB Công cụ lưu trữ tối ưu hóa cao cho SQL với giao diện lập trình tương tự SQL Transparent clustering/ sharding 16 C1 20 05 dbShards (commercial), ScaleBase (commercial), ScalArc, Schooner MySQL 20 Lê Hồ n gD an h– Hệ thống tự động chia CSDL nhiều nodes NEW ARCHITECTURE DATABASES 21 Lê Hồ n gD an h– 16 C1 20 05  Cung cấp kiểm soát truy xuất đồng thời  Quản lý kiểm soát truy xuất đồng thời sở liệu truyền thống:  2PL (2 phase locking)  MVCC (Milti Version Concurrency Control)  Basic Timestamp Concurrency Control  Optimistic Concurrency Control  T/O with Partion-Level Locking NEW MYSQL STORAGE ENGINES  Cung cấp lưu trữ tối ưu hóa cho SQL  Sử dụng MySQL Cluster  Trong node riêng biệt phân thành loại sau:  Data node: lưu trữ data;  Management node: cấu hình giám sát cụm;  Application node or SQL node: kết nối tất node liệu thực lưu trữ phục hồi liệu 22 Lê Hồ n gD an h– 16 C1 20 05  Tính quán kiểm soát application node TRANSPARENT CLUSTERING / SHARDING 23 Lê Hồ n gD an h– 16 C1 20 05  Sử dụng middleware sharding  Tất node kết nối với middleware  Middleware kiểm soát tất q trình để đảm bảo tính quán ĐẶC ĐIỂM NEWSQL 16 C1 20 05 an h– 24 gD o SQL chế cho tương tác ứng dụng Đảm bảo giao dịch thực cách đáng tin cậy Cơ chế kiểm sốt đồng thời khơng khóa để đọc theo thời gian thực không xung đột với ghi Cung cấp kiến trúc hiệu suất cao cho nút so với giải pháp RDBMS Kiến trúc phân tán Cấu trúc chia nhỏ, kiến trúc shared-nothing, có khả chạy số lượng lớn node mà không bị tắc nghẽn Cơ sở liệu quan hệ dự nhớ Lê Hồ n o o o o o o SO SÁNH RDBMS, NOSQL VÀ NEWSQL Tính Traditional RBDMS NoSQL NewSQL Ngôn ngữ truy vấn SQL Hỗ trợ Không hỗ trợ Hỗ trợ Một server Đa server/phân tán Đa server/phân tán Quan hệ Không quan hệ Quan hệ Hỗ trợ tính store, document store Cả hai Trên đĩa nhớ Trên đĩa nhớ Trên đĩa cache cache nhớ cache ACID CAP through BASE ACID 25 Lưu trữ Bảng 16 C1 20 05 Schema Key-value, column an h– Kiểu DBMS gD server Lê Hồ n Tính phụ thuộc vào Vấn đề quan tâm đến bảo mật Big volume OLTP (Xử lý giao dịch trực tuyến) Hỗ trợ liệu đám mây Không hỗ trợ Hỗ trợ Hỗ trợ Thấp Cao Rất cao Rất cao Thấp Thấp Hiệu suất thấp Hỗ trợ đầy đủ Hỗ trợ đầy đủ Không hỗ trợ đầy đủ Được hổ trợ Hỗ trợ đầy đủ Không hỗ trợ đầy đủ Được hổ trợ Hỗ trợ đầy đủ 26 Truy vấn phức tạp NewSQL an h– theo chiều ngang NoSQL gD Khả mở rộng Traditional RBDMS Lê Hồ n Tính 16 C1 20 05 SO SÁNH RDBMS, NOSQL VÀ NEWSQL KẾT LUẬN NewSQL RDBMS NewSQL xu hướng sở liệu tương lai 16 C1 20 05 NewSQL tuân thủ ACID, dựa SQL, khả mở rộng, phân phối, sẵn có cao hệ thống RDBMS 27 gD an h– Cơ sở liệu NewSQL trở nên đòi hỏi nhiều gia tăng ngành công nghiệp theo định hướng liệu VD: IoT Lê Hồ n    NoSQL CẢM ƠN CÔ VÀ CÁC BẠN ĐÃ LẮNG NGHE Any Questions? ... TẢNG SO SÁNH RDBMS, NOSQL VÀ GIỚI THIỆU NEWSQL Lê Hồ ng D an h– 16 C1 20 05 NEWSQL DATABASES PH ẦN GIỚI THIỆU Lê Hồ n gD an h– 16 C1 20 05 GIỚI THIỆU VÀ ĐỘNG LỰC GIỚI THIỆU VÀ ĐỘNG LỰC Các ứng... đủ 26 Truy vấn phức tạp NewSQL an h– theo chiều ngang NoSQL gD Khả mở rộng Traditional RBDMS Lê Hồ n Tính 16 C1 20 05 SO SÁNH RDBMS, NOSQL VÀ NEWSQL KẾT LUẬN NewSQL RDBMS NewSQL xu hướng sở liệu... consistent: hệ thống trở nên quán 14 gD an h– 16 C1 20 05 theo thời gian Lê Hồ n • PH ẦN NEWSQL DATABASES ĐỊNH NGHĨA NEWSQL MATT ASSLET – 451 GROUP (APRIL 4th, 2011) Các hệ thống cung cấp khả mở rộng