1 BỘ KHOA HỌC VÀ CÔNG NGHỆ CHƯƠNG TRÌNH KH&CN TRỌNG ĐIỂM CẤP NHÀ NƯỚC KC.01/11-15 BÁO CÁO TỔNG HỢP KẾT QUẢ KHOA HỌC CÔNG NGHỆ ĐỀ TÀI NGHIÊN CỨU, TRIỂN KHAI HỆ THỐNG CHIA SẺ HÌNH ẢNH CHO CỘNG ĐỒNG Mã số KC.01.TN19/11-15 Cơ quan chủ trì đề tài: Công ty CP DV CNTT Naiscorp Chủ nhiệm đề tài: KS. Nguyễn Đức Chính 9810 2 BỘ KHOA HỌC VÀ CÔNG NGHỆ CHƯƠNG TRÌNH KH&CN TRỌNG ĐIỂM CẤP NHÀ NƯỚC KC.01/11-15 BÁO CÁO TỔNG HỢP KẾT QUẢ KHOA HỌC CÔNG NGHỆ ĐỀ TÀI NGHIÊN CỨU, TRIỂN KHAI HỆ THỐNG CHIA SẺ HÌNH ẢNH CHO CỘNG ĐỒNG Mã số KC.01.TN19/11-15 Chủ nhiệm đề tài: Nguyễn Đức Chính Cơ quan chủ trì đề tài: Nguyễn Xuân Tài Ban chủ nhiệm chương trình Bộ Khoa học và Công nghệ 3 CÔNG TY CP DV CNTT NAISCORP CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc Hà nội, ngày 20 tháng 12 năm 2012 BÁO CÁO THỐNG KÊ KẾT QUẢ THỰC HIỆN ĐỀ TÀI I. THÔNG TIN CHUNG 1. Tên đề tài: “Nghiên cứu, triển khai hệ thống chia sẻ hình ảnh cho cộng đồng” Mã số đề tài: KC.01.TN19/11-15 Thuộc: Chương trình KH&CN trọng điểm cấp nhà nước KC.01/11-15 2. Chủ nhiệm đề tài: Họ và tên: Nguyễn Đức Chính Ngày, tháng, năm sinh: 18/11/1985 Nam/ Nữ: Nam Học hàm, học vị: Kỹ sư Chức danh khoa học: Chức vụ Điện thoại: Tổ chức: 04.3767.8458Nhà riêng: Mobile: 0986.777.107 Fax: 04.3767.8024 E-mail: chinhnd@socbay.com Tên tổ chức đang công tác: Công ty cổ phần Dịch vụ CNTT Naiscorp Địa chỉ tổ chức: 101 Tòa nhà B1, Nguyễn Khánh Toàn, Cầu Giấy, Hà Nội Địa chỉ nhà riêng: Số 79 ngõ 73, đường Cầu Giấy, Hà Nội 3. Tổ chức chủ trì đề tài: Tên tổ chức chủ trì đề tài: Công ty cổ phần Dịch vụ CNTT Naiscorp Điện thoại: 04.3767.8458 Fax: 04.3767.8024 4 E-mail: search@socbay.com Website: www.naiscorp.com Địa chỉ: 101 Tòa nhà B1, Đường Nguyễn Khánh Toàn, Cầu Giấy, Hà Nội Họ và tên thủ trưởng tổ chức: Nguyễn Xuân Tài Số tài khoản: 3711.9057491 Ngân hàng: Kho bạc nhà nước quận Cầu Giấy Tên cơ quan chủ quản đề tài: Công ty cổ phần Dịch vụ CNTT Naiscorp II. TÌNH HÌNH THỰC HIỆN 1. Thời gian thực hiện đề tài: - Theo Hợp đồng đã ký kết: từ 10 tháng 01 năm 2012 đến10 tháng 1 năm 2013 - Thực tế thực hiện: từ 10 tháng 01 năm 2012 đến 31 tháng 12 năm 2012 - Được gia hạn (nếu có): không 2. Kinh phí và sử dụng kinh phí: a) Tổng số kinh phí thực hiện: 800 tr.đ, trong đó: + Kính phí hỗ trợ từ SNKH: 800 tr.đ + Kinh phí từ các nguồn khác: 0 tr.đ + Tỷ lệ và kinh phí thu hồi đối với dự án (nếu có): không b) Tình hình cấp và sử dụng kinh phí từ nguồn SNKH: Theo kế hoạch Thực tế đạt được Số TT Thời gian (Tháng, năm) Kinh phí (Tr.đ) Thời gian (Tháng, năm) Kinh phí (Tr.đ) Ghi chú (Số đề nghị quyết toán) 1 03/2012 240 03/2012 240 2 05/2012 320 05/2012 320 3 09/2012 240 09/2012 240 5 c) Kết quả sử dụng kinh phí theo các khoản chi: Đối với đề tài: Đơn vị tính: Triệu đồng Theo kế hoạch Thực tế đạt được Số TT Nội dung các khoản chi Tổng SNKH Nguồn khác Tổng SNKH Nguồn khác 1 Trả công lao động (khoa học, phổ thông) 666 666 0 666 666 0 2 Nguyên, vật liệu, năng lượng 0000 0 0 3 Thiết bị, máy móc 72 72 0 72 72 0 4 Xây dựng, sửa chữa nhỏ 0000 0 0 5 Chi khác 62 62 0 62 62 0 Tổng cộng 800 800 0 800 800 0 - Lý do thay đổi (nếu có): 3. Các văn bản hành chínhtrong quá trình thực hiện đề tài: (Liệt kê các quyết định, văn bản của cơ quan quản lý từ công đoạn xác định nhiệm vụ, xét chọn, phê duyệt kinh phí, hợp đồng, điều chỉnh (thời gian, nội dung, kinh phí thực hiện nếu có); văn bản của tổ chức chủ trì đề tài, dự án (đơn, kiến nghị điều chỉnh nếu có) Số TT Số, thời gian ban hành văn bản Tên văn bản Ghi chú 1 15/12/2011 Quyết định số 3853/QĐ-BKHCN ngày 15/12/2011 của Bộ trưởng Bộ Khoa học và Công nghệ về việc phê duyệt kinh phí, tổ chức và cá nhân chủ trì các nhiệm vụ khoa học và công nghệ bắt đầu thựchiện trong kế hoạch 2011 của Chương trình: “Nghiên cứu ứng dụng và phát triển công nghệ Thông tin và Truyền thông”, mã số KC.01/11-15 2 10/01/2012 Hợp đồng Nghiên cứu khoa học và phát triển công nghệ số 19/2011/HĐ-ĐTTN-KC.01/11-15 và Thuyết minh đề 6 tài “Nghiên cứu, triển khai hệ thống chia sẻ hình ảnh cho cộng đồng”, mã số KC.01.TN19/11-15 3 10/01/2012 Bản quy chế chi tiêu kinh phí của đề tài “Nghiên cứu, triển khai hệ thống chia sẻ hình ảnh cho cộng đồng”, mã số KC.01.TN19/11-15 4. Tổ chức phối hợp thực hiện đề tài: Số TT Tên tổ chức đăng ký theo Thuyết minh Tên tổ chức đã tham gia thực hiện Nội dung tham gia chủ yếu Sản phẩm chủ yếu đạt được Ghi chú* 1 Viện công nghệ thông tin và truyền thông – Đại học Bách Khoa Hà nội Không - Lý do thay đổi (nếu có): Cá nhân thực hiện là ThS.Lê Quốc – Đại học Bách khoa Hà nội xin rút khỏi đề tài 5. Cá nhân tham gia thực hiện đề tài: (Người tham gia thực hiện đề tài thuộc tổ chức chủ trì và cơ quan phối hợp, không quá 10 người kể cả chủ nhiệm) Số TT Tên cá nhân đăng ký theo Thuyết minh Tên cá nhân đã tham gia thực hiện Nội dung tham gia chính Sản phẩm chủ yếu đạt được Ghi chú* 1 KS. Nguyễn Đức Chính KS. Nguyễn Đức Chính Chủ nhiệm đề tài Nghiên cứu công nghệ phân tán Chủ nhiệm đề tài và hệ thống download ảnh 2 KS. Nguyễn Khánh Toàn KS. Nguyễn Khánh Toàn Nghiên cứu công nghệ upload Hệ thống Upanh 3 SV. Nghiêm Tiến Viễn SV. Nghiêm Tiến Viễn Nghiên cứu xây dựng website chia sẻ hình ảnh Hệ thống Upanh 7 4 Ths. Lê Quốc Ths. Trần Thị Hoàn Nghiên cứu xây dựng website chia sẻ hình ảnh Hệ thống Upanh 5 KS. Lê Văn Hùng KS. Lê Văn Hùng Nghiên cứu công nghệ phân tán Hệ thống download ảnh 6 KS. Hồ Minh Đức KS. Hồ Minh Đức Nghiên cứu công nghệ nhận dạng ảnh SEX, ảnh đồi trụy Hệ thống xử lý ảnh 7 Ths. Nguyễn Hoàng Trung Ths. Nguyễn Hoàng Trung Nghiên cứu công nghệ chống DDOS Hệ thống download ảnh và hệ thống Upanh 8 KS. Nguyễn Văn Trường KS. Nguyễn Văn Trường Nghiên cứu công nghệ nhận diện khuôn mặt Hệ thống xử lý ảnh 9 KS. Phạm Quốc Hiệp KS. Phạm Quốc Hiệp Nghiên cứu tích hợp hệ thống Hệ thống Upanh, hệ thống xử lý ảnh và hệ thống download ảnh 10 Ths. Phạm Nguyễn Quang Anh Ths. Phạm Nguyễn Quang Anh Nghiên cứu kiểm thử hệ thống Hệ thống Upanh, hệ thống download ảnh và hệ thống xử lý ảnh - Lý do thay đổi ( nếu có): Vì lý do cá nhân, Ths. Lê Quốc xin rút khỏi đề tài. Để đáp ứng tiến độ nghiên cứu, chúng tôi đã bổ sung Ths. Trần Thị Hoàn, thay thế vị trí của Ths. Lê Quốc. 6. Tình hình hợp tác quốc tế: 8 Số TT Theo kế hoạch (Nội dung, thời gian, kinh phí, địa điểm, tên tổ chức hợp tác, số đoàn, số lượng người tham gia ) Thực tế đạt được (Nội dung, thời gian, kinh phí, địa điểm, tên tổ chức hợp tác, số đoàn, số lượng người tham gia ) Ghi chú* 1 Không Không - Lý do thay đổi (nếu có): 9 7. Tình hình tổ chức hội thảo, hội nghị: Số TT Theo kế hoạch (Nội dung, thời gian, kinh phí, địa điểm ) Thực tế đạt được (Nội dung, thời gian, kinh phí, địa điểm ) Ghi chú* 1 Hội thảo khoa học “Lưu trữ phân tán và phân phối dữ liệu trong hệ thống chia sẻ ảnh trực tuyến” ngày 02/11/2012 tại Công ty Naiscorp Thực hiện theo kế hoạch 2 Hội thảo khoa học “An toàn, bảo mật và ngăn chặn ảnh không lành mạnh trong hệ thống chia sẻ ảnh trực tuyến” ngày 19/11/2012 2012 tại Công ty Naiscorp Thực hiện theo kế hoạch 3 Tổ chức 03 Hội thảo tại công ty Naiscorp Hội thảo Công nghệ “Công nghệ xây dựng hệ thống chia sẻ hình ảnh” ngày 18/12/2012 tại Công ty Naiscorp Thực hiện theo kế hoạch - Lý do thay đổi (nếu có): Không 10 III. SẢN PHẨM KH&CN CỦA ĐỀ TÀI 1. Sản phẩm KH&CN đã tạo ra: b) Sản phẩm Dạng II: Yêu cầu khoa học cần đạt Ghi chú TT Tên sản phẩm Theo kế hoạch Thực tế đạt được - Cho phép 1.000 người tải ảnh lên hệ thống đồng thời - Cho phép 1.000 người tải ảnh lên hệ thống đồng thời - Cho phép 100.000 người sử dụng hệ thống - Cho phép 100.000 người sử dụng hệ thống - Thời gian tải ảnh phụ thuộc vào tốc độ đường truyền của người sử dụng - Thời gian tải ảnh phụ thuộc vào tốc độ đường truyền của người sử dụng - Cho phép 1 người sử dụng up lên 1 lần tối đa 200 file trong trường hợp sử dụng flash. Nếu dùng công nghệ Upload dùng HTML thì chỉ được tối đa 3 file - Cho phép 1 người sử dụng up lên 1 lần tối đa 200 file trong trường hợp sử dụng flash. Nếu dùng công nghệ Upload dùng HTML thì chỉ được tối đa 3 file - Cho phép lưu trữ 50 triệu file ảnh - Cho phép lưu trữ 50 triệu file ảnh - Người dùng có thể xem tất cả các album ảnh của mình; tất cả các ảnh trong album - Người dùng có thể xem tất cả các album ảnh của mình; tất cả các ảnh trong album - Cho phép bảo mật ảnh theo album - Cho phép bảo mật ảnh theo album - Cho phép chia sẻ ảnh tới người dùng khác qua link tới Album, đưa link ảnh vào các website, diễn đàn khác - Cho phép chia sẻ ảnh tới người dùng khác qua link tới Album, đưa link ảnh vào các website, diễn đàn khác 1 Hệ thống Upanh - Cho phép các tổ chức, cá nhân có nhu cầu tạo - Cho phép các tổ chức, cá nhân có nhu cầu [...]... lực của nhóm nghiên cứu 36  1.3 Tính cấp thiết của vấn đề 36  Chương 2: TỔNG QUAN VỀ HỆ THỐNG CHIA SẺ HÌNH ẢNH CHO CỘNG ĐỒNG 38  2.1.  Yêu cầu về sản phẩm hệ thống 38  2.1.1.  Hệ thống up ảnh 38  2.1.2.  Hệ thống xử lý ảnh 39  2.1.3.  Hệ thống download ảnh 40  2.2.  Mô hình của hệ thống 41  2.2.1.  Quá trình tải ảnh từ thiết... forum (hơn 1.000 site) • Hệ thốngnghiên cứu, ứng dụng công nghệ lưu trữ phân tán, công nghệ xử lý phân tán • Hệ thống hướng đến nghiên cứu ứng dụng hệ thống chia sẻ hình ảnh vào phục vụ cho các thiết bị đầu cuối di động • Sản phẩm chính là một hệ thống hoàn chỉnh cho phép tự động tải ảnh lên hệ thống và chia sẻ hình ảnh giữa các cá nhân, phục vụ dịch vụ ảnh cho các website, forum, các thiết bị di động,... xem ảnh tốc độ cao, cho phép chia sẻ hình ảnh linh hoạt, đơn giản, nhiều người sử dụng • Thành lập doanh nghiệp khoa học công nghệ phục vụ trong lĩnh vực chia sẻ hình ảnh trực tuyến 1.1.2 Mục tiêu cụ thể • Hệ thống chia sẻ hình ảnh với số lượng ảnh cực lớn (hơn 100 triệu ảnh) , số người sử dụng cực đông (hơn 100.000 người dùng), cung cấp ảnh phục vụ cho nhiều website, forum (hơn 1.000 site) • Hệ thốngnghiên... chia sẻ ảnh hạn chế Vấn đề nghiên cứu 3: Công nghệ lưu trữ dữ liệu ảnh số lượng lớn Đặc điểm : Website chia sẻ ảnh yêu cầu phải xây dựng hệ thống lưu trữ ảnh phục vụ mục tiêu đáp ứng 100 triệu ảnh a Hệ thống lữu trữ ảnh phân tán có đặc điểm sau: • Lưu trữ hàng trăm triệu file ảnh, gồm ảnh gốc ban đầu và ảnh được tạo ra từ ảnh gốc như là ảnh thu nhỏ, ảnh sau chỉnh sửa , ảnh mới tạo ra kèm hiệu ứng ảnh. .. sản xuất thử nghiệm Triển khai tích hợp công nghệ tổng hợp tiếng Việt vào ứng dụng Mobile Portal phụ vụ cho đời sống xã hội” Đề tài khoa học tiềm năng: Nghiên cứu, triển khai hệ thống chia sẻ hình ảnh cho cộng đồng, mã số KC.01.TN19/11-15 Những vấn đề khoa học đang được công ty Naiscorp nghiên cứu là: • Nghiên cứu xử lý tiếng Việt • Nghiên cứu công cụ tìm kiếm • Nghiên cứu hệ thống lưu trữ số lượng... bảng Năng lực nhóm nghiên cứu 31 Trang 36 DANH MỤC HÌNH VẼ, ĐỒ THỊ Hình 1: Mô hình của hệ thống sau khi hoàn thiện 41  Hình 2: Quá trình tải ảnh lên server 42  Hình 3: Quá trình download và chia sẻ ảnh 43  Hình 1 Quy trình lưu trữ và chia sẻ ảnh của hệ thống UPANH.COM 50  Hình 5 Quy trình ghi dữ liệu 1  Hình 6 Nhận biết DataNode bị hỏng 1  Hình 7 Nhận biết... xây dựng hệ thống chia sẻ ảnh, công nghệ của các công ty xử lý ảnh vẫn còn đang hạn chế , đặc biệt là giới hạn hệ thống trong khả năng đáp ứng với quy mô số lượng lớn Chúng tôi quyết định tự nghiên cứu triển khai xây dựng hệ thống lưu trữ dữ liệu và phân phối dữ liệu đáp ứng yêu cầu thiết kế ban đầu đặt ra ban đầu cho 100 triệu ảnh Vấn đề nghiên cứu 5: Công nghệ xử lý dữ liệu ảnh và nhận dạng ảnh sex... 1  Hình 8: Mô hình hệ thống lưu trữ ảnh 56  Hình 9: Sơ đồ đồng bộ dữ liệu cho Slave i, với file 2, file 8 1  Hình 10: Quá trình đồng bộ của các Master 1  Hình 11: Bầu chọn thủ lĩnh 1  Hình 12: Chính sách hoạt động của hệ thống Cache 1  Hình 13: Minh họa sơ đồ các lớp được sử dụng trên hệ thống cache 63  Hình 14 Cân bằng tải sử dụng Round Robin DNS 1  Hình. .. diện ảnh không lành mạnh, tạo 1 số kích thước thumbnail cho ảnh Hệ thống - Công việc xử lý cần được phân tán trên nhiều xử lý ảnh server để đảm bảo tốc độ và yêu cầu tải của hệ thống -Cho phép nhận diện ảnh có chứa mã độc hay không và loại bỏ khỏi hệ thống -Cho phép tối ưu hóa dung lượng ảnh mà không làm giảm chất lượng ảnh -Cho phép người dùng thực hiện các thao tác xử lý ảnh đơn giản như xoay ảnh, ... file ảnh, truy xuất tốc độ cao (1 file ảnh trung bình 5 MB thì thời gian truy xuất đến file nhỏ hơn 1 giây) -Xây dựng hệ thống cache phân tán, cho phép cache 10 server -Database thông tin về tất cả người dùng sử dụng đã đăng ký Hệ thống -Cho phép 1.000 website sử dụng hệ thống download -Cho phép 100.000 người sử dụng điện thoại, ảnh máy tính để xem ảnh của hệ thống -Cho phép 10.000 người sử dụng hệ thống . cứu, triển khai hệ thống chia sẻ hình ảnh cho cộng đồng , mã số KC.01.TN19/11-15 3 10/01/2012 Bản quy chế chi tiêu kinh phí của đề tài Nghiên cứu, triển khai hệ thống chia sẻ hình ảnh cho cộng. - Cho phép 1.000 người tải ảnh lên hệ thống đồng thời - Cho phép 1.000 người tải ảnh lên hệ thống đồng thời - Cho phép 100.000 người sử dụng hệ thống - Cho phép 100.000 người sử dụng hệ thống. NGHỆ CHƯƠNG TRÌNH KH&CN TRỌNG ĐIỂM CẤP NHÀ NƯỚC KC.01/11-15 BÁO CÁO TỔNG HỢP KẾT QUẢ KHOA HỌC CÔNG NGHỆ ĐỀ TÀI NGHIÊN CỨU, TRIỂN KHAI HỆ THỐNG CHIA SẺ HÌNH ẢNH CHO CỘNG ĐỒNG