Đang tải... (xem toàn văn)
Nghiên cứu phần mềm Quản lý dữ liệu vi mô, nghiên cứu khả năng ứng dụng phần mềm này vào việc lưu trữ thông tin của các cuộc điều tra của Tổng cục Thống kê. Đánh giá việc quản lý dữ liệu vi mô của một số cuộc điều tra trong Tổng cục Thống kê; Thử nghiệm phần mềm Quản lý dữ liệu vi mô cho Khảo sát mức sống hộ gia đình năm 2006 và Tổng điều tra Nông thôn, Nông nghiệp và Thủy sản năm 2006
TỔNG CỤC THỐNG KÊ BÁO CÁO CHUYÊN ĐỀ “Thực trạng công tác quản lý liệu vi mô số điều tra Tổng cục Thống kê” Đề tài: “Nghiên cứu ứng dụng phần mềm quản lý liệu vi mô (Microdata management) vào việc lưu trữ, khai thác liệu điều tra thống kê” Đơn vị chủ trì: Đồn TNCSHCM-TCTK Chủ nhiện đề tài: Nguyễn Quang Phương Người viết chuyên đề: Cao Quang Thành HÀ NỘI, NĂM 2008 Mục lục Lời nói đầu Hiện trạng thiết bị tin học, hạ tầng truyền thông, phần mềm hệ thống việc ứng dụng CNTT ngành Thống kê a Cơ sở hạ tầng công nghệ thông tin ngành Thống kê b Ứng dụng CNTT việc truyền số liệu c Ứng dụng CNTT xử lý số liệu điều tra d Ứng dụng CNTT xây dựng CSDL phổ biến số liệu Hiện trạng việc thu thập số liệu việc quản lý CSDL vi mô số điều tra ngành Thống kê a Số liệu tổng điều tra dân số nhà 1999 b Số liệu TĐT nông thôn nông nghiệp thủy sản năm 2001 15 c Số liệu TĐT sở kinh tế-hành nghiệp năm 2002 16 d Số liệu điều tra biến động dân số hàng năm 17 e Số liệu điều tra khảo sát mức sống hộ gia đình 19 f Số liệu điều tra Doanh nghiệp: 20 Đánh giá trạng 20 Kết luận kiến nghị 23 Lời nói đầu Với tốc độ phát triển mang tính bùng nổ CNTT, việc ứng dụng Tin học chuyển từ vai trò thúc đẩy “cách mạng quản lý” sang làm tảng cho kinh tế xã hội – “xã hội thông tin” Nhất từ mạng Internet đời liên kết hàng triệu máy tính tồn cầu, tăng khả khai thác nguồn thơng tin khắp nơi, thời điểm cho hàng trăm triệu người dùng CNTT khơng cịn phương tiện kỹ thuật đơn nữa, mà trở thành môi trường cho hoạt động kinh tế, văn hoá, xã hội Trong ngành Thống kê, số liệu trở thành nguồn lực (tin lực) có vai trị to lớn việc thúc đẩy phát triển kinh tế Quốc gia Do việc xây dựng CSDL tập trung quan trọng cần thiết Nằm khuôn khổ xây dựng CSDL Quốc gia nhà nước, CSDL vi mô điều tra trở thành công cụ hữu hiệu hỗ trợ công tác quản lý, điều hành, định cấp lãnh đạo, nhà hoạch định sách ngành Thống kê quan đơn vị liên quan Cơ sở liệu vi mô CSDL lưu trữ tạo công cụ khai thác thông tin từ phiếu điều tra, chế độ ban đầu phát sinh từ đơn vị kinh tế sở Cơ sở liệu vi mô triển khai cho Tổng điều tra điều tra Tổng cục tổ chức tầm quốc gia (tổng điều tra dân số năm 1999, Tổng điều tra nông thôn, nông nghiệp thủy sản năm 2001, Tổng điều tra sở kinh tế - hành nghiệp năm 2002, Điều tra doanh nghiệp từ 2002-2005, Điều tra biến động dân số hàng năm, Điều tra khảo sát mức sống hộ gia đình…) Các điều tra có nguồn thơng tin đầy đủ, có hệ thống tin học hóa nên xây dựng CSDL vi mô Tuy nhiên, thơng tin điều tra nói phản ánh số linh vực kinh tế -xã hội thời điểm định (thời điểm điều tra) Nhưng thông tin thường xuyên phục vụ việc lập báo cáo thống kê hàng tháng, quý, năm hoạt động kinh tế-xã hội phục vụ nhu cầu người dùng tin chưa tin học hóa hệ thống thống kê tập trung (Hệ thống thống kê Tổng cục Thống kê thực hiện) hệ thống thống kê Bộ, ngành chưa xây dựng CSDL (từ năm 2005, Tổng cục giao cho Trung tâm Tin học phối hợp với Vụ triển khai tin học hóa hệ thống hệ thống thống kê tập trung) Trong khuôn khổ chuyên đề này, đề cập đến việc đánh giá trạng nhu cầu cho công tác lưu trữ quản lý liệu vi mô đơn vị thực số điều tra Tổng cục thống kê Phân tích trạng đánh giá cần thiết phải lưu trữ quản lý liệu vi mô Hiện trạng thiết bị tin học, hạ tầng truyền thông, phần mềm hệ thống việc ứng dụng CNTT ngành Thống kê a Cơ sở hạ tầng công nghệ thông tin ngành Thống kê Ngành Thống kê có hệ thống sở hạ tầng CNTT tốt Các máy tính có cấu hình mạnh, có mạng LAN TCTK mạng WAN toàn ngành Phần mềm hệ thống sử dụng Microsoft - Máy chủ STT Cấu hình Số lượng 2CPU x Xeon 2.4GHz 400MHz, Tên máy IBM X253 Cache 512, DDR 1GB, HDD x 18,2GB IBM X253 2CPU x Xeon 2.8GHz 400MHz, Cache 512, DDR 1GB, HDD x 36GB IBM X255 4CPU x Xeon 2.4GHz 400MHz, Cache 512, DDR 2GB, HDD x 73GB IBM X253 2CPU x Xeon 2.8GHz 400MHz, Cache 512, DDR 1GB, HDD x 73GB IBM X253 2CPU x Xeon 2.8GHz 400MHz, Cache 512, DDR 1GB, HDD x 73GB IBM X253 2CPU x Xeon 2.8GHz 400MHz, Cache 512, DDR 1GB, HDD x 143GB - Máy trạm STT Cấu hình Số lượng Procesor: Intel Pentium IV 3.06 193 Tên máy HP D240 GHz; RAM: 256MB DDR PC3200; Chipset: Intel 845GV; HDD: 40 GB ATA/100 HPDC5700 Procesor: Intel Pentium D GHz; RAM: 256MB DDR; Chipset: Intel 965GV; HDD: 80 51 GB SATA HPDC 5100 Procesor: SFF Intel Pentium IV 3.0GHz; RAM: 256MB DDR; Chipset: Intel 965GV; HDD: 40 GB Dell GX 240 14 Dell 160L 24 Fpt Elead 19 Compag 5100 - Đường truyền Internet tốc độ cao: Tổng cục Thống kê có đường truyền internet tốc độ cao là: đường cáp quang đường SHSL 2M thuê từ nhà cung cấp dịch vụ Cục bưu điện Trung ương - Phần mềm hệ thống: Máy chủ : Microsoft Windows Server 2003 64bit Máy trạm: Microsoft Windows XP Microsoft Windows Vista - Phần mềm văn phòng: Microsoft Office 2003 Microsoft Office XP - Phần mềm diệt virus: Symantec Antivirus 10.1 Net - Hệ thống thư tín điện tử (E-Mail): MDeamon - Hệ thống truyền nhận file (Ftp): ServerU Ftp Microsoft b Ứng dụng CNTT việc truyền số liệu Việc tin học hố cơng tác xử lý truyền đưa số liệu số lĩnh vực công tác thống kê trì, hồn thiện phát triển góp phần nâng cao hiệu công tác, chất lượng số liệu rút ngắn thời gian báo cáo Mạng GSO phát huy tác dụng việc truyền đưa số liệu, phổ biến nhanh văn bản, tài liệu hướng dẫn Tổng cục đến địa phương Thư tín điện tử sử dụng, tạo điều kiện để giải nhanh hiệu công việc Trang WEB thống kê trì mạng intranet, tiến hành công tác quản trị mạng cập nhật thông tin trang WEB c Ứng dụng CNTT xử lý số liệu điều tra Xử lý số liệu Tổng điều tra nông thôn, nông nghiệp với 12,4 triệu phiếu điều tra từ 12,4 triệu hộ gia đình Xử lý số liệu Tổng điều tra sở kinh tế - hành nghiệp cho 2,3 triệu đơn vị kinh tế - hành chính, nghiệp Xử lý số liệu chọn mẫu nhân học nhiều vòng với 1,5 triệu nhân 200 ngàn hộ gia đình Xử lý số liệu điều tra chọn mẫu hộ gia đình đa mục tiêu với 40 ngàn hộ gia đình chọn mẫu cho năm Xử lý số liệu điều tra Lao động Việc làm với khoảng 120 ngàn hộ gia đình chọn mẫu cho năm Xử lý số liệu Tổng điều tra Dân số Nhà năm 1999 với gần 17 triệu hộ gia đình 76 triệu nhân Xử lý số liệu điều tra Doanh nghiệp hàng năm Và xử lý số liệu nhiều cuôc điều tra khác… d Ứng dụng CNTT xây dựng CSDL phổ biến số liệu Ứng dụng công nghệ thông tin xử lý lưu giữ số liệu điều tra: thí điểm xây dựng CSDL cho phân hệ sau: thống kê giá cả, thống kê công nghiệp, thống kê thương mại, thống kê nông nghiệp Trong năm 2000, CSDL vi mô TĐTDS Nhà xây dựng để lưu giữ liệu gốc 3%, lưu giữ liệu gốc 100% khai thác qua hệ quản trị CSDL quan hệ SQL Server Hoàn thành việc xử lý xây dựng sơ liệu Tổng điều tra nông thôn, nông nghiệp thuỷ sản Cùng với báo cáo tổng hợp xuất dạng ấn phẩm, sản xuất đĩa CD-ROM kết tổng điều tra nước địa phương Cùng với báo cáo tổng hợp xuất dạng ấn phẩm, Tổng cục Thống kê Cục Thống kê sản xuất đĩa CD-ROM niên giám, kết tổng điều tra, điều tra nước địa phương Đã có nhiều số liệu đưa lên mạng intranet để sử dụng Hiện trạng việc thu thập số liệu việc quản lý CSDL vi mô số điều tra ngành Thống kê Nguồn số liệu: Thơng tin thống kê định kỳ: tháng, q, năm tổng hợp từ hệ thống báo cáo thống kê Tại TCTK, thông tin tổng hợp từ hệ thống báo cáo thống kê Cục Thống kê tỉnh/thành phố báo cáo thống kê thu thập từ Bộ, ngành Thơng tin tổng hợp, phân tích, dự báo từ điều tra thống kê từ số hệ sở liệu vi mô vài ngành khác (số liệu thuế Bộ Tài chính, số liệu xuất nhập Hải quan…) a Số liệu tổng điều tra dân số nhà 1999 Tổng điều tra Dân số nhà (TĐTDS&NƠ) 1-4-1999 thu thập số liệu gần 17 triệu hộ với 76 triệu nhân Phiếu điều tra gồm 26 câu hỏi cho phiếu dài (điều tra mẫu) 18 câu hỏi cho phiếu ngắn (điều tra toàn bộ) Việc xử lý số liệu thực hệ thống máy tính PC nối mạng nội Chương trình nhập, kiểm tra sửa liệu phát triển phần mềm ISSA, chương trình hiệu đính tổng hợp phát triển phần mềm IMPS (CONCOR CENTS) Các chương trình tích hợp chung hệ thống thống quản lý toàn luồng liệu, công việc, người dùng Dữ liệu vi mô tệp ký tự ASCII với nhiều loại ghi tệp Hiện tệp liệu tiếp tục lưu giữ sử dụng để tổng hợp biểu, tiêu đặc biệt có yêu cầu đột xuất ngành Dung lượng tệp liệu vi mô dạng ký tự ASCII điều tra mẫu 3% 162 MB, điều tra toàn 4860 MB Sau hoàn thành việc xử lý tổng hợp, liệu vi mô ghi đĩa CD-ROM kèm theo công cụ khai thác, chuyển đổi, tổng hợp Có nhiều loại đĩa CD-ROM phát hành: đĩa phần điều tra mẫu 3% chung toàn quốc, đĩa 100% theo tỉnh (mỗi tỉnh đĩa riêng) phục vụ cho việc cung cấp số liệu cho người dùng ngồi ngành Dữ liệu vi mơ đĩa CD-ROM dạng tệp ký tự ASCII có kèm theo công cụ cho phép chuyển đổi sang SPSS, ACCESS dạng tệp ký tự phẳng (tách riêng loại ghi khác nhau) tùy chọn khuôn thức theo yêu cầu người dùng để thuận tiện cho việc chuyển đổi vào môi trường / phần mềm khác Dữ liệu vi mơ tồn quốc chuyển đổi quản lý sở liệu mô hình quan hệ hệ quản trị CSDL SQL Server, gồm CSDL vi mô mẫu 3% CSDL vi mơ tồn 100% Cơ sở liệu bao gồm liệu siêu liệu cấu trúc, tên biến, danh mục liên quan với hướng dẫn việc chiết xuất, khai thác liệu CSDL lưu giữ Trung tâm tích hợp liệu TCTK cho phép truy cập mạng nội TCTK Kết tổng hợp kết TĐTDS&NƠ 1999 hai hệ thống: 1) hệ thống gồm 21 biểu điều tra mẫu tổng hợp cho cấp toàn quốc, vùng tỉnh; 2) hệ thống biểu cho điều tra toàn gồm 56 biểu tổng hợp cho cấp toàn quốc, vùng, tỉnh, huyện, xã Các hệ thống biểu tổng hợp xây dựng thành sở liệu vĩ mô thiết kế môi trường SQL Server Công cụ khai thác, tìm kiếm liệu ứng dựng Windows Các hệ thống biểu tổng hợp xây dựng thành đĩa CD-ROM để cung cấp cho người sử dụng khác nhau: đĩa CD-ROM kết toàn diện cho cấp toàn quốc, đĩa số liệu kết mẫu cấp toàn quốc đĩa CD-ROM cấp tỉnh (chung liệu vi mô vĩ mô), đĩa CD-ROM với hệ thống thông tin địa địa lý (GIS) với đồ thông tin tổng hợp đến cấp huyện Trên đĩa CD-ROM có siêu liệu tham chiếu (reference metadata) như: tài liệu, văn liên quan đến tổng điều tra, mẫu phiếu điều tra, sổ tay hướng dẫn điều tra, báo cáo phân tích,… Danh sách đầu biểu tổng hợp TĐTDS 1999: Tên biểu STT Dân số chia theo giới tính đơn vị hành Dân số chia theo loại quan hệ với chủ hộ đơn vị hành Số hộ chia theo số người hộ đơn vị hành Dân số chia theo độ tuổi giới tính Dân số chia theo nhóm tuổi giới tính Dân số chia theo dân tộc giới tính Dân số chia theo dân tộc, nhóm tuổi giới tính Dân số chia theo tơn giáo giới tính Dân số từ tuổi trở lên chia theo nơi thực tế thường trú 31/03/1994 31/03/1999 giới tính 10 24 Dân số từ tuổi trở lên chia theo tơn giáo, giới tính trình độ học vấn Dân số từ 13 tuổi trở lên làm việc 12 tháng qua chia theo trình độ 25 học vấn, giới tính nghề nghiệp Dân số từ 13 tuổi trở lên chia theo trình độ học vấn, giới tính loại hoạt 26 động 27 Dân số từ 13 tuổi trở lên chia theo loại hoạt động, nhóm tuổi giới tính Dân số từ 13 tuổi trở lên chia theo loại hoạt động, dân tộc, tơn giáo giới 28 tính Dân số độ tuổi lao động chia theo đơn vị hành loại hoạt động 29 giới tính Dân số từ 13 tuổi trở lên làm việc 12 tháng qua chia ngành kinh tế 30 quốc dân, giới tính thành phần kinh tế Dân số từ 13 tuổi trở lên làm việc 12 tháng qua chia ngành kinh tế 31 quốc dân giới tính Dân số từ 13 tuổi trở lên làm việc 12 tháng qua chia thành phần kinh 32 tế, nhóm tuổi giới tính 33 Dân số từ 13 tuổi trở lên chia theo nhóm tuổi, giới tính cấp TĐCMKT Dân số từ 13 tuổi trở lên chia theo đơn vị hành chính, giới tính cấp 34 TĐCMKT 35 Dân số từ 13 tuổi trở lên chia theo dân tộc, giới tính cấp TĐCMKT 36 Dân số từ 13 tuổi trở lên chia theo tơn giáo, giới tính cấp TĐCMKT 37 Dân số từ 13 tuổi trở lên chia theo loại hoạt động, giới tính cấp 12 TĐCMKT Dân số từ 13 tuổi trở lên làm việc 12 tháng qua chia theo nghề 38 nghiệp, giới tính cấp TĐCMKT Dân số từ 13 tuổi trở lên có việc làm thường xuyên 12 tháng qua 39 chia theo thành phần kinh tế, giới tính cấp TĐCMKT Dân số từ 13 tuổi trở lên có việc làm thường xuyên 12 tháng qua 40 chia theo ngành kinh tế quốc dân, giới tính cấp TĐCMKT Số cơng nhân kỹ thuật & nhân viên nghiệp vụ có bằng/chứng có việc làm thường xuyên 12 tháng qua chia theo ngành kinh tế quốc 41 dân giới tính 42 Số hộ chia theo tình trạng nhà ở, loại nhà đơn vị hành Số hộ có nhà thuộc loại nhà kiên cố, bán kiên cố, khung gỗ chia theo loại 43 nhà hình thức sở hữu Số hộ có nhà thuộc loại nhà kiên cố, bán kiên cố, khung gỗ chia theo loại 44 nhà diện tích Số hộ có nhà chia theo thời gian xây dựng, loại nhà, hình thức sở hữu, 45 diện tích tiện nghi sử dụng Số hộ có nhà chia theo trình độ chun mơn kỹ thuật chủ hộ, loại 46 nhà, hình thức sở hữu, diện tích tiện nghi sử dụng Số hộ có nhà chia theo nghề nghiệp chủ hộ, loại nhà, hình thức sở 47 hữu, diện tích tiện nghi sử dụng Số hộ có nhà chia theo thành phần kinh tế chủ hộ, loại nhà, hình 48 thức sở hữu, diện tích tiện nghi sử dụng 13 Số hộ có nhà thuộc loại nhà kiên cố, bán kiên cố, khung gỗ chia theo 49 diện tích bình qn đầu người nghề nghiệp chủ hộ 50 Dân số chia theo nơi có mặt vào đêm 31/03/1999 giới tính Số người có mặt ngồi tỉnh vào đêm 31/03/1999 chia theo tỉnh/thành phố 51 nơi họ có mặt giới tính Số người có mặt ngồi tỉnh vào đêm 31/03/1999 chia theo nhóm tuổi, 52 giới tính tỉnh/thành phố nơi thường trú Số công nhân kỹ thuật & nhân viên nghiệp vụ có bằng/chứng có việc làm thường xuyên 12 tháng qua chia theo nhóm tuổi, thành 53 phần kinh tế giới tính Số người có trung học chuyên nghiệp có việc làm thường xuyên 54 12 tháng qua chia theo ngành kinh tế quốc dân giới tính 55 Dân số chia theo tỉnh nơi có mặt vào đêm điều tra 31/03/1999 giới tính Số người có trung học chuyên nghiệp có việc làm thường xuyên 56 12 tháng qua chia theo ngành/nghề đào tạo giới tính Các biểu tổng hợp cho điều tra mẫu 3% có nội dung tương tự, ngồi có số biểu liên quan đến sinh, chết như: - Các tỷ suất sinh, chết, tăng tự nhiên dân số - Tỷ lệ giới tính sinh tỷ suất sinh đặc trưng Tóm lại, với liệu TĐTDS&NƠ 1999, lựa chọn nguồn / hệ thống để chuyển vào kho liệu: Dữ liệu vi mô: Các tệp liệu ký tự ASCII lưu Trung tâm Tin học Thông kê, 14 Bộ đĩa CD-ROM: đĩa 3% toàn quốc đĩa CD-ROM tỉnh, CSDL vi mô SQL Server Dữ liệu kết vĩ mơ: Các đĩa CD-ROM có chứa biểu tổng hợp CSDL kết vĩ mô b Số liệu TĐT nông thôn nông nghiệp thủy sản năm 2001 TĐTNTNN&TS coi nguồn liệu phong phú chi tiết cho thống kê xã hội với thông tin sở hạ tầng kinh tế xã hội khu vực nông thôn, điều kiện môi trường sống, mức sống, lao động nông nghiệp Dữ liệu vi mô vĩ mô hai TĐTNTNN&TS năm 2001 2006 lưu giữ đầy đủ với nhiều dạng khuôn mẫu, vật lưu tin khác Dữ liệu TĐTNTNN&TS năm 2001 có dang lưu giữ sau: Các tệp liệu vi mô sau nhập tin, hiệu chỉnh dạng FoxPro tất loại phiếu điều tra; Đĩa CD-ROM liệu vi mô phiếu “Cơ sở hạ tầng xã” tồn quốc dạng tệp ký tự ASCII có kèm theo công cụ chuyển đổi sang dạng phổ biến khác ACCESS, tệp phẳng; Đĩa CD-ROM kết tổng hợp gồm hệ thống biểu tổng hợp cấp; Đĩa CD-ROM cấp tỉnh (mỗi tỉnh đĩa) liệu kết TĐTNTNN&TS có chứa liệu vi mô hai loại phiếu điều tra: phiếu hộ phiếu xã chuyển đổi dang khn dạng khác, hệ biểu tống hợp kết tỉnh; CSDL dạng SQL Server toàn quốc lưu giữ liệu vi mô hai loại phiếu điều tra hộ xã 15 Dữ liệu TĐTNTNN&TS năm 2006 lưu giữ, phân phát dạng tương tự năm 2001 như; tệp liệu gốc FoxPro, tệp liệu ký tự ASCII, loại đĩa CD-ROM liệu kết quả, CSDL dạng SQL Server quản lý TTTHDL TCTK Khác biệt liệu hai tổng điều tra là: năm 2001 sản phẩm CD-ROM CSDL vi mô phát triển cho hai loại phiếu hộ xã năm 2006, liệu vi mô tất loại phiếu điều tra xây dựng CSDL SQL Server đĩa CD-ROM Ngoài TĐTNTNN&TS năm 2006, công cụ khai thác liệu môi trường web phát triển tạo điều kiện thuận tiện cho người dùng tạo lập thống kê từ nguồn liệu c Số liệu TĐT sở kinh tế-hành nghiệp năm 2002 Cuộc Tổng điều tra sở kinh tế, hành chính, nghiệp 2002 Tổng cục Thống kê tiến hành phạm vi nước Đối tượng Tổng điều tra toàn sở hoạt động thời điểm 1/7/2002 hai lĩnh vực: sản xuất kinh doanh hành nghiệp Kết điều tra có 10.793.376 lao động làm việc 2.880.004 sở Dữ liệu tổng điều tra sở kinh tế-hành nghiệp năm 2002 có dạng lưu giữ sau: Các tệp liệu vi mô sau nhập tin, hiệu chỉnh dạng FoxPro tất loại phiếu điều tra; Đĩa CD-ROM liệu vi mô tồn quốc dạng tệp ký tự ASCII có kèm theo công cụ chuyển đổi sang dạng phổ biến khác ACCESS, tệp phẳng; Đĩa CD-ROM kết tổng hợp gồm hệ thống biểu tổng hợp cấp; 16 Đĩa CD-ROM cấp tỉnh (mỗi tỉnh đĩa) liệu kết có chứa liệu vi mơ loại phiếu điều tra, chuyển đổi sang khuôn dạng khác, hệ biểu tống hợp kết tỉnh; CSDL dạng SQL Server lưu giữ liệu vi mơ tồn quốc d Số liệu điều tra biến động dân số hàng năm Trước năm 1999, số năm, tiêu biến dân số dân số kế hoạch hóa gia đình tính tốn dựa điều tra nhiều vịng Ngun tắc điều tra giữ cố định dàn mẫu với địa bàn điều tra, mã số hộ không thay đổi Vòng điều tra đầy đủ tiêu thuộc phạm vi, vòng thực ba tháng lần, sử dụng phiếu cũ thu thập tiếp thông tin cấp nhật: thay đổi tình trạng nhân, mang thai, sinh chết, di chuyển đến, sử dụng / ngừng sử dụng biện pháp tránh thai Hệ thống phát triển với sở liệu FoxPro Tuy nhiên liệu trước lưu giữ đĩa mềm có khả sử dụng Từ năm 2000, điều tra dân số nhiều vòng chuyển thành điều tra Biến động dân số thực vào 1-4 hàng năm Đây điều tra có cỡ mẫu lớn, khoảng 400 nghìn hộ với 1,6 triệu dân số (năm 2007 402 nghìn hộ, 1,63 triệu dân số, năm 2008 378 nghìn hộ với 1,47 trệu dân số) Thiết kế phiếu câu hỏi có thay đổi định theo năm Những số liệu thu thập chủ yếu giới tính, tuổi, hình hình học, trình độ văn hóa chun môn kỹ thuật, hôn nhân, di cư, hoạt động kinh tế, sinh, chết, kế hoạch hóa gia đình, nạo phá thai Một vài năm điều tra kết hợp với điều tra lao động việc làm với mức độ khác năm 2006 2008 Các chương trình nhập tin kiểm tra, hiệu đính số liệu thiết kế phần mềm ISSA (năm 2000 2001) sau chuyển sang phần mềm CSPro, phần mềm IMPS (CENTS) sử dụng để lập trình tính tốn biểu tổng hợp Dữ liệu vi mô tệp ký tự ASCII “không 17 phẳng”, nghĩa tệp liệu chứa tất loại ghi (tương tự cấu trúc liệu vi mô TĐTDS 1989), lưu trữ theo năm, năm tệp gồm nhiều loại ghi Dung lượng liệu năm 100 MB Loại liệu lưu trữ TTTH Thống kê tiếp tục phục vụ cho nhu cầu lập biểu tổng hợp đặc biệt có yêu cầu phát sinh Hàng năm, sau xử lý xong điều tra BĐDS&KHHGĐ, liệu vi mô chuyển đổi sang dạng SPSS gửi đến Vụ TK DSLD CTK tỉnh, thành phố Số liệu vĩ mô với biểu tổng hợp cấp dạng EXCEL lưu giữ TTTHTK đồng thời gửi cho Vụ TK DS LĐ CTK Loại liệu đáp ứng yêu cầu kiểm tra số liệu kết quả, tổng hợp, phân tích theo nhu cầu đặc biệt cán thống kê Vụ DS-LĐ Cục Ngoài dạng liệu trên, riêng năm 2005 2006, số liệu vi mô vĩ mơ điều tra BĐDS&KHHGĐ cịn thiết kế CSDL mơ hình quan hệ (SQL Server) Ngồi liệu vi mô biểu kết tổng hợp, CSDL bao gồm siêu liệu như: mô tả liệu, cấu trúc liệu, sơ đồ quan hệ, tất danh mục, phân loại, siêu liệu tham chiếu (tài liệu liên quan: sổ tay điều tra viên, phương án, mẫu phiếu,…) Các công cụ khai thác liệu hướng người sử dụng thiết kế dạng khai thác giao diện Web cung cấp chức tìm kiếm liệu, trích xuất liệu sang dạng khác nhau, lập biểu phân tổ tần xuất, lập bảng tổng hợp chéo tuỳ chọn (cross-tabulation), thuộc tính áp dụng hệ số gia quyền/suy rộng khơng gia quyền, v.v… Đây coi thử nghiệm tốt để xây dựng CSDL tích hợp chung phục vụ nhu cầu khai thác người dùng tin bước đường tới xây dựng kho liệu TCTK Sơ đồ quan hệ bảng liệu vi mô 18 e Số liệu điều tra khảo sát mức sống hộ gia đình Trong năm 1990, TCTK có số điều tra Đa mục tiêu coi tiền thân điều tra KSMSHGĐ Theo năm, phụ thuộc vào phần mềm chọn để xử lý mà liệu vi mô lưu giữ dạng tệp ký tự ASCII, FoxPro hay Stata Từ năm 2002, TCTK tiến hành điều tra KSMSHGĐ hai năm lần Đây điều tra có cỡ mẫu khơng lớn, khoảng 46000 hộ năm có lượng câu hỏi lớn phức tạp cấu trúc liệu vi mô phức tạp Các điều tra 2002 xử lý phần mềm FoxPro vậy, liệu vi mô dạng CSDL FoxPro Từ năm 2004 (2004, 2006 2008) phần mềm xử lý chọn CSPro liệu tệp ký tự 19 ASCII Các tệp ASCII tệp ký tự “khơng phẳng”, có cấu trúc gồm nhiều ghi khác Ví dụ: năm 2006 có loại phiếu điều tra: phiếu vấn hộ Thu nhập chi tiêu, phiếu vấn hộ Thu nhập, phiếu Xã, phiếu trường hoc phiếu Trạm Y tế Chỉ riêng phiếu vấn hộ Thu nhập chi tiêu tệp liệu ban đầu (tệp liệu nhập tin gốc) có tới 76 loại ghi với tổng số biến lên tới 1186 biến (câu) Dung lượng liệu vi mô năm khoảng 300 MB Dữ liệu vi mô điều tra chuyển đổi dạng Stata phục vụ cho việc kiểm tra, tổng hợp chi tiết vụ TK XHMT CTK Các biểu tổng hợp cấp dạng EXCEL cung cấp cho người dùng khác lưu giữ TTTHTK vụ TK XHMT f Số liệu điều tra Doanh nghiệp: Đây điều tra mà TCTK tiến hành hàng năm, số liệu điều tra nhiều tổ chức cá nhân quan tâm Số liệu vi mô điều tra lưu giữ dạng sau: Các tệp liệu vi mô sau nhập tin, hiệu chỉnh dạng FoxPro tất loại phiếu điều tra; Đĩa CD-ROM liệu vi mơ tồn quốc dạng tệp ký tự ASCII có kèm theo cơng cụ chuyển đổi sang dạng phổ biến khác ACCESS, tệp phẳng; Đĩa CD-ROM kết tổng hợp gồm hệ thống biểu tổng hợp cấp; CSDL dạng SQL Server lưu giữ liệu vi mô toàn quốc Đánh giá trạng a Hạ tầng công nghệ thông tin Cơ sở hạ tầng công nghệ thông tin tiếp tục tăng cường cho đơn vị Tổng cục, Trung tâm tin học Thống kê, Cục Thống kê Phòng Thống kê cấp huyện, trường đào tạo thông qua nguồn lực 20 nước quốc tế; tăng cường máy chủ, lắp đặt mạng nội cho số Cục Thống kê, bổ sung máy tính cho cấp huyện Tuy nhiên, cơng tác ứng dụng công nghệ thông tin vào hoạt động thống kê nhiều hạn chế cần khắc phục Trong tồn ngành cịn thiếu chiến lược, kế hoạch tổng thể ứng dụng phát triển công nghệ thơng tin có tính khả thi Việc tin học hố cơng tác thống kê số chun ngành cịn chậm Thực quy chế đưa thông tin lên mạng chưa tốt, việc cập nhật thông tin văn ngành cịn chậm, nhiều thơng tin cũ chưa thay kịp thời Trình độ sử dụng máy tính đơn vị khơng đồng Về mặt tổ chức, Tổng cục vừa thành lập đơn vị quản lý nhà nước công nghệ thông tin ngành thuộc Vụ Phương pháp Chế độ Thống kê, chịu trách nhiệm xây dựng kế hoạch, thực chức điều phối, đạo toàn ngành; phận chuyên trách làm nhiệm vụ biên tập thông tin trang WEB thống kê giao cho Trung tâm Tư liệu Thống kê Nhiều địa phương hình thành phịng Phương pháp chế độ công nghệ thông tin chưa rõ chức nhiệm vụ thiếu cán nịng cốt cơng nghệ thông tin nên việc ứng dụng đơn vị bị hạn chế Tổ chức đào tạo nâng cao trình độ sử dụng máy tính cán cơng chức ngành chưa thường xuyên Cơ sở vật chất kỹ thuật nói chung cịn thiếu thốn chưa đủ đáp ứng u cầu cơng tác thống kê Kinh phí cho cơng tác thống kê nói chung mức hạn chế, kinh phí điều tra trì hoạt động công nghệ thông tin Hệ thống sở hạ tầng cơng nghệ thơng tin nói chung chưa đồng chưa đủ để đáp ứng yêu cầu tác nghiệp công tác thống kê Nhiều tiêu thống kê, biểu mẫu báo cáo, điều tra chưa chuẩn hố hạn chế tin học hố cơng tác thống kê Chất lượng truyền thông qua modem đường điện thoại đáp ứng nhu cầu xử lý, lưu trữ cung cấp thông tin thống kê Hiện 21 máy tính Cục Thống kê, Phịng Thống kê cấp huyện cấu hình kỹ thuật thấp nên không triển khai ứng dụng cài đặt địi hỏi cấu hình máy hệ điều hành mạnh b Xây dựng quản lý CSDL Đối tượng sử dụng liệu vi mô điều tra vụ nghiệp vụ thuộc thống kê xã hội số tổ chức, cá nhân tiến hành nghiên cứu sâu Công cụ để tiến hành phân tích sâu tạo lập biểu tổng hợp, thống kê đặc biệt phần mềm phân tích thống kê SPSS, Stata, SAS Do cách lưu trữ cung cấp số liệu vi mô dạng nói chung đáp ứng yêu cầu thực tế người sử dụng Các hệ thống tác nghiệp đáp ứng tốt yêu cầu nghiệp vụ đặt ngành, nhiên nhiều hệ thống xây dựng nghiệp vụ chồng chéo, hệ thống rời rạc chưa có tích hợp thơng tin Các liệu cịn phân tán, khơng tập trung, có tập trung liệu trung ương phần lớn số liệu tổng hợp, số liệu chi tiết Các CSDL xây dựng nói trên, mặt thiết kế đáp ứng lưu trữ khai thác thông tin đặt ra, nhiên đến đưa vào vận hành số tồn sau: Các CSDL xây dựng mang tính chất đơn lẻ, chưa tích hợp Cần tích hợp để cung cấp thông tin hiệu Số lượng người khai thác CSDL cịn Môi trường phục vụ khai thác chưa phong phú, vừa thiếu công cụ hỗ trợ cần thiết cho người khai thác lại hình thức phục vụ Các vấn đề hỗ trợ đảm bảo kỹ thuật cho vận hành, khai thác gặp số trở ngại Một số CSDL đưa vào khai thác rộng 22 rãi gặp số lỗi nghiêm trọng (hệ thống khơng thể vận hành có nhiều người truy cập khai thác) mà nguyên nhân lỗi có nhiều nguyên nhân, nhiên qua khảo sát phân tích sơ lỗi số nguyên nhân cấu hình trang thiết bị chưa đáp ứng yêu cầu khai thác thiết kế, cấu hình CSDL chưa phù hợp Kết luận kiến nghị Các số liệu có Tổng cục Thống Kê lưu trữ theo nhiều dạng khác nhau: MS Word, MS Excel, Access, Foxpro, MS SQL, Stata, SPSS Mỗi đơn vị có số liệu tự chịu trách nhiệm số liệu Việc quản lý phân quyền truy nhập sở liệu chưa có Việc cập nhật khai thác sở liệu chưa phân định rõ ràng Các số liệu mà người dùng tin khai thác qua trang WEB Tổng cục Thống Kê hầu hết lưu trữ hệ quản trị sở liệu MS SQL SERVER Việc xây dựng quản lý sở liệu vi mô việc quan trọng cần thiết Công việc cần phối hợp chặt chẽ bên cung cấp số liệu, quản lý số liệu khai thác số liệu Chuẩn hoá nghiệp vụ Chính sách quản lý TCTK cần áp dụng thống toàn quốc, quy định cần áp dụng đồng bộ, thống tồn ngành Việc chuẩn hóa khn dạng, mẫu biểu loại báo cáo, cần nghiên cứu bắt tay xây dựng hệ thống Đây cơng việc quan trọng cần có hợp tác cán nghiệp vụ 23 cán tin học Chuẩn hoá mã CSDL nơi lưu trữ kiện lịch sử, thiết khơng bị thay đổi q trình phát triển hệ thống Do việc chuẩn hóa mã sử dụng thống toàn hệ thống phải nghiên cứu từ bắt tay xây dựng hệ thống tác nghiệp Khi thay đổi mã phải áp dụng toàn ngành Tuy đến việc chuẩn hoá đạt kết qủa khả quan, nhiên chưa chuẩn hoà áp dụng triệt để số mã Do cần tiếp tục hồn thiện chuẩn hoá mã phần giải pháp chất lượng liệu nêu Chuẩn hoá định dạng liệu thu thập Việc chuẩn hoá định dạng liệu thu thập cho CSDL làm giảm cơng sức cho việc thu thập tăng tính xác liệu thu thập Cần có quy chế nhằm thống nội dung liệu, khuôn dạng liệu cung cấp cho CSDL Yếu tố cơng nghệ, kỹ thuật Hồn thiện mạng tin học diện rộng ngành Thống kê nhằm kết nối máy tính Phòng Thống kê huyện, quận với mạng máy tính Cục Thống kê tỉnh, thành phố trực thuộc trung ương kết nối tất mạng máy tính Cục Thống kê tỉnh, thành phố với mạng máy tính Tổng cục Thống kê Thực việc trao đổi thơng tin tồn ngành Thống kê qua mạng Tăng cường lực công nghệ thông tin cho thống kê Bộ, ngành Tiến hành kết nối mạng thông tin diện rộng ngành Thống kê với Bộ, ngành nhằm thực việc trao đổi thông tin thống kê qua mạng Tổng cục Thống kê Bộ, ngành 24 Cần triển khai cách đồng phần cứng, phần mềm, nghiệp vụ kỹ thuật Phải lựa chọn thiết bị phần mềm hệ thống cho CSDL đắn, mang tính cơng nghệ cao đáp ứng yêu cầu tốn CSDL Phần mềm ứng dụng yếu tố vơ quan trọng đảm bảo hệ thống hoạt động có hiệu quả, cung cấp thông tin, liệu truyền, đảm bảo liệu đủ để khai thác liệu Hạ tầng truyền thông: CSDL cung cấp thông tin rộng rãi toàn ngành, để đảm bảo khai thác rộng rãi, hiệu hạ tầng truyền thơng có vai trị quan trọng Trong năm tới, Trung tâm Tin học thống kê phối hợp với đơn vị thuộc Tổng cục Thống kê bước xây dựng phát triển sở liệu thống kê chạy mạng LAN thuộc mạng GSOnet Khai thác sở liệu thơng qua chương trình ứng dụng viết ngơn ngữ lập trình, phần mềm phân tích thống kê (SPSS) bảng tính Microsoft Excel thơng qua OBDC Tại Trung tâm tích hợp liệu Tổng cục Thống kê, Hệ quản trị CSDL tiếp tục sử dụng năm Microsoft SQL Server 2003 /2005 Đây Hệ quản trị CSDL dựa công nghệ Client/Server đảm bảo khả phục vụ nhiều người, nhiều ứng dụng truy nhập, khai thác liệu Trên sở chuẩn hoá sản phẩm thống kê, bảng phân tổ, danh mục, biểu mẫu báo cáo, điều tra, phát triển phần mềm ứng dụng chuyên dùng cho chuyên ngành thống kê nhằm tự động hoá khâu xử lý, tính tốn, phân tích thống kê Bảo đảm phục vụ hiệu việc xử lý số liệu đầu vào điều tra báo cáo thống kê Tăng cường việc truyền số liệu qua mạng Nghiên cứu phát triển phần mềm chuyên dùng cho chế độ báo cáo điều tra thống kê ban hành 25 Chuẩn hoá phần mềm hệ thống, ứng dụng; chuẩn hóa hệ thống tiêu, hệ thống báo cáo thông tin thống kê ngành Các tiêu thống kê, phần mềm hệ thống, ứng dụng công nghệ thông tin lĩnh vực Thống kê ưu tiên hàng đầu định hướng chiến lược ngành Công nghệ thông tin truyền thông Tổng cục Thống kê ứng dụng phát triển tất khâu thuộc qui trình nghiệp vụ Thống kê Xây dựng sở liệu Xây dựng hệ thống sở liệu quốc gia thống kê kinh tế - xã hội bao gồm sở liệu vi mô (gồm thông tin ban đầu từ phiếu điều tra, tờ khai, phiếu đăng ký, ), sở liệu vĩ mô (gồm bảng biểu qua xử lý, tổng hợp) sở liệu hệ thống bảng phân tổ, bảng danh mục, hệ thống tiêu thống kê phương pháp tính Về mặt quản lý, hệ thống sở liệu quốc gia bao gồm sở liệu bố trí Tổng cục Thống kê bố trí Bộ, ngành theo nguyên tắc: - Các sở liệu ngành thu thập, ngành xây dựng quản lý - Cơ sở liệu thống kê ngành Thống kê Bộ, ngành thuộc hệ thống sở liệu thống kê quốc gia, tài nguyên chung Chính phủ Bộ, ngành truy cập, khai thác theo quy định cụ thể phù hợp với đối tượng sử dụng 26 ... CNTT xử lý số liệu điều tra d Ứng dụng CNTT xây dựng CSDL phổ biến số liệu Hiện trạng vi? ??c thu thập số liệu vi? ??c quản lý CSDL vi mô số điều tra ngành Thống kê a Số liệu tổng điều tra. .. đến vi? ??c đánh giá trạng nhu cầu cho công tác lưu trữ quản lý liệu vi mô đơn vị thực số điều tra Tổng cục thống kê Phân tích trạng đánh giá cần thiết phải lưu trữ quản lý liệu vi mô Hiện trạng. .. kết tổng điều tra, điều tra nước địa phương Đã có nhiều số liệu đưa lên mạng intranet để sử dụng Hiện trạng vi? ??c thu thập số liệu vi? ??c quản lý CSDL vi mô số điều tra ngành Thống kê Nguồn số liệu: