2007 NHỮNG NGUYÊN TẮC CƠ BẢN VỀ GIÁM SÁT VÀ ĐÁNH GIÁ KHOÁ TỰ HỌC Nina Frankel Anastasia Gage MS-07-20-VN NHỮNG NGUYÊN TẮC CƠ BẢN VỀ GIÁM SÁT VÀ ĐÁNH GIÁ KHOÁ TỰ HỌC Nina Frankel Anastasia Gage MEASURE Evaluation Tài liệu hướng dẫn Cơ quan phát triển quốc tế Hoa Kỳ hỗ trợ theo hợp tác thỏa thuận GPO-A-00-03-00003-00 Nội dung tài liệu tác giả không phản ánh quan điểm USAID tiểu bang thuộc Chính phủ Hoa Kỳ Tháng Giêng 2007 MS-07-20-VN LỜI CẢM ƠN Khóa học Nina Frankel, Anastasia Gage, Erin Luben, Kavita Singh – Chuyên gia MEASURE soạn thảo Cảm ơn đóng góp nhận xét quý báu Sian Curtis, Gustavo Angeles, Charles Teller, Virginia Lamprecht, Jim Shelton, Anupa Deshpande, Bhakti Mehta, Fran Tain Không thể có tài liệu giúp đỡ Chris Davis - Dự án INFO Teresa Tirabassi - Dịch vụ đa phương tiện Trung tâm Johns Hopkins cho chương trình truyền thông Ngoài ra, Billy Saelim, Stephen Barrett, Ed Văn Duinen, Anton Zuiker MEASURE hỗ trợ kỹ thuật thiết yếu Nash Herndon MEASURE biên tập tài liệu Lời cảm ơn đặc biệt dành cho bác sĩ Nguyễn Việt Kỹ dịch thuật chuyên môn bác sĩ đóng góp lớn cho chất lượng cho khóa học Ghi Khóa học dựa nguyên tắc giám sát đánh giá MEASURE soạn thảo cho U.S.Agency - Cơ quan Phát Triển Quốc Tế Y Tế Toàn Cầu http://www.globalhealthlearning.org Khóa học trực tuyến tìm thấy trang web MEASURE, nguồn Đào Tạo Trực Tuyến Vế Giám Sát Đánh Giá (MENTOR), https://training.measureevaluation.org MENTOR có tài liệu đào tạo miễn phí tải chủ đề giám sát, đánh giá tìm thấy http://www.cpc.unc.edu/measure/training Tìm định nghĩa chữ có gạch dưới, hay in đậm tài liệu trang 56 MỤC LỤC CÁC NGUYÊN TẮC CƠ BẢN VỀ GIÁM SÁT VÀ ĐÁNH GIÁ 4  KHÁI NIỆM CƠ BAN VỀ GIÁM SÁT VÀ ĐÁNH GIÁ 5  CÁC KẾ HOẠCH GIÁM SÁT VÀ ĐÁNH GIÁ 12  KHUNG CẤU TRÚC 21  CÁC CHỈ SỐ 30  NGUỒN DỮ LIỆU 44  KIỂM TRA CUỐI KHÓA 51  CÁC THUẬT NGỮ 56  TÀI LIỆU THAM KHẢO 60  CÁC NGUYÊN TẮC CƠ BẢN VỀ GIÁM SÁT VÀ ĐÁNH GIÁ Giám sát đánh giá thành phần thiết yếu dự án hay chương trình can thiệp Khoá học bao gồm khái niệm giám sát đánh giá chương trình liên quan tới dân số, sức khỏe dinh dưỡng Khóa học đưa định nghĩa thuật ngữ thông dụng thảo luận giám sát đánh giá cần thiết cho việc quán lý chương trình MỤC ĐÍCH Cuối khóa học, học viên có thể:  Xác định phạm vi mục đích giám sát đánh giá  Phân biệt chức giám sát chức đánh giá  Mô tả chức kế hoạch giám sát đánh giá  Xác định thành phần kế hoạch giám sát đánh giá  Xác định khác biệt khung cấu trúc khung kết mô hình MỤC TIÊU logic  Mô tả khung cấu trúc sử dụng việc lập kế hoạch giám sát đánh giá  Xác định tiêu chí cho số lựa chọn  Mô tả mối liên hệ số khung cấu trúc  Xác định nguồn liệu,  Mô tả thông tin sử dụng cho việc định Cần hai tiếng để hoàn thành khóa học Có thể tìm thấy khóa học THỜI GIAN trang web MEASURE Evaluation: https://training.measureevaluation.org/ KHÁI NIỆM CƠ BẢN VỀ GIÁM SÁT VÀ ĐÁNH GIÁ Khi bạn đọc thấy tỉ lệ trẻ sơ sinh thiếu cân quốc gia 20%, bạn có GIÁM SÁT VÀ ĐÁNH GIÁ LÀ GÌ? tự hỏi làm để có số liệu này? Hoặc bạn nghe thấy tỷ lệ phụ nữ lập gia đình độ tuổi sinh đẻ khu vực nông thôn sử dụng biện pháp tránh thai đại tăng từ 52%-73%, bạn có tự hỏi làm người ta biết điều Những số liệu thống kê thông tin tương tự khác kết có “giám sát” “đánh giá” Giám sát đánh giá trình mà liệu thu thập phân tích để cung cấp thông tin cho nhà hoạch định sách, người khác việc lập kế hoạch quản lý dự án GIÁM SÁT GÌ? Giám sát chương trình thu thập liệu định kỳ để đo lường tiến độ thực chương trình nhằm đạt mục tiêu chương trình Giám sát sử dụng để theo dõi thay đổi thực chương trình Điểm mấu chốt hiệu chương trình hiệu việc sử dụng nguồn lực Ví dụ yếu tố chương trình giám sát: Giám sát gọi đánh giá trình tập trung vào  Bảng kiểm kê hàng hoá  Số liều vaccine tiêm/uống hàng tháng  Chất lượng dịch vụ  Độ bao phủ dịch vụ  Kết từ người bệnh (những thay đổi hành vi, bệnh tật, …) Mục đích phép bên liên quan đưa định tùy thuộc vào tính trình thực đặt câu hỏi then chốt:  Chương trình triển khai tốt mức độ nào?  Có khác biệt triển khai chương trình địa điểm so với địa điểm khác?  Chương trình có mang lại lợi ích cho đối tượng không? Và với chi phí bao nhiêu? Điểm mấu chốt Giám sát thường liền với đếm, theo dõi thu thập, ví dụ:  Đếm số người nhận dịch vụ số cán y tế đào tạo  Đếm số bao cao su phân phát  Thu thập thông tin ngừoi nhận dịch vụ phòng khám Trên biểu đồ minh họa giám sát chương trình theo thời gian Các số chương trình thể trục “Y” số chương trình cần theo dõi như: chi phí vật tư, số lần nhân viên cung cấp thông tin cho khách hàng, hay tỉ lệ phần trăm khách hàng hài lòng với dịch vụ mà họ nhận Giám sát:  Là trình liên tục  Đòi hỏi việc thu thập liệu nhiều giai đoạn, kể liệu trước bắt đầu chương trình  Được sử dụng để định hoạt động cần phài điều chỉnh để đạt kết mong đợi muốn ĐÁNH GIÁ LÀ GÌ Là đo lường hoạt động chương trình đạt mục tiêu mong đợi /hoặc thay đổi kết chương trình can thiệp… Sự khác kết có hay chương trình/ can thiệp gọi “tác động” Đo lường khác biệt gọi “đánh giá tác động” Bạn có biết? Về bản, đánh giá tập giúp nhà hoạch định sách hiểu kết đầu có liên quan với hoạt động dự án Biểu đồ minh họa tác động chương trình Đánh giá cần phải:  Thu thập thông tin từ lúc bắt đầu chương trình (để cung cấp thông tin sở) vào cuối chương trình, thu thập nhiều lần trình triển khai chương trình  Có nhóm đối chứng để xem liệu thay đổi có phải chương trình mang lại không,  Một chương trình thiết kế tốt Hãy kiểm tra xem bạn hiểu tình gọi “giám sát” hay “đánh giá”  ĐÁNH GIÁ HAY GIÁM SÁT H ội đồng quốc gia dân số phát triển (The national council of Population and Development) muốn biết chương trình thực tỉnh A có làm giảm tỉ lệ có thai ý muốn tuổi vị thành niên tỉnh không  Tổ chức USAID muốn biết có gái dâm tiếp cận chương trình bạn năm  Một giám đốc nước quan tâm đến việc tìm hiểu xem liệu dịch vụ chăm sóc sau nạo phá thai phòng khám công có đáp ứng tiêu chuẩn chất lượng quốc gia không Câu trả lời trang Câu trả lời là:  Hội đồng quốc gia dân số phát triển muốn biết chương trình thực tỉnh A có làm giảm tỉ lệ có thai ý muốn tuổi vị thành niên tỉnh không Đây đánh giá đề cập đến tác động chương trình cụ thể  Tổ chức USAID muốn biết có gái dâm tiếp cận đến chương trình bạn năm Đây giám sát có liên quan với việc đếm số lượng người tham gia vào chương trình (số gái bán dâm tiếp cận chương trình)  Một giám đốc nước quan tâm đến việc tìm hiểu xem phòng khám công cộng cung cấp dịch vụ chăm sóc sau phá thai có đáp ứng tiêu chuẩn quốc gia chất lượng Đây giám sát đòi hỏi phải theo dõi chất lượng chăm sóc) TẠI SAO GIÁM SÁT VÀ ĐÁNH GIÁ LẠI QUAN TRỌNG Những điểm mấu chốt Ví dụ câu hỏi giám sát đánh giá trả lời:  Chương trình có đựơc thực kế hoạch không  Quần thể đích có hưởng lợi từ chương trình không chi phí bao nhiêu?  Những kết sức khoẻ có cải thiện nỗ lực chương trình không?  Những hoạt động chương trình hiệu hơn, hiệu hơn? Giám sát đánh giá giúp cho việc thực chương trình:  Đưa định liên quan đến hoạt động chương trình chuyển giao dịch vụ dựa chứng khách quan  Đảm bảo sử dụng nguồn lực hiệu hiệu suất  Đánh giá cách khách chương trình có hay có kết mong đợi, vùng có hiệu vùng cần điều chỉnh  Đáp ứng việc báo cáo yêu cầu khác, thuyết phục nhà tài trợ đầu tư họ xứng đáng, phải xem xét cách tiếp cận khác Giám sát đánh giá trình liên tục diễn suốt KHI NÀO CẦN GIÁM SÁT VÀ ĐÁNH GIÁ? trình triển khai chương trình Để có hiệu nhất, giám sát đánh giá nên lập kế hoạch giai đoạn thiết kế chương trình, với thời gian, kinh phí nhân lực cần tính toán phân bổ trước Giám sát cần thực giai đoạn trình triển khai chương trình, thông tin thu thập, phân tích sử dụng sở liên tục Bạn có biết? Theo kinh nghiệm 5-10% ngân sách dự án nên danh cho việc giám sát đánh giá Đánh giá thường tiến hành vào cuối chương trình Tuy nhiên, đánh giá phải lập kế hoạch thời điểm bắt đầu thường dựa thông tin thu thập toàn chương trình, đặc biệt quan trọng thông tin ban đầu Dưới số vấn đề chất lượng số liệu cần cân nhắc  Bao phủ: Số liệu bao phủ tất yếu tố quan tâm?  Sự hoàn thiện: Có số liệu hoàn thiện cho yếu tố quan tâm không?  Chính xác: công cụ có kiểm tra để bảo đảm hợp lý tin cậy số liệu không?  Tính thường xuyên: Số liệu thu thập có thường xuyên yêu cầu không?  Lich báo cáo: Số liệu sẵn có phản ánh khoảng thời gian quan tâm không?  Khả tiếp cận: số liệu thu thập không?  Hiệu lực: Cỡ mẫu có đủ lớn để cung cấp ước tính bền vững hay phát thay đổi không SỬ DỤNG SỐ LIỆU Từ “số liệu” liên quan đến thông tin thô, chưa xử lý thông tin thông tin chiến lược thường để số liệu xử lý số liệu trình bày số bối cảnh Thu thập số liệu có ý nghĩa có giá trị sử dụng cho định dựa vào chứng Để hữu ích, thông tin phải dựa số liệu có chất lượng phải truyền đạt cách hiệu tới người lập sách bên liên quan Số liệu giám sát đánh giá cần phải quản lý, kịp thời, đáng tin cậy cụ thể để trả lời cho hoạt động Ngoài ra, kết cần phải hiểu rõ Chìa khóa để sử dụng số liệu hiệu đòi hỏi việc kết nối số liệu với định cần thực với người định Người định cần phải nhận thông tin phù hợp để đưa định 47 Ví dụ, số liệu doanh thu từ chương trình cung cấp tẩm thuốc diệt côn trùng chương trình thành công việc tăng phân phối tẩm thuốc người định định trì chương trình Nếu số liệu gợi ý triển khai hệ thống phân phối khác nên nghiên cứu thêm để kiểm tra hiệu chiến lược phân phối so với chiến lược có Khi người định nắm rõ loại thông tin sử dụng cho việc định cải thiện kết quả, chắn họ tìm sử dụng thông tin 48 TÓM LƯỢC KIẾN THỨC Trả lời câu hỏi xem bạn hiểu sử dụng số liệu Xem đáp án trang 50 Câu ví dụ nguồn số liệu thường xuyên? o a Thống kê dịch vụ lâm sàng o b Khảo sát hộ gia đình o c Điều tra dân số quốc gia o d Tất ý Điều tra dựa vào cộng đồng chẳng hạn điều tra sức khỏe dân số điều tra dân số quốc gia , ví dụ nguồn số liệu không thường xuyên, nguồn hữu ích vì: o a Chúng cung cấp thông tin cách kịp thời o b Chúng sử dụng để tính toán số bao phủ o c Chúng bao gồm kết sức khoẻ cho người sử dụng sở y tế o d Tất ý Kế hoạch thu thập số liệu nên bao gồm: o a Thời gian tính thường xuyên thu thập số liệu o b Người quan chịu trách nhiệm thu thập số liệu o c Loại thông tin cần cho số o Tất ý Số liệu cần nên thu thập chúng sử dụng ngày o Đúng o Sai Số liệu chất lượng cao thường thu thông qua kiểm tra chéo số liệu nhiều nguồn o Đúng o Sai 49 ĐÁP ÁN Câu ví dụ nguồn số liệu thường xuyên? a Thống kê dịch vụ lâm sàng Nguồn số liệu thường xuyên cung cấp thông tin thu thập dựa trình liên tục, ví dụ thông tin mà sở lâm sàng thu từ bệnh nhân sử dụng dịch vụ họ Ví dụ bao gồm đăng ký sinh tử, sổ hộ tịch, thống kê dịch vụ lâm sàng giám sát dân số Điều tra dựa vào cộng đồng chẳng hạn điều tra sức khỏe dân số điều tra dân số quốc gia, ví dụ nguồn số liệu không thường xuyên, nguồn hữu ích vì: b Chúng sử dụng để tính toán số bao phủ Nguồn số liệu không thường xuyên tránh vấn đề ước tính sai quần thể đích tính toán chỉ số bao phủ Điều đặc biệt với trường hợp điều tra quần thể mẫu, điều tra dân số sức khỏe Kế hoạch thu thập số liệu nên bao gồm: d Tất ý Kế hoạch nên bao gồm thông tin cho nguồn số liệu ví dụ thời gian tính thường xuyên trình thu thập thông tin, người quan chịu trách nhiệm thu thập, thông tin cần cho số thông tin bổ sung lấy từ nhiều nguồn khác Số liệu nên thu thập chúng có sử dụng ngày Sai Việc thu thập số liệu có ý nghĩa có giá trị sử dụng cho việc định dựa vào chứng Số liệu chất lượng cao thường thu thông qua kiểm tra chéo số liệu từ nhiều nguồn Đúng Chất lượng số liệu quan trọng để xem xét xác định tính hữu dụng nguồn số liệu khác Trong suốt trình thu thập số liệu chất lượng số liệu phải giám sát trì Số liệu có chất lượng cao thường nhận thông qua việc kiểm tra chéo số liệu từ nhiều nguồn 50 KIỂM TRA CUỐI KHÓA Chúc mừng bạn – bạn gần hoàn thành khóa học Bài kiểm tra cuối kiểm tra kiến thức bạn Trả lời câu hỏi xem bạn hiểu giám sát đánh giá Xem đáp án trang 54 Khung cấu trúc thể mối quan hệ trực tiếp kết hoạt động dự án với mục mục tiêu tổng quát mục tiêu dự án gọi là: o a Khung khái niệm o b Khung kết o c Mô hình logic o d Tất ý Chỉ số nên mơ hồ để người phiên giải chúng theo nhu cầu họ làm cho chúng thêm hữu ích o Đúng o Sai Ví dụ nguồn số liệu thường lệ o a Thống kê dịch vụ lâm sàng o b Điều tra hộ gia đình o c Điều tra dân số quốc gia o d Tất ý Điều tra dựa vào cộng đồng điều tra sức khỏe dân số (DHS) điều tra dân số quốc gia, ví dụ nguồn số liệu không thường quy, nguồn hữu ích vì: o a Chúng cung cấp thông tin cách kịp thời o b Chúng sử dụng để tính toán số bao phủ o c Chúng bao gồm kết sức khoẻ cho người sử dụng sở y tế o d Tất ý 51 Kế hoạch thu thập thông tin nên bao gồm: o a Thời gian tính thường xuyên thu thập thông tin o b Người quan có trách nhiệm thu thập thông tin o c Loại thông tin cần thu thập cho số o d Tất ý Khi nên lập kế hoạch giám sát đánh giá chương trình o a Trong suốt trình thiết kế chương trình o b Tại thời điểm chương trình o c Tại lúc kết thúc chương trình o d Sau tất số liệu thu thập trước chúng phân tích Đo lường đánh giá: o a Thời gian hoạt động chương trình o b Kết tác động hoạt động o c Chương trình giữ ngân sách chặt chẽ o d Chương trình hoàn thành tốt Tại thời điểm nào, chương trình nên tiến hành giám sát: o a Tại thời điểm bắt đầu chương trình o b Tại thời điểm chương trình o c Tại lúc kết thúc chương trình o d Trong suốt thời gian tiến hành chương trình Câu KHÔNG liên quan tới “giám sát” o a Tính số người tập huấn o b Theo dõi số lượng tài liệu phổ biến o c Thay đổi kết sức khỏe can thiệp o d Thu thập số liệu hàng tháng khách hàng phục vụ phòng khám 10 Kế hoạch giám sát đánh giá không nên dự án bắt đầu o Đúng o Sai 52 11 Khi nói mục tiêu nên SMART, từ “S” có nghĩa là: o a Đơn giản o b Chiến lược o c Ngớ ngẩn o d Cụ thể 12 Giám sát đánh giá hai đòi hỏi kiến thức thông tin ban đầu o Đúng o Sai 13 Ý coi đặc điểm tiêu tốt o a Xác định rõ từ không mơ hồ o b Đưa kết sử dụng lại để đo lường tình kiện giống o c Chỉ đo lường tình kiện mà dự định đo lường o d Tất ý đặc điểm tiêu tốt 14 Chất lượng số liệu bị tác động xấu bởi: o a Sai số mẫu (mẫu thu thập không đại diện) o b Tỷ lệ không đáp ứng o c Đo lường chủ quan (số liệu bị ảnh hưởng dụng cụ đo lường) o d Tất ý o e Chỉ a b 15 Trong vài trường hợp, đầu hoạt động mô tả mô hình logic đầu vào cho hoạt động khác o Đúng o Sai 16 Khung cấu trúc có thể: o a Giúp nắm rõ mục đích mục tiêu dự án o b Xác định mối quan hệ yếu tố để hoàn thành dự án o c Mô tả yếu tố bên bên tác động tới thành công dự án o d Tất ý 53 Khung cấu trúc mà thể mối quan hệ trực tiếp gia tăng kết ĐÁP ÁN hoạt động cốt yếu dự án mục đích, mục tiêu tổng quát can thiệp gọi là: b Khung kết Chỉ số nên mơ hồ để người phiên giải chúng theo nhu cầu họ làm cho chúng hữu ích Sai Ví dụ nguồn liệu định kỳ a Thống kê dịch vụ lâm sàng Điều tra dựa vào cộng đồng chẳng hạn điều tra sức khỏe dân số điều tra dân số quốc gia, ví dụ nguồn liệu không thường lệ, nguồn hữu ích vì: b Chúng sử dụng để tính toán số bao phủ Kế hoạch thu thập số liệu nên bao gồm: d Tất ý (Thời gian thường xuyên thu thập số liệu, người quan chịu trách nhiệm thu thập số liệu, loại thông tin cần thu thập cho số) Khi nên lập kế hoạch giám sát đánh giá a Trong suốt trình thiết kế dự án Đánh giá đo lường: b Kết tác động hoạt động chương trình Giám sát nên tiến hành vào thời điểm chương trình d Trong suốt trình tiến hành chương trình Câu không liên quan đến “giám sát” c Những thay đổi kết sức khỏe can thiệp 54 10 Kế hoạch giám sát đánh giá không nên thay đổi chương trình bắt đầu Sai 11 Khi nới mục tiêu nên SMART, từ “S” có nghĩa là: d Cụ thể 12 Giám sát đánh giá đòi hỏi kiến thức giá trị sở Đúng 13 Câu đặc điểm số tốt d Tất ý đặc điểm số tốt (định nghĩa rõ ràng từ không mơ hồ, cung cấp kết sử dụng lặp lại để đo lường tình kiện giống nhau, đo lường tình kiện dự định đo lường) 14 Chất lượng liệu bị tác động xấu bởi: d Tất ý (sai số mẫu [mẫu lựa chọn không đại diện], tỷ lệ không đáp ứng, đo lường chủ quan [sai số người đo]) 15 Trong vài trường hợp, đầu hoạt động mô hình logic đầu vào hoạt động khác Đúng 16 Khung cấu trúc có thể: d Tất ý (giúp nắm rõ mục đích mục tiêu dự án, xác định mối quan hệ yếu tố để hoàn thành dự án xác định yếu tố bên bên tác động tới thành công dự án) 55 CÁC THUẬT NGỮ Khung khái niệm – Một biểu đồ mô tả tập hợp mối quan hệ yếu tố tin có tác động hay dẫn đến tình trạng đích Khung khái niệm sở cho thiết kế, quản lý giám sát, dự án Từ đồng nghĩa: Mô hình khái niệm Nguồn số liệu – Là nguồn sử dụng để thu thập số cần thiết cho hoạt động giám sát đánh giá Có nhiều nguồn khác nhau, nguồn gồm văn pháp lý phủ, báo cáo sổ sách phòng khám, thông tin từ nhân viên người cung cấp thông tin, sổ khám bệnh, số liệu vấn, hệ thống giám sát hình ảnh vệ tinh Đánh giá – Là trình xác định cách hệ thống khách quan hiệu tác động hoạt động theo mục tiêu Khung cấu trúc – Là công cụ mở cho việc lập kế hoạch dự án, thiết kế, quản lý đánh giá thực Khung cấu trúc giúp xác định thành phần dự án (mục đích, mục tiêu, đầu ra, kết quả), mối quan hệ nhân chúng, yếu tố bên tác động tới thành công thất bại dự án Một ma trận cung cấp nhìn tổng quan thông tin chính, cho phép đánh giá tính hợp lý chương trình giám sát đánh giá chương trình Mục đích – Là tuyên bố chung kết lâu dài, mong đợi chương trình Mục đích diễn tả dự định chung hướng phát triển chương trình Dưới mục đích tập hợp mục tiêu có liên quan, cụ thể Nếu đạt giúp nhân viên chương trình với tới mục đích đề Tác động –Là kết cuối hiệu lâu dài chương trình Ví dụ, cải thiên tình trạng sức khỏe giảm tỷ lệ mắc bệnh cải thiện tình trạng dinh dưỡng Đánh giá tác động – Là tập hợp trình phương pháp tiếp cận có thay đổi quan sát kết trung gian kết cuối cùng, “tác động”, chương trình Nó đòi hỏi áp dụng thiết kế đánh giá để ước lượng khác biệt kết trung gian có chương trình 56 Chỉ số - Đo lường định tính hay định lượng hoạt động chương trình sử dụng để chứng minh thay đổi mà chương trình đạt Chỉ số đo lường mức độ: đầu vào, trình, đầu ra, kết tác động Đầu vào – Con người nguồn lực tài chính, trang thiết bị, hướng dẫn lâm sàng sách hoạt động thành phần cốt lõi để chương trình thực Kết trung gian – Là kết đo lường quan trọng, bước cần thiết để đạt mục tiêu chiến lược Kết trung gian phản ánh kết riêng biệt khác hay cụ thể Kết trung gian sở để đạt kết trung gian khác Mô hình logic – Là công cụ thiết kế, quản lý, đánh giá chương trình, mô tả yếu tố chương trình cách thức yếu tố đồng hành để đạt mục đích cụ thể Các thành tố mô tả việc thực chương trình hiệu là: đầu vào, trình hoạt động, đầu ra, kết tác động Mô hình logic biểu thị biểu đồ tiến triển mối quan hệ hợp lý yếu tố Khung logic – Là công cụ lập kế hoạch quản lý động mà liên quan cách hợp lý tới thành tố thiết kế chương trình dự án, giúp đảm bảo can thiệp chắn đạt kết đo lường Nó giúp xác định yếu tố chiến lược (đầu vào, đầu ra, mục tiêu, mục đích) chương trình, mối quan hệ nhân chúng, yếu tố bên tác động tới thất bại hay thành công can thiệp Nó cung cấp sở cho trình giám sát đánh giá kết chương trình Đo lường – Sự tính toán xác hay công thức để đo lường giá trị số Giám sát – Giám sát trình thường xuyên thu thập số liệu đo lường tiến độ nhằm đạt mục tiêu chương trình Giám sát gắn với việc theo dõi hoạt động được thực xem xét đến loại mức độ nguồn lực sử dụng, sản phẩm dịch vụ hoạt động tạo bao gồm chất lượng dịch vụ kết dịch vụ sản phầm Kế hoạch giám sát đánh giá – Là kế hoạch toàn diện cho hoạt động giám sát đánh giá chương trình Kế hoạch ghi lại câu hỏi chủ chốt giám sát đánh giá phải giải quyết: số thu thập, thu thập nào, lâu thu thập lần, đâu sao, giá trị ban đầu gì, quần thể đích giả định, số liệu phân tích diễn giải nào, có báo cáo, chia sẻ thông tin 57 Nguồn liệu không thường qui - Nguồn cung cấp số liệu dựa sở định kỳ, thường hàng năm Ngoài điều tra hộ gia đình qui mô lớn, điều tra hộ gia đình qui mô nhỏ, không dự tính trước, nghiên cứu đặc biệt tổng điều tra dân số quốc gia Mục tiêu- Là kết có ý nghĩa, góp phần vào việc đạt mục đích và cung cấp chi tiết cho khung cấu trúc việc lập kế hoạch chung Môt mục đích có nhiều mục tiêu Ví dụ: “giảm tỉ lệ sinh xuống 4.0 vào năm X” “tăng tỷ lệ sử dụng biện pháp tránh thai trình thực dự án” Kết - Sự thay đổi đo cấp độ quần thể quần thể đích chương trình, tất thay đổi kết chương trình Kết muốn nói tới kiến thức, hành vi, thực hành đối tượng đích mà chươg trình nhắm tới Sự thay đổi phải có liên quan đến chương trình cách rõ ràng, thay đổi thời gian ngắn hạn điều đóng góp vào mục đích dài hạn chương trình Ví dụ: “phần trăm đối tượng chương trình cai thuốc không dùng thuốc sáu tháng sau chương trình kết thúc” “phần trăm phụ nữ kết hôn độ tuổi 15-44 sử dụng biện pháp tránh thai năm sau thực dự án kế hoạch hóa gia đình” Đầu – Kết hoạt động đạt cấp độ chương trình hai hình thức: số hoạt động làm (ví dụ: số người cung cấp dịch vụ tập huấn) đo lường sử dụng dịch vụ (ví dụ: số dụng cụ tránh thai phân phối) Trình bầy vấn đề - vấn đề đặt kế hoạch giám sát đánh giá mô tả chất phạm vi vấn đề cần giải Nó nêu rõ vấn đề cụ thể bao gồm yếu tố định lượng mô tả phạm vi vấn đề tác động lên xã hội Phần nêu vấn đề nên mô tả tới nỗ lực khác cho việc giải vấn đề và định nghĩa thuật ngữ phù hợp Một ví dụ trình bày vấn đề là: Một phân tích gần huyện A chứng minh hạn chế tiếp cận với dịch vụ chăm sóc sức khỏe sinh sản niên Thanh niên (độ tuổi 15-24) chiếm 30% dân số quận A Thống kê dịch vụ chăm sóc sức khỏe sinh sản cho thấy có 5% người lứa tuổi sử dụng dịch vụ chăm sóc sức khỏe sinh sản Bằng chứng từ nhân viên y tế quận gợi ý tỷ lệ mang thai ý muốn cao tỷ lệ nhiễm HIV/AIDS cao niên Như phần cam kết quốc gia nhằm cải thiện sức khỏe sinh sản thiếu niên, Bộ Y tế thực dự án năm nhằm gia tăng tiếp cận đến sở y tế thân thiện-thanh niên cách cải thiện sở hạ tầng cần thiết để cung cấp dịch vụ trên, hợp tác với giáo dục thiếu niên, tập trung vào giáo dục sức khỏe sinh sản cho thiếu niên lứa tuổi từ 10-24 58 Đánh giá trình – Là loại đánh giá tập trung vào việc thực chương trình Đánh giá trình thường tập trung vào chương trình đơn lẻ phần lớn sử dụng phương pháp định tính để mô tả hoạt động nhận thức, đặc biệt suốt trình phát triển giai đoạn đầu thực chương trình Những đánh giá bao gồm vài phương pháp định lượng, ví dụ điều tra hài lòng khách hàng nhận thức nhu cầu dịch vụ Ngoài ra, đánh giá trình cung cấp hiểu biết bối cảnh văn hóa, trị- xã hội, luật pháp kinh tế mà ảnh hưởng đến chương trình Từ đồng nghĩa: đánh giá trình, đánh giá kỳ Quá trình – Chuỗi hoạt động, lập kế hoạch thực hiện, thực nhằm đạt mục tiêu chương trình Tính tin cậy – Kết phải xác thống thông qua việc đo lường lập lại Khung kết –Khung cấu trúc giải thích làm để đạt mục tiêu chiến lược dự án mà bao gồm kết cần thiết đầy đủ, mối quan hệ nhân hàm ý sau giả thiết Nó thường mô tả với mục đích chương trình cùng, mục tiêu chủ yếu viết hộp riêng, mục tiêu chung kết cho mục tiêu từ lên Nguồn liệu thường qui–Nguồn cung cấp thông tin dựa sở liên tục, thông tin mà sở y tế thu thập bệnh nhân sử dụng dịch vụ họ Mục tiêu chiến lược–Trong khung kết quả, tham vọng mong đợi chương trình can thiệp mà hoạt động dự án hướng tới Giá trị–Là từ sử dụng để mô tả mục tiêu, phương pháp công cụ mà để đo lường cần đo 59 TÀI LIỆU THAM KHẢO Berttand JT, Escudero G Bảng tóm tắt số để đánh giá chương trình chăm sóc sức khỏe sinh sản Tuyển tập MEASURE Evaluation Manual Số Nhà xuất Hill NC: Dự án MEASURE Evaluation, Trung tâm dân số Carolina; 2002 Marsh D Khung kết giám sát chương trình (Tài liệu online) Save the Children, 1999 Đăng ngày 05/01/2007 trang web: http://www.childsurvival.com/tools/Marsh/sld0001.htm MEASURE Evaluation Tài liệu hướng dẫn nguyên tắc giám sát đánh giá chương trình dân số, sức khỏe dinh dưỡng Tuyển tập MEASURE Evaluation Manual số Nhà xuất Hill NC: Dự án MEASURE Evaluation, Trung tâm Carolina Population; 2002 Có sẵn trang web: http://www.cpc.unc.edu/measure/publications/html/ms-02-05.html Mosley WH, Chen LC Khung phân tích cho nghiên cứu khả sống sót trẻ em nước phát triển Popul Devel Rev.1984;10 (Suppl):25-45 Rossi PH, Freeman HE, Lipsey M Đánh giá: Một tiếp cận hệ thống Thousand Oaks, CA: Sage Publications; 1999 THUẬT NGỮ CỦA Nguồn quốc tế cho phát triển nông thôn Annex A Chú thích khái niệm GIÁM SÁT VÀ ĐÁNH thuật ngữ GIÁM SÁT VÀ ĐÁNH GIÁ Hướng dẫn giám sát đánh GIÁ ONLINE giá dự án Có sẵn trang web:http://www.ifad.org/evaluation/guide/annexa/index.htm Chương trình phát triển Liên hiệp quốc Thuật ngữ Cẩm nang giám sát đánh giá (GIÁM SÁT VÀ ĐÁNH GIÁ)cho kết Trang web:http://stone.undp.org/undpweb/eo/evalnet/docstore3/yellowbook/ glossary/glossary_d_e.htm Quĩ dân số Liên hiệp quốc Công cụ lập kế hoạch, giám sát đánh giá người quản lý chương trình Số công cụ 1: thuật ngữ lập kế hoạch từ giám sát & đánh giá Tháng năm 2004 Trang web:http://www.unfpa.org/monitoring/toolkit/glossary.pdf 60 MEASURE Evaluation University of North Carolina at Chapel Hill 400 Meadowmont Village Circle, 3rd Floor Chapel Hill NC 27517 USA P: +1 919-445-9350 F: +1 919-445-9353 E: measure@unc.edu www.measureevaluation.org eCourse available for download: http://www.measureevaluation.org/resources/ publications/ms-07-20-vn MEASURE Evaluation is funded by the U.S Agency for International Development (USAID) through Cooperative Agreement GHA-A-00-08-00003-00 and is implemented by the Carolina Population Center at the University of North Carolina at Chapel Hill, in partnership with ICF International, John Snow, Inc., Management Sciences for Health, Palladium, and Tulane University The views expressed in this publication not necessarily reflect the views of USAID or the United States government MS-07-20-VN