HƯỚNG DẪN ĐÁNH GIÁ CÁC DỰ ÁN THỬ NGHIỆM Chương trình hợp tác Việt Nam – Thụy Điển về Tăng cường năng lực quản lý đất đai và môi trường HƯỚNG DẪN Đánh giá các dự án thử nghiệm Dự án thử nghiệm SEMLA 2006-2007 MỤC LỤC I) GIỚI THIỆU 2 II) HƯỚNG DẪN ĐÁNH GIÁ DỰ ÁN THỬ NGHIỆM THEO TỪNG BƯỚC 2 III) ĐỀ CƯƠNG BÁO CÁO ĐÁNH GIÁ 7 IV) PHỤ LỤC 8 A. VÍ DỤ hướng dẫn về đánh giá HƯƠNG ƯỚC MÔI TRƯỜNG ĐỊA PHƯƠNG 8 B. VÍ DỤ hướng dẫn về Đánh giá dự án thí điểm QUI HOẠCH SỬ DỤNG ĐẤT LỒNG GHÉP 14 C. BÁO CÁO ĐÁNH GIÁ THÍ ĐIỂM XÂY DỰNG HƯƠNG ƯỚC Ở HÀ GIANG………………………… 16 2 Strengthening Environmental Management and Land Administration Programme Ministry of Natural Resources and Environment, 83 Nguyen Chi Thanh, Hanoi, Vietnam Hướng dẫn đánh giá dự án thử nghiệm I) GIỚI THIỆU Thuật ngữ “Đánh giá“ có nghĩa là xem xét hoặc đo lường để biết việc thực hiện một công việc nào đó tốt đến mức độ nào – nghĩa là mức thành công của công việc đó. Có thể có rất nhiều lý do để tiến hành đánh giá. Lý do thường thấy nhất là vì các nhà tài trợ hoặc người đóng thuế của họ muốn biết tiền của họ được sử dụng nh ư thế nào. Tuy nhiên, cũng có nhiều cơ quan thường xuyên tự tiến hành đánh giá hoạt động của mình để rút ra các bài học cho tương lai. Trong Chương trình SEMLA, các dự án thử nghiệm đóng vai trò rất quan trọng. Đây là các mô hình thí điểm áp dụng và triển khai các chính sách và luật pháp tại địa phương. Các mô hình thí điểm sẽ chỉ ra các nội dung thiếu nhất quán trong các quy định của pháp luật, các lĩnh vực cần cải thiện v.v… và các bài học kinh nghiệ m từ các tỉnh tham gia thử nghiệm cần được chia sẻ và phản hồi lên cấp trung ương, cấp hoạch định chính sách. Một kết quả đầu ra quan trọng của các dự án thử nghiệm là báo cáo đánh giá. Báo cáo này sẽ bao gồm các đề xuất để nhân rộng mô hình và đề xuất về cải thiện chính sách nếu có. Do vậy, chúng ta cần xem xét một cách cẩn trọng các nội dung sau: - Chúng ta đã đạt được điều chúng ta mong mu ốn chưa? Trong những lĩnh vực nào? - Đâu là các yếu tố chính để bảo đảm quá trình triển khai thành công? - Lẽ ra công việc có thể được thực hiện tốt hơn bằng cách nào? Đâu là các yếu điểm và đâu là các lĩnh vực cần được cải thiện? Báo cáo đánh giá cũng cần đưa ra câu trả lời cho các câu hỏi sau: 1. Đâu là kết quả và bài học kinh nghiệm chính sau thời gian triển khai? 2. Đâu là các điểm chính của dự án mà chúng ta muốn nhân rộng? 3. Đâu là các nội dung cần điều chỉnh trước khi nhân rộng? II) HƯỚNG DẪN ĐÁNH GIÁ DỰ ÁN THỬ NGHIỆM THEO TỪNG BƯỚC 3 Bước 1: Xác định khuôn khổ đánh giá Cần thống nhất về các bước và phương pháp luận sẽ áp dụng, bao gồm: a) Mục đích đánh giá b) Các câu hỏi và chỉ số sẽ sử dụng c) Thu thập thông tin d) Tổ chức đánh giá Bước này có thể được thực hiện thông qua một cuộc họp hoặc hội thảo nhỏ bao gồm cán bộ SEMLA, tư vấn tỉnh, cán bộ từ các bộ phận có liên quan của Sở TNMT và các cán bộ triển khai tại cấp huyện/xã. Bước này chỉ cần 5 - 10 người là đủ. Mục đích tiến hành đánh giá: Mục đích tiến hành đánh giá cần phải rõ ràng. Chúng ta muốn biết về điều gì? Mục đích đánh giá cần tập trung vào việc đánh giá quy trình và kết quả của dự án/mô hình và thu thập bài học kinh nghiệm để nhân rộng trong tương lai hoặc để đề xuất đ iều chỉnh chính sách. Các câu hỏi điều tra và chỉ số sẽ sử dụng: Các câu hỏi điều tra thể hiện các nội dung sẽ được đánh giá, và là các câu hỏi mà chúng ta sẽ phải đưa ra câu trả lời trong báo cáo đánh giá. Chúng ta cần tập trung vào các nội dung sau: • Tính “Hiệu quả (Effectiveness)”: Dự án đã đạt được mục tiêu của nó ở mức nào? Dự án có có đạt được kết quả đặt ra ban đầu không? • Tính “Hiệu năng (Efficiency)”: Thể hiện các kết quả đầu ra của dự án trong mối liên hệ với nguồn lực đầu vào: liệu có thể đạt được cùng các kết quả đó mà chỉ cần sử dụng ít nguồn lực hơn không (tài chính, con người, thời gian)? • Kết quả đầu ra (output): Dự án có đạt được các kết quả đầu ra đặt ra ban đầu không? Chất lượng của chúng như thế nào? • Tác động (Impact): Đâu là các tác động tích cực của dự án? Có tác động nào tiêu cực không? • Tính bền vững (sustainability): mức độ sẵn sàng và khả năng các đối tác và cộng đồng tiếp tục và đẩy mạnh hơn nữa các kết quả đã đạt được trong mô hình. Có thể chúng ta sẽ phải xem xét lại xem mục tiêu, mục đích của dự án thí điểm là gì. Các chỉ số là các đơn vị đo giúp chúng ta đo lường hoặc mô tả kết quả và các quy trình triển khai. Các chỉ số cũng sẽ giúp xác định được trọng tâm trong quá trình thu thập dữ liệu và thông qua đó giúp ta dễ dàng hơn trong việc phân tích ở các bước sau. Các câu hỏi điều tra và chỉ số đề xuất cho các dự án thử nghiệm về hương ước môi trường và quy hoạch sử dụng đất lồng ghép được nêu trong phần phụ lục. 4 Thu thập thông tin: Có nhiều phương pháp thu thập số liệu. Tuy nhiên, chúng ta sẽ chỉ tập trung vào ba phương pháp chính sau: 1. Phỏng vấn bán tự do (câu hỏi được chuẩn bị sẵn) dành cho các bên có liên quan 2. Điều tra bằng phiếu câu hỏi 3. Nghiên cứu số liệu giám sát và các số liệu sẵn có khác. Sự khác biệt giữa các phương pháp định tính và định lượng có thể được xem là sự “đo lường các kết quả” hoặc “mô tả quy trình th ực hiện”. Hai phương pháp này đều có tầm quan trọng như nhau và việc sử dụng kết hợp cả hai phương pháp này thường cho kết quả tốt. Tuy nhiên, hãy tự đặt câu hỏi rằng: có cần tiến hành một điều tra định lượng không hay là bạn có thể thu thập đủ thông tin chỉ cần qua phỏng vấn và thảo luận với các đối tượng chủ chốt có liên quan. Phản ánh của các cán bộ thực thi sẽ là một trong các nguồn thông tin quan trọng nhất mà bạn cần có. Tuy nhiên, mỗi người có thể có cách nhìn nhận vấn đề khác nhau, do vậy, điều quan trọng là cần thực hiện kiểm tra chéo/kiểm tra lại và hiệu chỉnh cân bằng các nguồn thông tin, ví dụ: bằng cách phỏng vấn nhiều người ở các lĩnh vực hoặc cấp làm việc khác nhau. Các đối tượng có thể phù hợp để tiến hành phỏng vấn là: - Cán bộ và t ư vấn của Chương trình SEMLA - Các cơ quan cấp tỉnh, Sở TNMT - Cơ quan cấp huyện - Cơ quan cấp xã - Trưởng thôn/khu phố - Các nhóm dân cư, các đối tượng hưởng lợi từ các dự án đầu tư tại địa phương v.v… Các nguồn thông tin khác có thể là: - Biên bản cuộc họp - Sổ sách ghi chép, theo dõi - Báo cáo giám sát dự án thử nghiệm hàng tháng - Những điều quan sát được - Phiếu câu hỏi, điều tra - H ội thảo Tổ chức: Cần thành lập một nhóm đánh giá. Nhóm này cần có một người làm nhóm trưởng nhóm và 2 – 3 thành viên. Có thể sẽ cần huy động lực lượng bổ sung để thực hiện việc thu thập dữ liệu. Kế hoạch thời gian cho hoạt động đánh giá cũng cần được xây dựng. 5 Bước 2: Nghiên cứu các thông tin sẵn có Nhiệm vụ # 1. Thu thập và nghiên cứu các thông tin sẵn có – như thông tin hiện trạng hoặc các thông tin đã điều tra, các biên bản cuộc họp, các báo cáo v.v…, và xem xét xem các thông tin này có thể dùng để trả lời cho những câu hỏi nào. Nhiệm vụ # 2. Lập một danh sách các loại thông tin còn thiếu. Thông thường, để bảo đảm độ chính xác, bạn cần có thông tin từ hai nguồn trở lên. Bước 3: Xây dựng phiếu câu hỏi, lựa chọn mẫu đánh giá Tới bước này, bạn đã biết rằng thông tin nào đã có và thông tin nào cần phải thu thập. Bạn cần lập một danh sách các cá nhân có thể đưa ra câu trả lời cho các câu hỏi bạn cần. Hãy lựa chọn phương pháp thu thập thông tin phù hợp nhất. Liệu bạn có cần phải tiến hành một cuộc điều tra định lượng để đo lường tỷ lệ phần trăm hay bạn có thể thu thập đủ thông tin (đáng tin cậy) chỉ cần qua phỏng vấn và thảo luận với các nhóm đối tượng? Hãy chuẩn bị một bộ câu hỏi cho từng nhóm đối tượng mà bạn đã xác định được. Nên hạn chế số lượng câu hỏi và tập trung vào phần trả lời các câu hỏi điều tra là chính. Đề nghị tham khảo các ví dụ nêu trong phần Phụ lục. Bước 4: Thu thập thông tin qua phỏng vấn/điều tra Lưu ý: Điều quan trọng là việc thu thập thông tin phải chọn lọc và tập trung, nếu không bạn sẽ thu về quá nhiều thông tin tản mạn. Bước 5: Phân tích thông tin thu được và viết báo cáo dự thảo Phân tích thông tin thu được là phần khó nhất trong quá trình đánh giá. Công việc này sẽ dễ dàng hơn nhiều nếu mục đích, câu hỏi và chỉ số đánh giá được xác định rõ ràng ngay từ ban đầu. Kết quả phỏng vấn sẽ phải được diễn giải lại, tốt nhất là trên máy tính. Công việc này chiếm nhiều thời gian và do vậy các cuộc phỏng vấn cần được thực hiện ngắn gọn. Hãy tổ chức và tóm t ắt lại toàn bộ các câu trả theo từng vấn đề cụ thể: Tiến hành so sánh, tìm các điểm tương đồng và khác biệt lớn. Tìm cách rút ra các kết luận chính từ câu trả lời của phần lớn đối tượng được hỏi; tuy nhiên, cũng tìm cách lý giải cho các câu trả lời khác biệt so với phần lớn các câu trả lời khác. Kết luận đưa ra nên được dựa trên các mục đích đánh giá và dựa trên các ý kiến trả lời cho các câu hỏi điều tra chính. Bạn phải thể hiện rõ được lý do tại sao bạn đưa các kết luận đó, thông qua các phân tich của mình. Mẫu đề cương báo cáo đánh giá được nêu tại phần Phụ lục. 6 Bước 6: Tổ chức hội thảo để trình bày dự thảo báo cáo đánh giá Dự thảo báo cáo đánh giá nên được trình bày tại một hội thảo có đại diện của Sở TNMT, các cơ quan thực hiện, tư vấn v.v… tham dự. Các thành phần này có nhất trí với nội dung báo cáo hay không? Các phát hiện có trùng với ý kiến chung về dự án hay không? Các nội dung quan trọng có được thể hiện trong báo cáo không? Bước 7: Sửa đổi báo cáo dự thảo và trình báo cáo để phê duyệt 7 III) ĐỀ CƯƠNG BÁO CÁO ĐÁNH GIÁ Báo cáo đánh giá nên được thực hiện ngắn gọn, giới hạn từ 10 đến 15 trang. 1. Giới thiệu • Bối cảnh (dự án thử nghiệm phù hợp như thế nào đối với Chương trình SEMLA và đối với việc xây dựng chính sách, pháp luật của Việt nam) 2. Phương pháp luận • Mục tiêu và trọng tâm đánh giá • Thời gian và địa điểm tiến hành đánh giá • Phương pháp và các chỉ số sử dụng trong đánh giá • Mẫu đánh giá (các đối tượng nào được lựa chọn để phỏng vấn, điều tra; việc chọn mẫu được thưc hiện như thế nào) 3. Mô tả dự án • Mục tiêu của dự án thử nghiệm • Các hoạt động và nội dung của dự án • Quá trình triển khai dự án • Vai trò của các bên liên quan (SEMLA, Sở TNNT, Bộ TNMT, cấp huyện, cấp xã, các nhóm có lợi ích liên quan ở địa phương, v.v…) 4. Phân tích thông tin thu được 5. Các bài học kinh nghiệm 6. Các ý kiến đề xuất Một số ví dụ về các câu hỏi để phản ánh các ý kiến đề xuất: - Bằng cách nào để tạo thêm sự quan tâm (của các bên có liên quan) đối với hương ước môi trường? - Bằng cách nào để tăng cường việc triển khai? - B ằng cách nào để cải thiện công tác giám sát? 7. Kết luận Tối đa là 1-2 trang. Phụ lục Danh mục các cuộc phỏng vấn đã thực hiện Mẫu phiếu điều tra, tài liệu hướng dẫn phỏng vấn 8 IV) PHỤ LỤC A. VÍ DỤ hướng dẫn về đánh giá HƯƠNG ƯỚC MÔI TRƯỜNG ĐỊA PHƯƠNG Mục tiêu đánh giá : 1. Đánh giá sự hiệu quả của dự án/mô hình về các mặt sau: a) cải thiện các điều kiện sống và môi trường b) nâng cao nhận thức của người dân về bảo vệ môi trường 2. Thu thập các bài học cho việc nhân rộng mô hình trong tương lai Các câu hỏi có thể sử dụng: Dự án xây dựng các hương ước môi trường địa phương nên được đánh giá trong khoảng 6 tháng sau khi các h ương ước được áp dụng là lý tưởng nhất. Nếu dự án được đánh giá quá sớm thì ta sẽ không thể thấy được bất kỳ tác động nào. Nếu dự án được đánh giá quá muộn thì mọi người đã quên mất quy trình để xây dựng hương ước (tất nhiên chúng ta hi vọng không phải là nội dung hương ước). Chúng ta cần hiểu các quá trình, việc triển khai và những thay đổi có thể có cùng những ảnh hưởng có thể xảy ra với tư cách là kết quả của dự án: Quy trình và việc triển khai • Quy trình xây dựng hương ước đã có sự tham gia của các nhóm cộng đồng khác nhau ở mức độ nào và bằng hình thức nào ? Có nhóm nào không tham gia không? • Dự án được giới thiệu đến xã và các phường như thế nào? • Cộng đồng có đủ thông tin về quy trình và các vấn đề môi trường v.v để chủ động tham gia vào quá trình không ? Việc này được thực hiện như thế nào? • Hương ước đã được xúc tiến triển khai như thế nào? • Hương ước đã được thực hiện như thế nào? • Vai trò của các bên liên quan là gì (Sở TNMT, xã, trưởng thôn và các hộ gia đình) trong việc triển khai và giám sát các hương ước? • Đã có những khó khăn gì? Đã tìm được những giải pháp nào để khắc phục khó khăn? Tác động/kết quả • Đã thấy được những thay đổi nào và đã có những thay đổi nào cho dự án thí điểm? - trong môi trường sống? - trong kiến thức và thái độ của người dân ? - trong hành vi cư xử của người dân? • Có những tác động ảnh hưởng nào đến các cá nhân, hộ gia đình và cấp cộng đồng? • Có những tác động nào đến môi trường? • Dự án có dẫn đến bất kỳ hiệu quả sản phẩm phụ hay sáng kiến nào khác không? [...]... Báo cáo đánh giá ● Tài liệu giáo dục cho nhà trường ● Bộ 5 poster giải thích hương ước và trình bày các bản vẽ của học sinh 3.2 Kết quả đánh giá Ban quản lý chương trình tỉnh Hà Giang tiến hành đánh giá dự án vào tháng 9 năm 2006 Mục tiêu là tác động của dự án nên để các bên liên quan trực tiếp tự đánh giá Ba bộ câu hỏi đã được xây dựng: một cho người dân nói chung, một cho các gia đình hưởng lợi từ... nhận kinh phí từ dự án Ban quản lý • • chương trình dự án SEMLA tỉnh Hà Giang, tổ chức mua nguyên vật liệu, cung cấp cho các hộ tham gia dự án đảm bảo đúng chủng loại, số lượng, chất lượng theo yêu cầu kỹ thuật Giám sát các hộ gia đình xây dựng các công trình theo đúng bản vẽ kỹ thuật Tham gia cùng Ban quản lý chương trình dự án SEMLA tỉnh Hà Giang nghiệm thu các công trình xây dựng Các trưởng thôn... dự án Tất cả các ý kiến và nhu cầu đều được thảo luận một cách công khai và cởi mở với các bên Điều kiện tiên quyết để thực hiện thành công dự án là mỗi hộ gia đình và mỗi xóm cần tham gia tích cực vào việc xác định và xây dựng hương ước Bên cạnh đó, các phong tục tập quán cần được cân nhắc để xây dựng mô hình vệ sinh phù hợp với điều kiện ở địa phương Ngay từ bước đánh giá ban đầu để xây dựng dự án, ... việc thực hiện các hương ước? - trong nhận thức của người dân về bảo vệ môi trường? - trong hành vi của người dân đối với môi trường? Trả lời: Q9 Có những khó khăn gì khi triển khai các hương ước? Trả lời: Q10 Theo bạn, có thể làm gì để tăng cường thực thi các hương ước? Trả lời: 13 B VÍ DỤ hướng dẫn về Đánh giá dự án thí điểm QUI HOẠCH SỬ DỤNG ĐẤT LỒNG GHÉP MỤC TIÊU ĐÁNH GIÁ: 1 Đánh giá hiệu quả của... ở Hà Giang; - Hướng dẫn kỹ thuật về xây dựng vệ sinh môi trường ở khu vực nông thôn 1 GIỚI THIỆU 1.1 Bối cảnh Báo cáo này dựa trên mô hình thí điểm ở xã Ngọc Đường, tỉnh Hà Giang Dự án được thực hiện trong năm 2005 và đánh giá 1 năm sau đó Bên cạnh các hoạt động nâng cao nhận thức cộng đồng, sự tham gia của trường tiểu học đã tăng cường tính hiệu quả của dự án Các dự án tương tự về xây dựng hương ước... cáo đánh giá dự án 3.1 Đầu ra Các đầu ra chính: ● Hương ước bảo vệ môi trường cho 9 thôn của xã Ngọc Đường được xây dựng và ký kết ● Công trình vệ sinh nông thôn cho 83 hộ gia đình, bao gồm nhà vệ sinh, chuồng trại chăn nuôi, bể nước và 20 bể biogas cho các hộ chăn nuôi đã đi vào hoạt động hiệu quả cụ thể là hạn chế được ô nhiễm môi trường tại hộ gia đình Các đầu ra khác: ● Báo cáo đánh giá ● Tài liệu. .. điều chỉnh linh hoạt và phù hợp với điều kiện và phong tục tập quán từng địa phương ● Trong tương lai, nên tăng cường ngân sách cho các hoạt động truyền thông để nâng cao nhận thức cộng đồng ● Các cán bộ Sở TNMT nên được tập huấn về phương pháp luận và cách tiếp cận về đánh giá dự án Đề xuất cho các nhà lập chính sách: ● Kinh nghiệm của dự án ở Ngọc Đường nên được quảng bá rộng rãi trên toàn quốc như... chỉnh sửa hướng dẫn QHSDĐ? Thông tư 30? 14 BÀI HỌC KINH NGHIỆM Những thay đổi nào có thể quan sát được và đóng góp cho dự án thử nghiệm? - Trong các yếu tố môi trường đã được xem xét và lồng ghép? - Trong kiến thức của cán bộ? - Trong kỹ năng của cán bộ? - Trong nhận thức của người dân và sự đóng góp của họ cho QHSDĐ có lồng ghép? • Dự án có đưa ra được những hiệu quả phụ trợ nào? Hay những sáng kiến... đủ kinh phí dự án đúng yêu cầu và thời gian, cung cấp tài liệu và kỹ thuật tập huấn kỹ thuật để xây dựng các công trình vệ sinh Hỗ trợ cho nhân dân xây dựng các công trình thu gom xử lý chất thải, gọi chung là các công trình vệ sinh: Hỗ trợ xây dựng nhà tắm 2 m2 cho 55 hộ gia đình Hỗ trợ xây dựng Bể nước 4 m3 cho 55 hộ gia đình Hỗ trợ xây dựng Hố ủ phân 4m3 cho 55 hộ gia đình Hỗ trợ xây dựng Hố xí 2... mắc khi thực hiện mô hình này? Các chỉ số đề xuất: • Mức độ các vấn đề môi trường được xem xét trong QHSDĐ • Các bước của QHSDĐ mà các vấn đề môi trường được lồng ghép • Các bước của QHSDĐ mà các bên liên quan bên ngoài đã tham gia (các ngành khác, các doanh nghiệp tư nhân, người dân) • Sự hợp tác giữa nhóm đánh giá môi trường và nhóm thực hiện QHSDĐ • Mức độ các số liệu kinh tế xã hội thu thập đã . THIỆU 2 II) HƯỚNG DẪN ĐÁNH GIÁ DỰ ÁN THỬ NGHIỆM THEO TỪNG BƯỚC 2 III) ĐỀ CƯƠNG BÁO CÁO ĐÁNH GIÁ 7 IV) PHỤ LỤC 8 A. VÍ DỤ hướng dẫn về đánh giá HƯƠNG. tra, tài liệu hướng dẫn phỏng vấn 8 IV) PHỤ LỤC A. VÍ DỤ hướng dẫn về đánh giá HƯƠNG ƯỚC MÔI TRƯỜNG ĐỊA PHƯƠNG Mục tiêu đánh giá : 1. Đánh giá