Kỷ yếu công trình khoa học 2014 – Phần I Trường Đại học Thăng Long 36 ĐỔI MỚI VIỆC VIẾT CÂU HỎI VÀ XÂY DỰNG ĐỀ KIỂM TRA ThS. Nguyễn Tích Lăng Trung tâm Khảo thí và Đảm bảo chất lượng Tóm tắt: Lý luận dạy học đại học hiện đại đã chỉ ra rằng Kiểm tra-Đánh giá hoạt động học tập sinh viên là một thành tố quan trọng của quá trình dạy học. Hiện nay trên thế giới cũng như trong nước đã có một số nghiên cứu về Kiểm tra-Đánh giá, tuy nhiên các tài liệu này có mục đích nghiên cứu hơn là ứng dụng. Vì vậy bài viết này tập trung vào vấn đề kỹ thuật, sử dụng lý thuyết trắc nghiệm cổ điển và hiện đại đề xuất một số giải pháp đổi mới hai khâu quan trọng nhất của qui trình Kiểm tra-Đánh giá sinh viên, đó là viết câu hỏi và xây dựng đề kiểm tra. Câu hỏi TNKQ sử dụng để đánh giá một khối lượng kiến thức lớn, phân tán và phủ kín cả mục tiêu dạy học, còn câu hỏi Tự luận lại được dùng để đánh giá trình độ suy luận của sinh viên. Khi viết câu hỏi TNKQ cần lưu ý “Đáp án” là sự lựa chọn chính xác hoặc tốt nhất cho câu hỏi hoặc vấn đề mà bạn đưa ra, “Phương án nhiễu” là câu trả lời hợp lý (nhưng không chính xác) đối với câu hỏi hoặc vấn đề được nêu ra trong câu dẫn; còn đối với câu hỏi Tự luận chú ý cách đặt câu hỏi ở các mức độ tư duy. Khi viết xong câu hỏi cần đánh giá chất lượng câu hỏi trước khi đưa vào sử dụng. Đánh giá câu hỏi nên phối hợp cả hai phương pháp là đánh giá theo tiêu chí và đánh giá dựa vào thống kê. Đề kiểm tra là phương tiện đánh giá kết quả học tập của sinh viên sau khi học xong một chủ đề, một chương hay toàn bộ chương trình lớp học, cấp học. Xây dựng đề kiểm tra nên phối hợp cả hai phương pháp trắc nghiệm cổ điển và hiện đại, đặc biệt đánh giá đề kiểm tra cần dựa trên lý thuyết IRT. Bài viết cũng đề cập đến một số đề kiểm tra cho các loại hình đánh giá như đề kiểm tra đánh giá đầu vào, đánh giá quá trình và đánh giá tổng kết, đặc biệt có vai trò của Ngân hàng câu hỏi trong việc xây dựng đề kiểm tra. A. Viết câu hỏi và đánh giá câu hỏi 1. Viết câu hỏi Để xây dựng được đề kiểm tra, trước hết phải căn cứ vào mục tiêu dạy học, đó là những năng lực mà học sinh cần đạt được sau khi học xong môn học, sau đó viết các câu hỏi để đo các năng lực đó. Quan hệ giữa năng lực sinh viên cần đánh giá ( là một “Biến ẩn”) và câu hỏi để đo năng lực đó (là “Biến quan sát được”) theo lý thuyết đo lường đánh giá kết quả học tập đượcminh họa ở Hình 1. Hình 1: Sơ đồ quan hệ giữa năng lực sinh viên và câu hỏi kiểm tra Kỷ yếu công trình khoa học 2014 – Phần I Trường Đại học Thăng Long 37 1.2 Kỹ thuật viết câu hỏi 1.2.1 Kỹ thuật viết câu hỏi trắc nghiệm khách quan  Khi nào sử dụng câu hỏi trắc nghiệm khách quan Theo Stiggins, mục tiêu dạy học phù hợp nhất để đánh giá bằng câu hỏi trắc nghiệm khách quan (TNKQ) là mức làm chủ kiến thức, sau đó là trình độ suy luận. Câu hỏi TNKQ cũng cho phép đánh giá trình độ suy luận từ thấp lên cao, tuy nhiên nó không cho phép đánh giá kiểu suy luận hoàn toàn tự do, vì dù sao các câu hỏi TNKQ cũng được giới hạn trong phạm vi định sẵn. Câu hỏi TNKQ có thể sử dụng rất tốt để đánh giá một khối lượng kiến thức lớn, phân tán và phủ kín cả mục tiêu dạy học.Thế mạnh của TNKQ là có thể triển khai đánh giá trên qui mô lớn học sinh, với đề kiểm tra gồm nhiều câu hỏi bao phủ một phạm vi kiến thức rộng lớn, thời gian trả lời tương đối ngắn. Ngoài ra, việc áp dụng lý thuyết đo lường hiện đại, sử dụng công nghệ chấm điểm tự động cũng là một ưu thế lớn của câu hỏi TNKQ. Cần nói thêm rằng, tính “khách quan” thể hiện ở khâu chấm điểm, thường bằng cách so sánh câu trả lời của học sinh với đáp án có sẵn, người chấm điểm không cần có phán xét chủ quan thêm vào. Đối với thi TNKQ kiểu viết, thì yêu cầu học sinh phải có trình độ đọc tối thiểu để hiểu và trả lời các câu hỏi.  Kỹ thuật viết câu hỏi trắc nghiệm khách quan Một câu hỏicó nhiều phương án lựa chọn thường được cấu thành từ các phần như sau: Câu dẫn là một phần câu hỏi mà học sinh phải trả lời. Chức năng chính của câu dẫn là đặt câu hỏi, đưa ra yêu cầu cho học sinh thực hiện hoặc đặt ra vấn đề cho học sinh giải quyết Các phương án chọn cung cấp một vài lựa chọn về đáp án cho câu hỏi đặt ra từ câu dẫn. Các phương án chọn có hai dạng: “Đáp án” là sự lựa chọn chính xác hoặc tốt nhất cho câu hỏi hoặc vấn đề mà bạn đưa ra; “Phương án nhiễu” là câu trả lời hợp lý (nhưng không chính xác) đối với câu hỏi hoặc vấn đề được nêu ra trong câu dẫn. Chú ý “Phương án nhiễu” chỉ hợp lý đối với những học sinh không đọc tài liệu một cách đầy đủ và không hợp lý đối với các học sinh có kiến thức như giảng viên mong muốn. Đôi khi có những Tài liệu mang tính chất khơi nguồn (stimulus material) cũng có thể được sử dụng cùng với những câu hỏi có nhiều phương án lựa chọn như đồ thị, bảng biểu, bản đồ, đoạn văn ngắn… Các nguyên tắc viết câu dẫn - Nếu như câu dẫn có phần trống để học sinh trả lời, thì hãy đặt phần trống ở cuối câu dẫn hơn là ở giữa câu. - Đưa “ý chính” của câu hỏi vào câu dẫn, không nên đưa vào các phương án lựa chọn. - Sắp xếp câu dẫn hợp lý để tránh các ngôn ngữ/cách diễn đạt mới lạ, không hợp lý nhưng cũng cố gắng để đưa được nhiều hơn ý của chủ đề vào câu dẫn, và đưa ra những phương án lựa chọn ngắn gọn hơn. - Tránh các từ ngữ mang tính chất phủ định như “ngoại trừ”, “không” Nếu sử dụng những từ ngữ này, bạn phải làm nổi bật chúng bằng cách in nghiêng, in đậm hoặc gạch chân. Nguyên tắc chung viết phương án Kỷ yếu công trình khoa học 2014 – Phần I Trường Đại học Thăng Long 38 - Nên sắp xếp các phương án theo thứ tự có nghĩa (logic, theo số thứ tự, theo bảng chữ cái…) - Các phương án lựa chọn phải có độ dài tương xứng. Một phương án dài hơn hoặc ngắn hơn có thể thu hút sự chú ý của học sinh vì chúng nổi bật và có thể dễ dàng nhận thấy. Các phương án phải có sự tương ứng về cấu trúc ngữ pháp để tránh làm lộ các đáp án đúng. - Các phương án lựa chọn phải phù hợp với câu dẫn về mặt ngữ pháp. - Nên đưa các từ lặp lại hoặc các cụm từ vào câu dẫn hơn là vào các phương án lựa chọn. - Tránh đưa ra các phương án lựa chọn chồng chéo, có liên quan tới nhau, có sự trùng khớp, nối tiếp với nhau. - Tránh đưa câu dẫn dưới dạng câu phủ định. Nếu bạn đưa ra câu phủ định, in đậm từ phủ định để giúp học sinh có thể nhận thấy. - Tránh đưa ra đáp án đúng có sự khác biệt với các phương án nhiễu về mặt ngữ pháp, độ dài hoặc bất kỳ một yếu tố nào khác. - Tránh đưa ra phương án “không có đáp án nào đúng” vì khi học sinh đoán và lựa chọn: “Không có đáp án nào đún. - Tránh nhắc lại các từ ngữ đã được sử dụng trong câu dẫn. - Trong câu dẫn luôn luôn sử dụng các “thuật ngữ” và trong các đáp án luôn luôn là các định nghĩa/ diễn giải. Nguyên tắc viết phương án đúng (Đáp án) - Đảm bảo rằng các đáp án đúng được viết dựa vào chủ đề và sự phù hợp về nội dung kiểm tra. - Tránh các câu hỏi “kết nối”, đáp án của câu này được tìm thấy hoặc phụ thuộc vào câu khác. Vấn đề này thường được kiểm tra khi đọc và chỉnh sửa bản in vào giai đoạn tập hợp các câu hỏi để tạo thành một bài kiểm tra hoàn chỉnh. Kiểu câu hỏi này cũng dễ nhận ra một cách ngẫu nhiên khi bạn viết câu hỏi cho một vài lớp học. Nguyên tắc viết phương án nhiễu - Chúng được gọi là phương án nhiễu bởi chúng được đưa ra nhằm “thu hút” những học sinh không hoàn toàn nắm vững kiến thức. Học sinh đã học và nắm vững kiến thức sẽ chọn được đáp án đúng và ngược lại những học sinh không học bài sẽ không đưa ra được đáp án đúng. - Tất cả các phương án nhiễu phải “hợp lý”. Đó là phương án sai nhưng dường như là đúng đối với những người không nắm chắc vấn đề. - Sử dụng kiến thức về các lỗi thông thường mà học sinh hay mắc phải để viết phương án nhiễu. 1.2.2 Kỹ thuật viết câu hỏi Tự luận  Khi nào sử dụng câu hỏi Tự luận Theo Stiggins, mục tiêu dạy học phù hợp để sử dụng câu hỏi Tự luận là mức độ nắm vững kiến thức và trình độ suy luận. Kỷ yếu công trình khoa học 2014 – Phần I Trường Đại học Thăng Long 39 - Đối với mục tiêu năm vững kiến thức, câu hỏi TNKQ dùng để đánh giá các hiểu biết đơn lẻ tách biệt, còn câu hỏi Tự luận cho phép đánh giá một gói bao gồm nhiều kiến thức gắn kết với nhau, các ý tưởng có quan hệ với nhau. - Câu hỏi Tự luận được sử dụng để đánh giá trình độ suy luận, đây chính là một lợi thế của loại câu hỏi này. Chúng ta không thể nhìn thấy quá trình suy luận trong đầu học sinh như thế nào, nhưng có thể yêu cầu họ viết ra suy nghĩ của họ hoặc những lý lẽ khi họ trả lời. - Để đánh giá năng lực thực hành, câu hỏi Tự luận chỉ đánh giá được việc nắm vững các kiến thức phức tạp, thậm chí trình độ giải quyết vấn đề là tiên quyết để thực hành, chứ không đánh giá được trực tiếp kỹ năng thực hành. - Để đánh giá khả năng tạo ra sản phẩm, câu hỏi Tự luận chỉ đánh giá được việc nắm vững kiến thức và có trình độ suy luận như là các đòi hỏi tiên quyết để tạo ra sản phẩm. Riêng đối với sản phẩm viết, sử dụng câu hỏi Tự luận là phù hợp. Tuy nhiên, ở đây cần phân biệt hai mặt: nội dung và hình thức. Về mặt nội dung, cần xây dựng tiêu chí đánh giá mức độ nắm vững kiến thức và chất lượng suy luận của học sinh. Về hình thức, cần có tiêu chí đánh giá cách chọn từ, diễn đạt câu, bố cục … Cần chú ý rằng việc đánh giá bằng câu hỏi Tự luận đòi hỏi các điều kiện sau: - Học sinh phải có trình độ viết tối thiểu. - Giảng viên phải có đủ thời gian chấm bài. - Việc chấm bài phải nhất quán đối với tất cả bài làm, cho nên chỉ nên áp dụng phương pháp này khi các hướng dẫn chấm bài được chuẩn bị tốt và biểu điểm phải thống nhất.  Kỹ thuật viết câu hỏi tự luận Để có một câu hỏi Tự luận tốt, trong câu hỏi phải có được những thông tin sau: (1) Mô tả rõ tình huống mà từ đó nảy sinh yêu cầu giải quyết; (2) Xác định rõ thể loại lập luận cần sử dụng (phân tích, suy diễn, so sánh …); (3) Chỉ rõ cách viết một bài bám sát yêu cầu (có thể nêu cả tiêu chí đánh giá các phần của bài Tự luận). Kỹ năng đặt câu hỏi Tự luậnở các mức độ tư duy 1. Câu hỏi mức độ Nhận biết - Mục tiêu : Nhằm kiểm tra trí nhớ của học sinh về các dữ liệu, số liệu, các định nghĩa,địnhluật, quy tắc, khái niệm, tên người, địa phương… - Khi hình thành câu hỏi giáo viên có thể sử dụng các từ sau đây : Ai…? Cái gì…? Ở đâu ? Thế nào …? Khi nào…? Hãy định nghĩa…? Hãy mô tả… Hãy kể lại…. 2. Câu hỏi mức độ Thông hiểu - Mục tiêu : Nhằm kiểm tra học sinh cách liên hệ kết nối các dữ kiện, số liệu, các đặc điểm … khi tiếp nhận thông tin. - Khi hình thành câu hỏi giáo viên có thể sử dụng các từ sau đây : Vì sao…? Hãy giải thích…? Hãy so sánh…, Hãy liên hệ …. 3. Câu hỏi mức độ Vận dụng Kỷ yếu công trình khoa học 2014 – Phần I Trường Đại học Thăng Long 40 - Mục tiêu : Nhằm kiểm tra học sinh khả năng áp dụng những thông tin đã tiếp thu được vào tình huống mới, khả năng phân tích nội dung vấn đề, khả năng của học sinh có thể đưa ra những dự đoán, cách giải quyết vấn đề có tính sáng tạo, khả năng phán đoán trong việc đánh giá các ý tưởng, sự kiện … - Khi dạy học giáo viên cần tạo ra các tình huống mới, các bài tập, các ví dụ, giúp học sinh vận dụng các kiến thức đã học. Câu hỏi phân tích thường đòi hỏi học sinh phải trả lời: Tại sao? (khi giải thích nguyên nhân). Em có nhận xét gì? (khi đi đến kết luận). Em có thể diễn đạt như thế nào? (khi chứng minh luận điểm).Hoặc giáo viên cần đưa ra những tình huống, những câu hỏi, khiến học sinh phải suy đoán, có thể tự do đưa ra những lời giải mang tính sáng tạo riêng của mình. Giáo viên có thể nêu các câu hỏi : Hiệu quả sử dụng của nó như thế nào? Việc làm đó có thành công không? Tại sao? Theo em trong số các giả thuyết nêu ra, giả thuyết nào hợp lý nhất và tại sao? 2. Đánh giá câu hỏi Khi viết xong câu hỏi cần phải đánh giá xem câu hỏi đã phù hợp với mục tiêu dạy học chưa, có thích hợp với loại hình kiểm tra và đối tượng kiểm tra không, phù hợp với ma trận đề chưa … Có 2 phương pháp đánh giá câu hỏi là dùng tiêu chí và dùng thống kê. 2.1 Các tiêu chí đánh giá chất lượng câu hỏi Khi viết câu hỏi luôn luôn phải dựa vào các tiêu chí để nâng cao chất lượng của câu hỏi. Các tiêu chí được thế giới công nhận tồn tại với mục đích xem xét, đánh giá các câu hỏi trước khi đưa chúng vào đề kiểm tra. Các câu hỏi không đáp ứng được các tiêu chí này sẽ bị loại hoặc được chỉnh sửa cho tới khi chúng đáp ứng được các tiêu chí đó. 2.1.1 Các tiêu chí đánh giá chất lượng của câu hỏi Trắc nghiệm khách quan 1. Câu hỏi có đánh giá những nội dung quan trọng của mục tiêu chương trình giảng dạy hay không? 2. Câu hỏi có phù hợp với các tiêu chí ra đề kiểm tra về mặt trình bày, trọng tâm cần nhấn mạnh và số điểm hay không? 3. Câu dẫn có đặt ra câu hỏi trực tiếp hay một vấn đề cụ thể hay không? 4. Giảng viên ra đề sử dụng ngôn ngữ và hình thức trình bày riêng để biên soạn câu hỏi hay chỉ đơn thuần trích dẫn những lời trong sách giáo khoa? 5. Từ ngữ và cấu trúc của câu hỏi có rõ ràng và dễ hiểu đối với mọi học sinh hay không? 6. Mỗi phương án nhiễu (nền) có hợp lý đối với những học sinh không có kiến thức hay không? 7. Nếu có thể, mỗi phương án sai có được xây dựng dựa trên các lỗi thông thường hay nhận thức sai lệch của học sinh hay không? 8. Đáp án đúng của câu hỏi này có độc lập với đáp án đúng của các câu hỏi khác trong bài kiểm tra hay không? 9. Tất cả các phương án đưa ra có đồng nhất và phù hợp với nội dung của câu dẫn hay không? Kỷ yếu công trình khoa học 2014 – Phần I Trường Đại học Thăng Long 41 10. Có hạn chế đưa ra phương án “Tất cả các đáp án trên đều đúng” hoặc “không có phương án nào đúng” hay không? 11. Mỗi câu hỏi chỉ có một đáp án đúng, chính xác nhất hay không? 2.1.1 Các tiêu chí đánh giá chất lượng của câu hỏi Tự luận 1. Câu hỏi có đánh giá nội dung quan trọng của chuẩn chương trình hay không (kiến thức, kỹ năng)? 2. Câu hỏi có phù hợp với các tiêu chí ra đề kiểm tra về mặt trình bày, trọng tâm cần nhấn mạnh và số điểm hay không? 3. Câu hỏi có yêu cầu học sinh phải vận dụng kiến thức vào các tình huống mới hay không? 4. Xét trong mối quan hệ với các câu hỏi khác của bài kiểm tra, câu hỏi tự luận có thể hiện nội dung và cấp độ tư duy đã nêu rõ trong tiêu chí kiểm tra hay không? 5. Nội dung câu hỏi có cụ thể hay không? Nó có đặt ra một yêu cầu và các hướng dẫn cụ thể về cách thực hiện yêu cầu đó hay chỉ đưa ra một yêu cầu chung chung mà bất cứ một câu trả lời nào cũng phù hợp? 6. Yêu cầu của câu hỏi có phù hợp với trình độ và nhận thức của học sinh hay không? 7. Để đạt được điểm cao, học sinh có phải chứng minh quan điểm của mình hơn là nhận biết về thực tế, khái niệm…? 8. Ngôn ngữ sử dụng trong câu hỏi có truyền tải được hết những yêu cầu của cán bộ ra đề đến học sinh hay không? 9. Câu hỏi có được diễn đạt theo cách giúp học sinh hiểu được: a) Độ dài của câu trả lời/bài luận? b) Mục đích của bài luận? c) Thời gian viết bài luận? d) Tiêu chí đánh giá/chấm điểm bài luận? 10. Nếu câu hỏi yêu cầu học sinh nêu quan điểm và chứng minh cho quan điểm của mình, câu hỏi có nêu rõ: bài làm của học sinh sẽ được đánh giá dựa trên những lập luận logic mà học sinh đó đưa ra để chứng minh và bảo vệ quan điểm của mình chứ không chỉ đơn thuần là quan điểm mà chúng đưa ra? 2.2 Phân tích các câu hỏi bằng thống kê Chúng ta tiến hành phân tích câu hỏi theo cả lý thuyết cổ điển và hiện đại (lý thuyết Ứng đáp câu hỏi - IRT). Từ những số liệu về các tham số của câu hỏi, có thể đánh giá câu hỏi là tốt hay không, cần phải sửa những khâu nào để nâng cao chất lượng của câu hỏi. Sau đây là một thí dụ về phân tích câu hỏi bằng phần mềm CONQUEST. Thí dụ 1: Bảng phân tích một câu hỏi trắc nghiệm khách quan Kỷ yếu công trình khoa học 2014 – Phần I Trường Đại học Thăng Long 42 Item 9 Cases for this item 336 Discrimination 0.40 Item Threshold(s): 0.14 Weighted MNSQ 0.97 Item Delta(s): 0.14 Label Score Count % of tot Pt Bis t(p) PV1Avg:1 PV1 SD:1 1 0.00 36 10.71 -0.18 -3.43(.001) -0.27 0.69 2 0.00 74 22.02 -0.16 -3.04(.003) -0.10 0.64 3 1.00 165 49.11 0.40 7.88(.000) 0.38 0.79 4 0.00 61 18.15 -0.19 -3.52(.000) -0.20 0.71 ================================================================== ======== Thông tin ở phần trên của Bảng cho biết: Số thứ tự của câu hỏi trong tệp số liệu, số sinh viên tham gia trả lời câu hỏi; Ngưỡng đối với một mức điểm của câu hỏi (Item Threshold(s)) là mức năng lực của sinh viên mà tại đó xác suất đạt được điểm đó hoặc điểm cao hơn bằng 0.5. Ngưỡng có đơn vị đo là logit. Độ khó của câu hỏi (Item Delta(s)) là mức năng lực của sinh viên mà tại đó xác suất trả lời đúng câu hỏi (hoặc đúng một phần đối với câu hỏi chấm điểm từng phần) bằng 0.5. Độ khó có đơn vị đo là logit. Độ phân biệt cổ điển (Discrimination) để phân biệt giữa những học sinh đạt điểm số cao với những học sinh có điểm số thấp. Đối với câu hỏi nhị phân, độ phân biệt cổ điển bằng PB đối với phương án là đáp án. Độ phù hợp (Weighted MNSQ) dùng để so sánh giá trị dự đoán và giá trị quan sát được bằng phép phân tích phần dư. Giá trị mong đợi là 1. Những giá trị lớn hơn 1.2 chỉ ra rằng độ phân phân biệt của câu hỏi thấp hơn so với mô hình Rasch, còn những giá trị nhỏ hơn 0.8 có độ phân phân biệt của câu hỏi cao hơn so với mô hình. Thông tin ở phần dưới của Bảng cho biết: Cột thứ nhất là các phương án trả lời của câu hỏi đối với câu hỏi trắc nghiệm khách quan, hoặc các mức điểm đối với câu hỏi chấm điểm từng phần (số 9 là giá trị trống missing); Cột thứ hai là điểm tương ứng với mỗi phương án trả lời (điểm 1 cho phương án đúng, điểm 0 cho các phương án sai); Cột thứ ba và thứ tư là số lượng và số phần trăm sinh viên trả lời mỗi phương án; Kỷ yếu công trình khoa học 2014 – Phần I Trường Đại học Thăng Long 43 Cột thứ sáu là Hệ số tương quan nhị phân (Point-Biserial correlation), viết tắt PB. PBđối với phương án là đáp án đối với câu hỏi nhị phân cần phải là một số dương; nếu PB<0.2 thì câu hỏi có độ phân biệt không tốt. Còn PB đối với các phương án sai đối với câu hỏi nhị phân cần phải là một số âm. Cột thứ bảy là trung bình năng lực (mean ability) của nhóm sinh viên trả lời mỗi phương án. Đối với câu hỏi nhị phân tốt, trung bình năng lực của nhóm sinh viên chọn phương án đúng phải có giá trị lớn hơn trung bình năng lực của nhóm sinh viên chọn phương án sai. Đối với câu hỏi chấm điểm từng phần, người ta chờ đợi rằng trung bình năng lực phải tăng theo sự tăng của điểm thô. Người ta còn dựa vào đường cong đặc trưng (ICC) để phân tích câu hỏi. Đường cong đặc trưng của câu hỏi cho biết: - Độ khó: Mức năng lực θ của sinh viên để xác suất trả lời đúng bằng 0.5; - Độ phân biệt: Độ dốc của đường cong tại điểm có tung độ bằng 0.5 - Phân bố của tỷ lệ học sinh trả lời đúng câu hỏi. Sau đây là đường cong đặc trưng của Câu hỏi số 24 ở trên. B. Xây dựng đề kiểm tra, đánh giá đề kiểm tra Định nghĩa đề kiểm tra: “Thông thường đề kiểm tra được hiểu là một tập hợp các câu hỏi được thiết kế và yêu cầu thực hiện đối với một hoặc nhiều học sinh trong những điều kiện nhất định” (Wiersma, & Jurs, 1990). Đề kiểm tra là phương tiện đánh giá kết quả học tập của sinh viên sau khi học xong một chủ đề, một chương, một học kỳ hay toàn bộ chương trình của một lớp học, một cấp học. 1. Xây dựng đề kiểm tra 1.1 Xây dựng đề kiểm tra dựa trên lý thuyết trắc nghiệm cổ điển Xây dựng đề kiểm tra theo các bước sau đây: 1. Chọn các câu hỏi điền vào ma trận theo lĩnh vực nội dung và mức độ nhận thức theo đúng yêu cầu. 2. Tìm thay thế một số câu hỏi (nếu có thể) bằng câu hỏi có cùng lĩnh vực nội dung và độ khó nhưng có độ phân biệt lớn hơn. Kỷ yếu công trình khoa học 2014 – Phần I Trường Đại học Thăng Long 44 Cứ thực hiện như vậy ta có một đề kiểm tra đáp ứng được yêu cầu các tiêu chí kỹ thuật và có độ phân biệt ngày càng tốt. Nhược điểm của phương pháp này là các tham số của câu hỏi (độ khó, độ phân biệt) không phải là bất biến đối tổng thể sinh viên mà người ta muốn xác định năng lực, nó phụ thuộc vào nhóm sinh viên được chọn dùng để xác định các tham số này. Do đó khi nhóm sinh viên được chọn mẫu này không đại diện cho tổng thể cần đánh giá thì sẽ cho kết quả đánh giá không như mong muốn. Một yếu điểm nữa của đề kiểm tra dựa trên lý thuyết trắc nghiệm cổ điển là ta không đánh giá trước được các đặc trưng của đề. 1.2 Xây dựng đề kiểm tra dựa trên lý thuyết ứng đáp câu hỏi (IRT) Ưu thế nhất của IRT là cho phép lựa chọn câu hỏi dựa trên lượng thông tin mà các câu hỏi đóng góp vào khối lượng thông tin tổng cộng của đề kiểm tra. Lord 2 đã đề xuất một qui trình sử dụng hàm thông tin để thiết kế đề kiểm tra. Qui trình này dựa trên việc khai thác một số lượng tương đối lớn câu hỏi đã được xác định các tham số theo lý thuyết IRT. Sau khi đã sắp xếp các câu hỏi theo lĩnh vực nội dung của ma trận đề, tiếp tục chọn ra các câu hỏi có thể cung cấp thông tin cần thiết. 1. Quyết định về hình dáng muốn có của hàm thông tin của đề kiểm tra, Lord gọi nó là hàm thông tin mục tiêu. 2. Chọn các câu hỏi có các hàm thông tin sẽ phủ kín các vùng năng lực của hàm thông tin mục tiêu. 3. Sau khi mỗi câu hỏi được đưa vào đề kiểm tra, tính hàm thông tin mục tiêu của đề kiểm tra có được. 4. Tiếp tục thay thế và lựa chọn các câu hỏi để đưa vào đề kiểm tra cho đến khi hàm thông tin có được càng tiệm cân với hàm thông tin mục tiêu càng tốt. 1.2.1 Đề kiểm tra cho các loại hình đánh giá Như đã nói ở trên, có 3 loại hình đánh giá là đánh giá đầu vào/chẩn đoán, đánh giá trong tiến trình và đánh giá tổng kết. Đề kiểm tra cho các loại hình đánh giá khác nhau cũng khác nhau. Đề kiểm tra đánh giá đầu vào/chẩn đoán: Đề kiểm tra này để sàng lọc phải có khả năng phân tách rõ rệt giữa các thí sinh có năng lực thấp hơn một mức nào đó và các thí sinh có năng lực cao hơn mức đó. Điểm phân cách ấy là một điểm cắt (cut-off-score) của hàm thông tin của đề kiểm tra. Cần đặt điểm nằm giữa thang điểm thực của đường cong đặc trưng đề kiểm tra với mức năng lực của điểm cắt đó. Các câu hỏi của đề kiểm tra nên có độ khó b nằm lân cận với điểm cắt nói trên. Câu hỏi tối ưu là câu hỏi có độ khó đúng ở điểm cắt còn độ phân biệt đủ lớn. Đề kiểm tra đánh giá trong tiến trình và đánh giá tổng kết: Các đề kiểm tra này để đo năng lực của sinh viên trên một dải rộng của thang năng lực. Cần đặt điểm nằm giữa thang điểm thực của đường cong đặc trưng đề kiểm tra với điểm giữa của dải năng lực cần đo. Các tham số độ khó b của các câu hỏi nên trải rộng khắp dải năng lực. 1.2.2 Xây dựng đề kiểm tra với câu hỏi TNKQ Dưới đây là một vài “bí kíp” trong việc “lắp ráp” để hoàn chỉnh một bài kiểm tra: 2 Lord Applications of Item Response Theory to Practical Testing Problems Kỷ yếu công trình khoa học 2014 – Phần I Trường Đại học Thăng Long 45 - Đưa ra những bản hướng dẫn được in rõ ràng. Nếu bạn sử dụng nhiều dạng câu hỏi có nhiều lựa chọn, hãy viết các hướng dẫn riêng cho từng dạng câu hỏi. - Sắp xếp các câu hỏi theo nội dung, dạng câu hỏi, sau đó là sự tăng dần của mức độ khó (Gronlund, 1988). Quy luật này được đưa ra dựa trên nguyên tắc xử lý thông tin. Sẽ dễ dàng hơn cho học sinh khi chúng trả lời tất cả các câu hỏi về một nội dung trước khi chuyển sang nội dung khác. Học sinh cũng thực hiện các nhiệm vụ trí óc tương tự với các câu hỏi tương tự trước khi chuyển sang nhiệm vụ và các dạng câu hỏi khác. Cuối cùng, hãy xếp các câu dễ trước các câu khó để học sinh có thể đạt được một số điểm nhất định. - Sắp xếp các phương án lựa chọn theo một trật tự logic, theo số thứ tự hoặc bảng chữ cái. - Đảm bảo rằng học sinh không bị “lạc” trong bài kiểm tra bởi sau đó điểm số của chúng không phản ánh những điều chúng biết mà là khả năng chúng làm bài kiểm tra. - Không tập hợp nhiều câu hỏi trong một trang. - Tránh sử dụng hai mặt giấy vì học sinh có thể bỏ qua trang sau. - Đưa các dòng hướng dẫn như “xem trang tiếp theo” hay ‘trang 4 trên 12 trang”. 1.2.3 Xây dựng đề kiểm tra kết hợp câu hỏi TNKQ với Tự luận Ở trên chúng ta giới thiệu đề kiểm tra tách biệt chỉ gồm câu hỏi TNKQ và câu hỏi Tự luận và nêu ưu nhược điểm của từng loại. Ngày nay với sự phát triển của khoa học đo lường và đánh giá người ta thấy không nên. 1.3 Xây dựng đề kiểm tra từ Ngân hàng câu hỏi Để xây dựng được một ngân hàng câu hỏi, trước hết phải căn cứ vào mục tiêu dạy học, đó là những năng lực mà học sinh cần đạt được sau khi học xong môn học, sau đó viết các câu hỏi để đo các năng lực đó. Tuy nhiên Ngân hàng câu hỏi không chỉ đơn thuần là một bộ sưu tập các câu hỏi. Ngân hàng câu hỏi là một tập hồ sơ lớn gồm các câu hỏi kiểm tra có chất lượng cao đã được mã hoá theo: - Khối lớp, môn học, - Nội dung chương trình, lĩnh vực kiến thức, - Các tham số của câu hỏi như độ khó, độ phân biệt, - Và các thông tin khác (như thời gian viết câu hỏi, tác giả, ). Một ngân hàng câu hỏi cho phép dễ dàng thực hiện các công việc sau: - Biên tập và quản lý các câu hỏi; - Cập nhật câu hỏi (xen, xóa, sửa chữa ); - Truy xuất câu hỏi theo tiêu chí nào đó; - Xây dựng đề kiểm tra (theo ma trận đề cho trước, theo tác giả, ). Đặc biệt Ngân hàng câu hỏi cho phép đánh giá trước đề kiểm tra (đường cong điểm thực, hàm thông tin, một số thông tin khác) và đánh giá các đề kiểm tra tương đương. - Thi trực tuyến, chấm điểm Người ta thường sử dụng phần mềm tin học quản lý số câu hỏi và thực hiện các công việc kể trên. Tính cần thiết của việc đưa tất cả các câu hỏi trên cùng một thang đo [...]... học Xây dựng đề kiểm tra nên phối hợp cả hai phương pháp trắc nghiệm cổ điển và hiện đại, đặc biệt đánh giá đề kiểm tra cần dựa trên lý thuyết IRT Bài viết cũng đề cập đến một số đề kiểm tra cho các loại hình đánh giá như đề kiểm tra đánh giá đầu vào, đánh giá quá trình và đánh giá tổng kết, đặc biệt có vai trò của Ngân hàng câu hỏi trong việc xây dựng đề kiểm tra Tài liệu tham khảo [1] Bộ Giáo dục và. .. Đối với một đề kiểm tra, “hàm thông tin của đề kiểm tra (Test information Function) là tổng các hàm thông tin của các câu hỏi có trong đề Từ định nghĩa hàm thông tin cũng cho thấy đề kiểm tra càng có nhiều câu hỏi thì giá trị của hàm thông tin càng cao, tức là đề kiểm tra có nhiều câu hỏi thường đánh giá năng lực sinh viên tốt hơn đề có ít câu hỏi Tùy theo tính chất của các câu hỏi tạo nên đề trắc nghiệm... với câu hỏi hoặc vấn đề được nêu ra trong câu dẫn; còn đối với câu hỏi Tự luận chú ý cách đặt câu hỏi ở các mức độ tư duy Khi viết xong câu hỏi cần đánh giá chất lượng câu hỏi trước khi đưa vào sử dụng Đánh giá câu hỏi nên phối hợp cả hai phương pháp là đánh giá theo tiêu chí và đánh giá dựa vào thống kê Đề kiểm tra là phương tiện đánh giá kết quả học tập của sinh viên sau khi học xong một chủ đề, một... các câu hỏi về một mặt bằng so sánh chung, những đề kiểm tra được xây dựng từ ngân hàng sẽ: - Không so sánh chính xác điểm số của học sinh với nhau - Không phát huy được những ưu điểm của ngân hàng câu hỏi - Không ra được những đề tương đương Thông thường người ta sử dụng lý thuyết Item Response Theory (IRT) để phân tích và đánh giá các tham số của câu hỏi 2 Đánh giá đề kiểm tra Khi đã xây dựng được đề. .. các đề kiểm tra này cần phải tương đương Giả thiết rằng các câu hỏi trong các đề kiểm tra này đều đã được định cỡ, tức là đã biết các tham số (độ khó, độ phân biệt …) Dựa vào lý thuyết IRT, người ta có thể xác định được đường cong đặc trưng và hàm thông tin của các đề kiểm tra này mà không cần dựa vào kết quả bài thi của sinh viên - Phương pháp dựa vào lý thuyết trắc nghiệm cổ điển: Để xét 2 đề kiểm tra. .. Khi đã xây dựng được đề kiểm tra, chúng ta cần đánh giá xem đề kiểm tra đó là dễ hay khó, điểm số thực có phân phối như thế nào … trước khi cho sinh viên làm bài Một số đặc tính của đề kiểm tra có thể xác định được nhờ lý thuyết IRT khi đã biết các tham số của câu hỏi của đề 2.1 Đường cong đặc trưng của đề kiểm tra Đường cong đặc trưng chính là đường cong điểm thực của đề kiểm tra Hình dưới đây biểu... trị mục tiêu: đề kiểm tra trắc nghiệm phải bám sát mục tiêu đào tạo, đồng thời phải xác định mục tiêu chúng ta cần đo là gì, mức độ nhận thức đến đâu Đề kiểm tra trắc nghiệm đạt được mục tiêu đề ra là đề kiểm tra có giá trị Trường Đại học Thăng Long 48 Kỷ yếu công trình khoa học 2014 – Phần I Về giá trị nội dung: một đề kiểm tra trắc nghiệm được coi là có giá trị nội dung khi các câu hỏi trong bài... điển và hiện đại là rất bổ ích Câu hỏi TNKQ sử dụng để đánh giá một khối lượng kiến thức lớn, phân tán và phủ kín cả mục tiêu dạy học, còn câu hỏi Tự luận lại được dùng để đánh giá trình độ suy luận của sinh viên Khi viết câu hỏi TNKQ cần lưu ý “Đáp án” là sự lựa chọn chính xác hoặc tốt nhất cho câu hỏi hoặc vấn đề mà bạn đưa ra, “Phương án nhiễu” là câu trả lời hợp lý (nhưng không chính xác) đối với câu. .. một đề kiểm tra, cũng gọi là đường cong điểm thực, có tiệm cận phải bằng điểm tối đa của toàn bộ đề Đường cong cho phép xác định điểm kỳ vọng mà một sinh viên có năng lực θ nào đó đạt được khi làm đề kiểm tra đang xét 2.2 Hàm thông tin của đề kiểm tra Mỗi một câu hỏi trắc nghiệm cung cấp một lượng thông tin nào đó về năng lực cần đo của các sinh viên Ở đây chúng ta sử dụng hàm “hàm thông tin của câu hỏi ... mềm … Đặc biệt về phương tiện dạy học, nhà trường đã trang bị các phòng học đa phương tiện, nhiều phần mềm, thư viện điện tử … Tuy nhiên việc kiểm tra, đánh giá hoạt động học tập của sinh viên chưa có sự thay đổi tương xứng, đặc biệt chưa cập nhật được lý thuyết đo lường hiện đại vào kiểm tra đánh giá Vì vậy, việc đề xuất các giải pháp đổi mới kiểm tra, đánh giá hoạt động học tập của sinh viên trong . trình và đánh giá tổng kết, đặc biệt có vai trò của Ngân hàng câu hỏi trong việc xây dựng đề kiểm tra. A. Viết câu hỏi và đánh giá câu hỏi 1. Viết câu hỏi Để xây dựng được đề kiểm tra, trước. trả lời đúng câu hỏi. Sau đây là đường cong đặc trưng của Câu hỏi số 24 ở trên. B. Xây dựng đề kiểm tra, đánh giá đề kiểm tra Định nghĩa đề kiểm tra: “Thông thường đề kiểm tra được hiểu. đề, một chương, một học kỳ hay toàn bộ chương trình của một lớp học, một cấp học. 1. Xây dựng đề kiểm tra 1.1 Xây dựng đề kiểm tra dựa trên lý thuyết trắc nghiệm cổ điển Xây dựng đề kiểm tra