ĐẠI HỌC SƯ PHẠM HÀ NỘI Trung tâm Đảm bảo chất lượng giáo dục Khảo thí Phương pháp biên soạn đề thi trắc nghiệm Nguyễn Bích Ngọc GĐ Trung tâm ĐBCLGD&KT Hà Nội – 04/2007 Các công cụ Đo thành học tập giáo dục Khoa học đo lường đánh giá giáo dục thường phân loại thi theo mục đích theo thang bậc chất lượng để đánh giá Chất lượng giáo dục thể qua lực người học sau hoàn thành khố học hay bậc học Có bốn thành tố tạo nên chất lượng lực, là: Khối lượng, nội dung trình độ kiến thức học, Kỹ kỹ xảo huấn luyện, Năng lực nhận thức lực tư đào tạo Phẩm chất nhân văn rèn luyện Mục tiêu kỳ thi Thi để xác nhận mức độ tiếp thu môn học (thi kết thúc mơn học) Đề thi tập trung kiểm tra kiến thức để đánh giá xem người học có lực nhận thức kỹ kỹ xảo thuộc môn học đạt đến mức độ Theo Bloom (1956): Có bậc nhận thức: nhớ, hiểu, vận dụng, phân tích, tổng hợp đánh giá; Có bậc kỹ kỹ xảo: bắt chước, hoàn thành, chuẩn hoá, phối hợp tự động hoá Thi để chứng nhận trình độ học vấn (thi hết khố) Đề thi mang tính chất tổng hợp, nhiều mơn, bao qt tồn chương trình khố học Tuỳ theo trình độ bậc học, tuỳ theo yêu cầu chất lượng mà nhằm đánh giá kiến thức (tốt nghiệp phổ thông) hay đánh giá lực (tốt nghiệp khố đào tạo) Thi để tuyển chọn (thi học giỏi, thi tuyển sinh, thi tuyển nhân sự) Đề thi nhằm đánh giá lực theo tiêu chí tuyển chọn dự kiến Một thi nhằm đồng thời hai, ba mục tiêu Khi đó, đề thi phải để đáp ứng lúc cho mục tiêu Mục tiêu đo lường (thi) đánh giá Mục tiêu đo lường (thi) đánh giá liên quan với theo lực nhận thức người thi bảng đây: STT Nội dung đánh giá Các mục tiêu thi (đánh giá) Đánh giá kiến thức Nhớ Tiếp thu mơn học Đánh giá lực Hiểu Vận dụng Phân tích Tổng hợp Đánh giá x x x x x x x x x x x x (hết mơn học) Trình độ học vấn (hết khoá, bậc học) Tuyển chọn (học giỏi, học viên, nhân sự) Mục tiêu đo lường (thi) đánh giá Tuỳ theo mục tiêu thi mà yêu cầu cao hay thấp hai số này: Thi để đánh giá tiếp thu mơn học trình độ học vấn độ khó độ phân biệt khơng cần cao thang điểm đánh giá khơng cần q chi tiết (thang điểm mức: A, B, C D hay thang điểm mức nhiều nước dùng) Thi để tuyển chọn lại cần độ khó độ phân biệt cao thang điểm tiết (thang điểm 100 hay 800 điểm) Kiểm tra, đánh giá kiểu trắc nghiệm Đánh giá (Evaluation) giáo dục Đánh giá trình đào tạo bao gồm loại đánh giá khác tuỳ theo mục tiêu đánh giá: 1/ Đánh giá chẩn đoán (Diagnostic evaluation): tiến hành trước đào tạo nhằm làm rõ điểm mạnh điểm yếu đầu vào sở đưa định tổ chức đào tạo cho hiệu chất lượng 2/ Đánh giá hình thành (Formative evaluation): tiến hành nhiều lần trình đào tạo nhằm cung cấp thông tin ngược để giáo viên học viên kịp thời điều chỉnh trình đào tạo 3/ Đánh giá tổng kết (Summative evaluation): tiến hành kết thúc q trình đào tạo nhằm cung cấp thơng tin chất lượng đào tạo Căn vào số đo tiêu chí xác định, việc đánh giá lực phẩm chất sản phẩm đào tạo để nhận định, phán đoán đề xuất định nhằm nâng cao không ngừng chất lượng đào tạo Kiểm tra, đánh giá kiểu trắc nghiệm Kiểm tra (Testing) / đánh giá kết (Assessment): Các trắc nghiệm thực lớp học cho điểm số Kết trắc nghiệm kết hợp với thơng tin khác q trình đào tạo phân tích đưa nhận xét người học, giảng dạy, chương trình, giáo trình, PP giảng dạy, v.v Dựa vào mục tiêu đánh giá khác để xây dựng trắc nghiệm khác nhau: Đánh giá mức độ thực Đáp ứng tiêu chí Đánh giá mức độ đạt chuẩn Xác định điểm mạnh, điểm yếu Đánh giá kết học tập Đánh giá mức độ thành thạo Đánh giá mức độ thành đạt Đánh giá trình học tập Đánh giá sản phẩm cuối Các kiểu trắc nghiệm (Test) giáo dục Các kiểu trắc nghiệm Quan sát Trắc nghiệm khách quan Trắc nghiệm tự luận Tiểu luận Diễn giải Khóa luận Luận án Viết Vấn đáp Ghép câu Đúng-sai Chọn trả lời Ghép câu Điền thêm Các đặc trưng trắc nghiệm tốt - Tính giá trị : Đo lường đánh giá điều cần đo - Độ tin cậy: Kết lặp lại điều kiện Thực thi điều kiện cho - Tính khả thi: - Tính định lượng: Kết biểu diễn số đo - Độ phân biệt : Phân biệt học sinh giỏi - Tính kinh tế : Tốn * Quan sát: Mang nặng tính chất định tính, hay dùng kiểm tra đánh giá kết thực hành * Vấn đáp: Vừa định tính vừa định lượng được, có độ xác tương đối cao, có giá trị đào tạo nhiều mặt: bổ xung kiến thức, rèn luyện lực tư khả diễn giải tức thời Có thể thiếu khách quan quan hệ cá nhân * Viết: Tùy theo mục đích yêu cầu viết đánh giá Trắc nghiệm khách quan Loại Đúng - Sai Thí dụ: 1.1 T Morơ ( 1478 -1535) người mở đầu trào lưu tư tưởng XHCN thời cận đại A Đúng B Sai 1.2 G Ba Bớp nhà tư tưởng XHCN Không tưởng người Pháp kỷ XVIII? A Đúng B Sai Xác định mục tiêu trọng số: Mục tiêu: Người chuẩn bị nội dung thi - kiểm tra phải trả lời câu hỏi sau đây: Mục đích thi-kiểm tra để đánh giá điều gì? Ví dụ: + Học viên phải vượt qua ngưỡng tối thiểu để học tiếp lên trên; + Để khảo sát trình độ khác tất học viên lớp; + Xác định thiếu xót riêng học viên nhằm giúp cho họ khắc phục Lúc phải xây dựng nhiều loại câu hỏi, theo cách trả lời câu hỏi, điểm số lúc thứ yếu Vấn đề phát khó khăn mà học viên gặp giúp cho họ khắc phục Hoặc là: Đề xuất tất mục tiêu, xét thứ tự ưu tiên cho mục tiêu Không nên nhằm nhiều mục tiêu lần thi kiểm tra Các mục tiêu có giá trị học viên, giáo viên, cán quản lý? Kết chủ yếu? Xác định mục tiêu trọng số: Ví dụ: Tùy theo mục đích, yêu cầu đặt mà người ta lựa chọn phương án có nhiều ưu điểm Chẳng hạn, kì thi tốt nghiệp trung học phổ thơng hay kì thi tuyển sinh vào đại học, cao đẳng có đơng thí sinh, địi hỏi phải giải tốt yêu cầu: 1) Có đủ thời gian để đề xác; đề thi cho phép tránh may rủi trúng tủ, trật tủ; 2) Tổ chức thi nhanh gọn; 3) Chống gian lận; 4) Chấm dễ dàng, nhanh chóng; điểm số xác; đảm bảo khách quan, công bằng; 5) Đánh giá lực thí sinh Xác định mục tiêu trọng số: Cách xác định trọng số cho chủ đề: Căn vào chủ đề để so sánh tuỳ theo tầm quan trọng chủ đề khác Chủ đề có cần thiết sử dụng hàng ngày sống công việc sau học viên hay không? Kế hoạch thời gian cho chủ đề Mức độ quan trọng chủ đề có liên quan đến môn học khác Cách xác định trọng số lực nhận thức lực thực hành Năng lực quan trọng (ở chủ đề này) có liên quan đến kết học tập học viên? Năng lực cần thiết để hình thành phát triển lực cao học viên Thời gian cần thiết để hình thành phát triển lực Bước 3: Viết câu trắc nghiệm Các câu trắc nghiệm bao gồm phần : câu chọn để trả lời Một câu dẫn + (Chỉ có câu cịn lại câu nhiễu) a Các nguyên tắc để lập câu dẫn: Câu dẫn câu nêu vấn đề cần ngắn gọn Câu dẫn phải mạch lạc, không dùng nhiều từ phủ định câu dẫn, dễ dẫn đến nhầm lẫn khẳng định phủ định b Các nguyên tắc để lập câu chọn : Câu phải xác, khơng gần suy đúng; Câu nhiễu phải có lí; Câu nhiễu có dạng giống câu đúng; Câu nhiễu nhiều xác suất đoán mị giảm (4 câu xác xuất đốn mị 0,25; câu 0,20 ) Bước 4: Lập đề thi trắc nghiệm Các đề thi trắc nghiệm lập cách tổ hợp câu hỏi trắc nghiệm soạn phân bố loại câu hỏi theo bảng trọng số (có thể sử dụng máy tính để thành đề thi ) Chú ý tránh nhiều trang dễ dẫn đến thiếu trang, nhầm trang, tốn Trong phịng thi nên dùng đề thi, cho thí sinh ngồi cạnh có đề khác nhau, tránh tiêu cực làm thi (cách trộn đề thi) III CHẤM BÀI THI TRẮC NGHIỆM Chấm sở tính phần trăm số câu trả lời so với tổng số câu câu hỏi, qui thang điểm 10 Xây dựng thang điểm chấm cần ý đến khả đốn mị thí sinh Việc chấm trở nên nhanh chóng sử dụng máy tính phần mềm chấm Có thể chấm theo kiểu đục lỗ đáp án (đó tờ giấy làm khác đục lỗ câu đúng, chấm, việc ấp lên làm thí sinh, đếm lỗ có dấu X, nhanh chóng ta tổng số số câu trả lời đúng) IV ĐÁNH GIÁ CÂU HỎI TRONG ĐỀ THI TNKQ Định kỳ đánh giá câu hỏi ngân hàng đề thi TNKQ để điều chỉnh bổ sung vào ngân hàng đề Chất lượng câu hỏi trắc nghiệm đánh giá thơng qua đại lượng Độ khó Độ phân biệt câu hỏi trắc nghiệm: Độ khó Tỷ lệ thí sinh trả lời cho ta số đo gần về độ khó câu hỏi Cơng thức cổ điển để tính độ khó : Số thí sinh làm FV (hoặc P) = x 100 (1) Tổng số thí sinh dự thi ĐÁNH GIÁ CÂU HỎI TRONG ĐỀ THI TNKQ Thang phân loại Độ khó qui ước sau : - Câu dễ : 70 - 100 % thí sinh trả lời - Câu coi tương đối khó -TB: 30 - 70 % thí sinh trả lời - Câu khó : - 30 % thí sinh trả lời Nên dùng câu trắc nghiệm có FV nằm khoảng : 25% < FV < 75% Ngoài khoảng, dùng cách chọn lọc tuỳ theo mục tiêu trắc nghiệm ĐÁNH GIÁ CÂU HỎI TRONG ĐỀ THI TNKQ Độ phân biệt Phân bố tỷ lệ thí sinh trả lời sai thí sinh thuộc nhóm nhóm cho ta số đo tương đối Độ phân biệt câu trắc nghiệm Số thí sinh làm - số thí sinh yếu làm DI = - x 100 (2) Tổng số thí sinh yếu - Tỷ lệ thí sinh nhóm nhóm trả lời Độ phân biệt Khơng - Tỷ lệ thí sinh nhóm trả lời nhiều nhóm Độ phân biệt Dương - Tỷ lệ thí sinh nhóm trả lời khơng nhiều nhóm Độ phân biệt Âm - Độ phân biệt liên quan mật thiết với độ khó số lượng câu hỏi đề thi trắc nghiệm ĐÁNH GIÁ CÂU HỎI TRONG ĐỀ THI TNKQ Phân tích đánh giá câu trắc nghiệm : Giả sử phân tích câu trắc nghiệm thứ X thi có câu b/ câu Các câu a/, c/, d/, e/ f/ câu nhiễu Kết thi 150 thí sinh trình bầy bảng sau : Câu trả lời a/ b/* c/ d/ e/ f/ Tổng số Nhóm 22 13 50 Nhóm trung bình 15 20 50 Nhóm 23 50 Tổng số : 20 42 52 26 10 150 Độ khó : ( 42 : 150 ) x 100 = 28 % = Câu hỏi khó Đánh giá trắc nghiệm 1- Độ tin cậy trắc nghiệm: Nếu kiểm tra người học lần khác đề trắc nghiệm tương đương, hệ số tương quan tỷ lệ người trả lời số người trả lời sai lần trắc nghiệm Độ tin cậy trắc nghiệm (công thức tính tương quan) Hệ số tương quan có giá trị khoảng (0-1) 2- Độ giá trị trắc nghiệm: Là số đo mức độ mà trắc nghiệm đo mục đích mà định đo, Độ giá trị trắc nghiệm 3- Phân tích thống kê thi TNKQ máy tính: Một thi trắc nghiệm, sau sử dụng cho thi, đánh giá thống kê, nhờ phần mềm soạn sẵn Bằng máy tính, sử dụng mơ hình Rasch với phần mềm chuyên dụng chương trình QUEST Úc, chương trình TITAN Malaysia hay chương trình CALFIT Mỹ giảm nhẹ nhiều cơng sức phân tích câu trắc nghiệm giáo viên Trên sở điều chỉnh bổ sung vào ngân hàng câu hỏi thi trắc nghiệm (gồm hàng trăm câu hỏi để tổ hợp thành đề thi trắc nghiệm theo bảng trọng số cho trước) Đánh giá trắc nghiệm 3- Phân tích thống kê thi TNKQ máy tính: Dựa vào việc phân tích kết thi: Các giáo viên điều chỉnh giảng dạy, hướng dẫn học tập, đồng thời hồn thiện đề thi có u cầu đáp ứng mục tiêu đánh giá Các học viên nhận biết mức độ kiến thức đạt thân để chủ động bố trí kế hoạch học tập, tham khảo tài liệu tự học, nhằm đạt kết cao Các cấp quản lý có để kiểm định, đánh giá đạo tổ chức đào tạo Do đề thi theo trọng số cho phần mơn học, nên thí sinh khơng học tủ, học lệch được, thày dạy phải đảm bảo đầy đủ phần môn học, không tự ý cắt xén chương trình Do số câu hỏi nhiều, phải chọn câu trả lời nên thí sinh phải tập trung làm với tốc độ cao cẩn trọng, nhờ giảm tiêu cực thi cử Do chấm nhanh, xác khách quan, nên áp dụng loại hình thi trắc nghiệm cho qui mơ đào tạo lớn thích hợp 3- Phân tích thống kê thi TNKQ máy tính: Những hạn chế: Chưa đánh giá đầy đủ lực diễn giải lực tư logic người thi nên cần kết hợp nhiều loại hình kiểm tra đánh giá trình đào tạo Việc xây dựng ngân hàng câu hỏi TNKQ đòi hỏi giáo viên có kỹ đề thi cao Khơng người đề cần phải nắm vững chuyên môn mà cịn phải có kinh nghiệm viết câu hỏi đánh giá mức nhận thức tư bậc cao người học ... 0,20 ) Bước 4: Lập đề thi trắc nghiệm Các đề thi trắc nghiệm lập cách tổ hợp câu hỏi trắc nghiệm soạn phân bố loại câu hỏi theo bảng trọng số (có thể sử dụng máy tính để thành đề thi ) Chú ý tránh... liên quan mật thi? ??t với độ khó số lượng câu hỏi đề thi trắc nghiệm ĐÁNH GIÁ CÂU HỎI TRONG ĐỀ THI TNKQ Phân tích đánh giá câu trắc nghiệm : Giả sử phân tích câu trắc nghiệm thứ X thi có câu b/... trang dễ dẫn đến thi? ??u trang, nhầm trang, tốn Trong phòng thi nên dùng đề thi, cho thí sinh ngồi cạnh có đề khác nhau, tránh tiêu cực làm thi (cách trộn đề thi) III CHẤM BÀI THI TRẮC NGHIỆM Chấm