MỞ ĐẦU Lý chọn đề tài Để nâng cao chất lượng giảng dạy đại học, việc đánh giá xác kết học tập sinh viên vấn đề quan trọng Trong thực trạng giáo dục đại học nhiều tiêu cực bất cập nay, việc áp dụng hình thức thi, kiểm tra trắc nghiệm khách quan biện pháp có hiệu cho phép đánh giá tương đối xác kết học tập sinh viên Khoa Công nghệ thông tin - Đại học Thái Nguyên trường đại học khác tích cực áp dụng hình thức thi trắc nghiệm khách quan cho khoảng 40% tổng số môn học, coi biện pháp nhằm đổi phương pháp kiểm tra đánh giá, nâng cao chất lượng giáo dục Tuy nhiên thực tế xảy chất lượng đề thi trắc nghiệm khách quan chưa bảo đảm độ giá trị độ tin cậy Do tơi lựa chọn đề tài “Đánh giá yếu tố ảnh hưởng đến chất lượng đề thi trắc nghiệm khách quan Khoa Công nghệ thông tin - Đại học Thái Nguyên” Thực tế việc xây dựng đề thi trắc nghiệm khách quan giao cho nhóm giáo viên phụ trách môn học thực Các giáo viên xây dựng đề hầu hết theo kinh nghiệm chủ quan mình, chưa trang bị đầy đủ kiến thức kỹ thiết kế đề thi trắc nghiệm Các đề thi giáo viên soạn thảo đưa vào ứng dụng trực tiếp, không qua trình thử nghiệm đánh giá Chính phân bố điểm thi khơng thể tính chuẩn, cịn có nhiều câu hỏi chất lượng Như biết, chưa có cơng trình nghiên cứu cụ thể vấn đề Vì chưa có kết luận xác độ tin cậy, độ giá trị đề thi trắc nghiệm khách quan yếu tố ảnh hưởng đến chất lượng đề trắc nghiệm Thực đề tài này, mong muốn đánh giá thực chất độ giá trị, độ tin cậy đề thi trắc nghiệm khách quan Nhà trường yếu tố ảnh hưởng đến chất lượng đề thi trắc nghiệm, từ giải pháp khắc phục Mục đích nghiên cứu đề tài Nghiên cứu hướng đến mục tiêu sau: - Đánh giá độ tin cậy đề thi trắc nghiệm khách quan - Đánh giá độ giá trị đề thi trắc nghiệm khách quan - Nghiên cứu yếu tố ảnh hưởng đến chất lượng đề trắc nghiệm Giới hạn nghiên cứu đề tài Đề tài giới hạn việc nghiên cứu, đánh giá độ tin cậy, độ giá trị 50 đề thi trắc nghiệm khách quan sử dụng Khoa CNTT - ĐHTN Nghiên cứu yếu tố ảnh hưởng đến việc xây dựng đề thi trắc nghiệm 50 giáo viên thông qua xử lý phiếu điều tra ý kiến kết hợp xử lý số liệu kết thi môn học tương ứng Phương pháp nghiên cứu 4.1 Câu hỏi nghiên cứu / giả thiết nghiên cứu Câu hỏi nghiên cứu đặt là: “Những yếu tố ảnh hưởng đến chất lượng đề trắc nghiệm” Các giả thiết nghiên cứu đặt yếu tố ảnh hưởng trực tiếp đến chất lượng đề: 1- Yếu tố thời gian đầu tư cho công việc: Là thời gian thực tế giáo viên dùng để nghiên cứu tài liệu biên soạn đề thi, quỹ thời gian nhà trường dành cho việc 2- Động người thực hiện: Là yếu tố say mê, hứng thú cá nhân giáo viên hay đơn giản phải hoàn thành nhiệm vụ 3- Mức độ người đề trang bị kỹ thuật thiết kế đề trắc nghiệm: Thể mức độ tập huấn, tự nghiên cứu kỹ thuật xây dựng đề thi trắc nghiệm 4- Sự quan tâm nhà trường: Thể khuyến khích, động viên tinh thần hay vật chất cụ thể 5- Tính chất nhóm mơn học: Là đặc thù nhóm mơn học đến việc đề trắc nghiệm (phù hợp hay khó thực hiện) 4.2 Khách thể đối tượng nghiên cứu Khách thể nghiên cứu số liệu kết thi 50 đề trắc nghiệm khách quan Khoa CNTT giáo viên trực tiếp xây dựng đề Đối tượng nghiên cứu yếu tố ảnh hưởng đến chất lượng đề thi trắc nghiệm 4.3 Phương pháp tiếp cận nghiên cứu Phương pháp lý thuyết: Căn vào quy định triển khai thực việc thi trắc nghiệm xây dựng ngân hàng thi trắc nghiệm Bộ GD&ĐT; Các lý thuyết đo lường đánh giá giáo dục Phương pháp điều tra khảo sát: Thực qua hai bước nghiên cứu sơ nghiên cứu thức - Nghiên cứu sơ bộ: Thực thông qua phương pháp định tính, sử dụng kỹ thuật thảo luận nhóm để bổ sung mơ hình - Nghiên cứu thức: Thực thông qua phương pháp nghiên cứu định lượng, sử dụng kỹ thuật thu thập thông tin qua việc vấn, lấy phiếu điều tra đối tượng giáo viên Mục đích nghiên cứu để sàng lọc biến quan sát, xác định thành phần giá trị độ tin cậy thang đo kiểm định mơ hình lý thuyết Phương pháp lấy ý kiến chuyên gia: Tham khảo ý kiến chuyên gia có kinh nghiệm giáo dục đại học đo lường đánh giá giáo dục Phương pháp thống kê toán học: Thu thập xử lý số liệu (gồm kết môn thi trắc nghiệm phiếu điều tra giáo viên đề thi trắc nghiệm) trình nghiên cứu phần mềm SPSS QUEST Những đóng góp luận văn Về mặt lý luận Kết nghiên cứu luận văn góp phần làm phong phú thêm lý luận phương pháp đánh giá kết học tập, kỹ thuật đánh giá chất lượng đề thi trắc nghiệm khách quan lý luận thiết kế, đánh giá công cụ đo lĩnh vực giáo dục đại học Về mặt thực tiễn Luận văn đánh giá thực trạng việc đề thi TNKQ trường đại học, đánh giá chất lượng thực tế 50 đề thi TNKQ Khoa Công nghệ Thông tin - Đại học Thái Nguyên Luận văn đặt vấn đề nghiên cứu yếu tố ảnh hưởng đến chất lượng đề thi TNKQ mà chủ yếu yếu tố tác động trực tiếp đến người đề Trong phạm vi nghiên cứu, luận văn xây dựng công cụ đo mẫu phiếu hỏi để đánh giá yếu tố ảnh hưởng đến chất lượng đề TNKQ Luận văn đưa quy trình xây dựng đánh giá chất lượng ngân hàng đề thi TNKQ đề xuất biện pháp nhằm làm tăng chất lượng đề thi TNKQ nhà trường Chương CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN 1.1 Các khái niệm chất lượng đề thi trắc nghiệm 1.1.1 Các công cụ đo lường kết học tập 1.1.1.1 Phương pháp quan sát Quan sát giúp xác định cử chỉ, thái độ, hành vi, phản ứng, thao tác thực hành, kĩ thực hành số kĩ nhận thức khác người kiểm tra Phương pháp chủ yếu mang tính chất định tính nên thường dùng đánh giá kết thực hành 1.1.1.2 Phương pháp vấn đáp Vấn đáp (hỏi trả lời) dùng lời không dùng lời Đối với trắc nghiệm không dùng lời người hỏi dùng điệu bộ, phim, tranh ảnh , người trả lời dùng lời không Phương pháp dùng lời phổ biến mà hay gọi kiểm tra vấn đáp Phương pháp vừa định tính vừa định lượng, độ xác tương đối cao, có giá trị nhiều mặt Nó thích hợp với người dạy người học, đặc biệt có lợi kiểm tra xử lí tình huống, rèn phản ứng nhanh nhạy cho HS Tuy nhiên phương pháp khơng thích hợp cho việc đánh giá phổ rộng với khối lượng lớn kiến thức, nhiều HS thời gian ngắn Câu hỏi để HS trả lời đa số nằm nội dung hẹp 1.1.1.3 Phương pháp kiểm tra viết Đây hình thức dùng phổ biến dạy học Kiểm tra theo kiểu có ưu điểm sau: - Cho phép kiểm tra nhiều HS lần - Cung cấp ghi rõ ràng câu trả lời thí sinh dùng cho việc chấm điểm - Cho phép thí sinh cân nhắc trước trả lời câu hỏi, kiểm tra phát triển trí tuệ mức cao - Dễ quản lí thân người chấm khơng tham gia trực tiếp thời gian kiểm tra 1.1.2 Trắc nghiệm vấn đề liên quan 1.1.2.1 Khái niệm trắc nghiệm Trắc nghiệm “test” tiếng Anh có nghĩa “sự khảo sát thử phẩm chất người vật”; cịn tiếng Hán “trắc” có nghĩa “đo lường”, “nghiệm” có nghĩa “suy xét, chứng thực” 1.1.2.2 Trắc nghiệm tự luận trắc nghiệm khách quan Trắc nghiệm viết bao gồm hai loại: trắc nghiệm tự luận trắc nghiệm khách quan - Trắc nghiệm tự luận (Essay test) Trắc nghiệm tự luận bao gồm nhiều dạng khác nhìn chung HS diễn đạt tư tưởng, câu văn nhờ kiến thức kinh nghiệm học tập có Phương pháp đo khả suy luận phát huy óc sáng tạo, khéo léo giải vấn đề HS, khuyến khích HS thói quen suy diễn, phân tích, tổng hợp, khái qt hố, tạo điều kiện cho HS luyện cách diễn đạt, sử dụng từ ngữ Việc soạn câu hỏi dạng khơng khó khăn Tuy nhiên, nhược điểm phương pháp khó chấm điểm, tính khách quan khơng cao nên độ tin cậy thấp Mặt khác, đề thi kiểm tra nội dung kiến thức - Trắc nghiệm khách quan (Objective test) Trắc nghiệm khách quan dạng trắc nghiệm câu hỏi có kèm theo câu trả lời sẵn Loại câu hỏi cung cấp cho HS phần hay tất thơng tin cần thiết địi hỏi HS phải chọn câu để trả lời cần thêm vài từ Đây phương pháp có khả đánh giá mức độ nhận thức Gọi khách quan hệ thống cho điểm khách quan Kết qủa trắc nghiệm không phụ thuộc vào việc chấm trắc nghiệm 1.1.2.3 Những nguyên tắc chung trắc nghiệm Trắc nghiệm thực cách có hiệu dựa số nguyên tắc sau: - Xác định rõ mục tiêu đo lường - Làm rõ nội dung cần phải đo lường - Lựa chọn kĩ thuật trắc nghiệm phải dựa mục đích đánh giá Khơng nên lựa chọn trắc nghiệm thuận tiện, dễ sử dụng, quen thuộc với nhiều người Điều quan trọng việc lựa chọn kĩ thuật trắc nghiệm giáo dục liệu có đo cách hiệu cần đo hay khơng - Việc đánh giá tổng quát đòi hỏi phải sử dụng nhiều kĩ thuật phương pháp đánh giá khác khơng có phương pháp đánh giá thực toàn yêu cầu đánh giá - Muốn sử dụng cách thích hợp hiệu hình thức trắc nghiệm phải hiểu ưu điểm hạn chế Trắc nghiệm phương pháp đánh giá khác ln có sai số gắn cho kết trắc nghiệm giá trị tuyệt đối - Trắc nghiệm phương tiện sử dụng để thu thập thơng tin q trình dạy học Không nên quan niệm cần thông qua trắc nghiệm mà chất lượng dạy học đương nhiên cải thiện 1.1.3 Độ tin cậy câu hỏi trắc nghiệm Xem xét mơ hình lý thuyết độ tin cậy Để xác định độ tin cậy phép đo, ta phải xuất phát từ tiền đề có tính giả thiết phép đo đo lường đặc tính tương đối ổn định thân phép đo phải có tính ổn định tương đối, không thay đổi lần đo khác Bởi khơng có phương pháp đo đạc có giá trị khơng đo có tính ổn định tương đối thân phép đo phải có tính ổn định, khơng thay đổi lần đo khác Như vậy, thang đo có độ tin cậy tốt xác định phép đo người đạt số điểm tương tự lần đo khác Các lý thuyết trắc nghiệm cho điểm số trắc nghiệm đo lường đặc tính, phẩm chất hay lực cá nhân điểm thực cá nhân cộng với điểm sai số đo lường X=T+E X: Điểm trắc nghiệm T: Điểm thực E: Điểm sai số phép đo Điểm thực xác định điểm trung bình vơ số lần đo trắc nghiệm cá nhân Còn điểm sai số phép đo khác biệt lần đo yếu tố cá nhân (động cơ, xúc cảm, tâm lý ) yếu tố tình huống, hồn cảnh ảnh hưởng (môi trường, tiếng ồn, lời hướng dẫn ), chưa đo điểm thực cá nhân cách thực xác Như vậy, để phân tích độ tin cậy trắc nghiệm người ta phải dựa vào kết làm trắc nghiệm nhóm người (điểm trắc nghiệm mẫu) nhằm nhận diện tỷ lệ thành phần điểm thực điểm sai số kết điểm trắc nghiệm nhóm Nói cách khác, phân tích độ tin cậy tìm cách xác định mức độ khác biệt điểm số trắc nghiệm phản ánh khác biệt điểm thực nhóm người làm trắc nghiệm Do để đánh giá độ tin cậy trắc nghiệm, người ta phải giả thiết phương sai điểm số đo trắc nghiệm nhóm đối tượng (mẫu) phải phương sai điểm số thực cộng với phương sai điểm sai số lần đo theo công thức σ2X = σ2T + σ2E σ2X: Giá trị phương sai điểm trắc nghiệm σ2T : Giá trị phương sai điểm thực σ2E : Giá trị phương sai điểm sai số phép đo Khi độ tin cậy trắc nghiệm xác định hệ số tương quan (RXX) biểu thị tỷ lệ hay phần trăm phương sai điểm trắc nghiệm theo công thức R XX = σT σ2 = T 2 σ X σT +σ E Một trắc nghiệm có độ tin cậy phải có tỷ lệ lớn phương sai điểm trắc nghiệm thuộc khác biệt điểm thực (ngược laị, trắc nghiệm khơng có độ tin cậy có tỷ lệ lớn phương sai điểm trắc nghiệm thuộc khác biệt điểm sai số phép đo) [4] Các phương pháp đánh giá độ tin cậy phép đo Theo lý thuyết đánh giá, có bốn phương pháp để đánh giá độ tin cậy phép đo - Nhóm phương pháp đánh giá mức độ kiên định điểm số hai lần đo (test-retest methods) - Nhóm phương pháp sử dụng form thay tương đương (alternate form methods) - Nhóm phương pháp phân đơi số item trắc nghiệm (split-half methods) - Nhóm phương pháp đánh giá độ phù hợp item (internal consistency methods) Đối với nhóm phương pháp thứ nhất: Để đánh giá độ tin cậy trắc nghiệm người ta thường so sánh tương quan điểm hai lần đo trắc nghiệm đối tượng (test-retest correlation) Một trắc nghiệm có độ tin cậy phải có tính ổn định, tức có tương quan chặt hai lần đo Nếu trắc nghiệm thiết kế theo thang định khoảng hay thang tỷ lệ mối quan hệ điểm số trắc nghiệm hai lần đo quan hệ tuyến tính, áp dụng tương quan Pearson (Pearson correelation coeficient) để đánh giá hệ số tin cậy trắc nghiệm Nếu trắc nghiệm thiết kế theo thang định hạng mối quan hệ điểm số trắc nghiệm hai lần đo khơng tuyến tính ta dùng tương quan Spearman (Spearman rank correlation coefficent) để đánh giá hệ số tin cậy trắc nghiệm Đối với nhóm phương pháp thứ hai: Trong trắc nghiêm, sử dụng hai form tương đương có hình thức, câu chữ khác có nội dung giống tương đương có đặc tính thống kê tương đương Tương quan điểm số lần đo thứ (ứng với form A) lần đo thứ hai (ứng với form B) xem hệ số tin cậy trắc nghiệm Phương pháp tốn khó thiết kế trắc nghiệm có nhiều form hồn tồn tương đương Nhóm phương pháp thứ ba: Thường dùng để đánh giá độ tin cậy trắc nghiệm ta khơng có điều kiện đo trắc nghiệm hai lần đối tượng không thiết kế trắc nghiệm tương đương, phương pháp phân đôi số item trắc nghiệm thành hai phần (thường chia theo số chẵn số lẻ) so sánh tương quan điểm hai nửa trắc nhiệm Đây gọi phương pháp tính độ tin cậy phân đôi trắc nghiệm (split-half reliablity) Về lý thuyết, hai nửa trắc nghiệm xem hai form tương đương trắc nghiệm Do tương quan điểm số hai nửa xem hệ số tin cậy trắc nghiệm Cơng thức tính sau R XOXE = ( )( ) (ΣXOXE) - XO X E (σ XO )(σ XE ) XO: Các item số lẻ XE: Các item số chẵn Tất nhiên sử dụng công thức hệ số tin cậy giảm so với hệ số tin cậy thật trắc nghiệm trắc nghiệm vốn có số item gấp hai lần (trắc nghiệm có nhiều item độ tin cậy cao) Ta sử dụng công thức chuyển hệ số độ tin cậy phân đôi thành hệ số độ tin cậy tồn trắc nghiệm gọi cơng thức Spearman - Brown prophesy R= ( N )( R XX ) + ( N − 1)( R XX ) N=2 R: Hệ số tin cậy (đã điều chỉnh) RXX Hệ số tin cậy (hệ số tin cậy phân nửa trắc nghiệm, chưa điều chỉnh) Nhóm phương pháp thứ tư: Thường dùng để đánh giá độ tin cậy trắc nghiệm phương pháp đánh giá độ phù hợp item (internal consistency methods) sử dụng mô hình hệ số tương quan alpha (Cronbach’s Coeficient Alpha) Mơ hình đánh giá độ tin cậy phép đo dựa tính tốn phương sai item tồn phép đo tính tương quan điểm item với điểm tổng item lại phép đo Phương pháp thích hợp với loại trắc nghiệm thiết kế với điểm số theo thang định khoảng hay thang tỷ lệ Công thức tính R XX = α = Σσ K (1 − 2i ) K −1 σX RXX Hệ số tương quan α K - Số item trắc nghiệm σ2i - Giá trị phương sai item cụ thể trắc nghiệm σ2X - Giá trị phương sai toàn trắc nghiệm Σσ2i -Tổng giá trị phương sai tất item trắc nghiệm 1.1.4 Độ giá trị (hiệu lực) câu hỏi trắc nghiệm Độ giá trị đặc trưng quan trọng đánh giá trắc nghiệm Mỗi trắc nghiệm khơng có độ giá trị mà có nhiều kiểu giá trị (hiệu lực) khác độ giá trị hiểu liệu điều tra cách khoa học ý nghĩa trắc nghiệm đo lường Các phương pháp để đánh giá độ giá trị trắc nghiệm Mặc dù độ giá trị nội dung độ giá trị cấu trúc nói lên mức độ hiệu lực phép đo lường việc đánh giá trắc nghiệm có độ giá trị nội dung tốt hay không người ta lại xem xét nội dung trắc nghiệm, phân tích q trình thiết kế item hiệu lực hố item trắc nghiệm Trong đó, để đánh giá độ giá trị cấu trúc người ta phân tích mối quan hệ cấu trúc thành phần trắc nghiệm với cấu trúc thiết kế để đo xem xét mối quan hệ điểm trắc nghiệm với điểm phép đo khác - Độ giá trị nội dung trắc nghiệm tính hiệu lực tính đại diện item (các item có nội dung phù hợp với nội dung cụ thể cần đo số cụ thể, thuộc miền đo cụ thể) - Độ giá trị cấu trúc trắc nghiệm liên quan tới mức độ qua trắc nghiệm đánh giá phép đo mặt cấu trúc (phép đo có cấu trúc trùng với cấu trúc định đo) Những yếu tố ảnh hưởng đến độ giá trị trắc nghịêm Đánh giá độ giá trị trắc nghiệm thực chất trả lời câu hỏi “Liệu trắc nghiệm có đo cần đo hay khơng”? Trên sở ta thấy độ giá trị phụ thuộc vào yếu tố sau: - Trước hết độ tin cậy trắc nghiệm ảnh hưởng đến độ giá trị, độ tin cậy thấp hạn chế độ giá trị Bất yếu tố ảnh hưởng đến độ tin cậy ảnh hưởng đến độ giá trị - Độ khó item, độ phân biệt item gián tiếp ảnh hưởng đến độ giá trị Tính đồng item ảnh hưởng đến độ giá trị - Những đặc tính mẫu (quy mơ mẫu, tính đại diện mẫu ) ảnh hưởng đến độ giá trị trắc nghiệm - Độ tin cậy độ giá trị phép đo chuẩn (dùng đánh giá độ giá trị tiêu chuẩn trắc nghiệm) 1.2 Quy trình xây dựng đề thi trắc nghiệm khách quan Về mặt nguyên tắc lý thuyết, xây dựng đề thi TNKQ theo nhiều kiểu (ghép đôi, điền khuyết, nhiều lựa chọn…) Tuy nhiên đặt vấn đề xây dựng ngân hàng câu hỏi TNKQ chuyên gia lĩnh vực cho nên chọn hình thức câu hỏi TNKQ đa lựa chọn (với bốn năm lựa chọn) Trong phạm vi nghiên cứu luận văn, giới hạn việc nghiên cứu với đối tượng ngân hàng câu hỏi TNKQ dạng đa lựa chọn 1.2.1 Các quy tắc viết câu hỏi trắc nghiệm nhiều lựa chọn Đây loại câu hỏi TNKQ ưa chuộng Một câu hỏi loại gồm phần phát biểu chính, thường gọi phần dẫn, hay câu hỏi bốn đến năm phương án trả lời sẵn để thí sinh chọn câu trả lời nhất, hay hợp lý Ngoài câu đúng, câu trả lời khác phương án chọn phải hợp lý thí sinh Khi soạn thảo câu hỏi TNKQ cần tuân thủ nguyên tắc sau: - Phần chính, hay câu dẫn câu hỏi phải diễn đạt rõ ràng vấn đề Các câu trả lời để chọn phải câu thích hợp với vấn đề nêu Nên tránh dùng câu câu hỏi loại “Đúng - Sai” không liên hệ chung chỗ - Phần chính, hay câu dẫn câu hỏi nên mang trọn ý nghĩa câu hỏi phần câu trả lời để chọn nên ngắn gọn Muốn tiết kiệm khoảng in câu hỏi thời gian cho học sinh đọc câu hỏi, chi tiết cần thiết nên đặt vào phần hay câu dẫn, để câu trả lời lựa chọn ngắn - Nên bỏ bớt chi tiết khơng cần thiết Khi mục đích câu hỏi trắc nghiệm khả nhận biết kiện đoạn văn, ta nên loại bỏ chữ không cần thiết để diễn đạt ý nghĩa câu hỏi - Nên tránh dùng hai thể phủ định liên tiếp hai chữ “Không “ câu hỏi - Các câu trả lời để chọn lựa phải hợp lý Nếu phương án chọn lựa sai, thí sinh dễ dàng loại bỏ - Phải chắn có câu trả lời Khi viết câu hỏi nên mời giáo viên nhóm mơn học góp ý sửa chữa điểm sai hay chỗ tối nghĩa - Khi câu hỏi đề cập đến vấn đề gây nhiều tranh luận, ý nêu câu hỏi phải xác định nguồn gốc, hay định rõ chuẩn để xét đoán - Độ dài câu trả lời đáp án để chọn phải gần Khơng nên để câu có khuynh hướng ngắn hay dài phương án trả lời khác - Các câu trả lời phương án phải đồng với Tính từ đồng dựa ý nghĩa, âm thanh, độ dài, động từ, tính từ hay danh từ - Không nên đặt vấn đề không xảy thực tế nội dung câu hỏi - Các câu hỏi nhằm đo hiểu biết, suy luận, hay khả áp dụng nguyên lý vào vào trường hợp nên trình bày hình thức Nếu nội dung câu hỏi giống hay tương tự thí dụ sách giáo khoa, trình bày lớp, câu trả lời nhờ vận dụng trí nhớ nhờ khả tư khác mà ta cần thẩm định - Lưu ý điểm liên hệ văn phạm giúp học sinh nhận biết cách trả lời - Cẩn thận dùng hai câu trả lời hai phương án có sẵn có hình thức hay ý nghĩa trái nhau, hai câu câu trả lời Khi có hai câu trái số phương án cho sẵn để chọn, thí sinh nghĩ không lẽ hai câu sai, nên tập trung vào hai câu này, câu hỏi trở nên có dạng hai phương án để chọn Do thích, đưa bốn câu có ý nghĩa trái đơi - Cẩn thận dùng cụm từ “ Không câu đúng” “Tất phương án đúng” phương án để chọn, mặt văn phạm mệnh đề thường không ăn khớp với câu hỏi - Câu trả lời hay hợp lý phải đặt vị trí khác số lần tương đương - Tránh dùng thể phủ định câu hỏi Người ta thường nên nhấn mạnh khía cạnh xác định khía cạnh phủ định kiến thức Khi bắt buộc phải dùng từ này, nên gạch hay in đậm để học sinh ý 1.2.2 Xây dựng bảng trọng số mơn học Để đề thi đánh giá mục tiêu môn học, cấu trúc đề thi phải xây dựng phù hợp với cấu trúc môn học yêu cầu khối lượng kiến thức tương ứng Mỗi đề thi xây dựng phục vụ cho mục đích định Tuỳ theo mục đích thi người viết đề thi phải thiết kế số câu hỏi thể loại câu hỏi phù hợp tương ứng Vì trước xây dựng đề thi cần xác định mục đích cụ thể đề thi Mục đích đề thi phải định nội dung kiến thức cấp độ kiến thức 10 cần kiểm tra (cấp độ kiến thức tương ứng với thang bậc lực nhận thức) Tất yêu cầu thể bảng trọng số đề thi Về mặt nguyên tắc, đề thi TNKQ hết học phần bao phủ hết nội dung kiến thức môn học, bảng trọng số đề thi tương ứng với bảng trọng số kiến thức môn học 1.2.3 Xây dựng ngân hàng đề thi trắc nghiệm cho môn học Để thực việc triển khai thi TNKQ cách rộng rãi địi hỏi phải có ngân hàng câu hỏi TNKQ Đây sở liệu để xây dựng đề thi cách độc lập, có độ tin cậy, độ bao phủ kiến thức đồng cho lần thi Vừa nguồn liệu cho sinh viên giáo viên học tập Việc tiến hành xây dựng ngân hàng câu hỏi thi phải theo quy trình nguyên tắc kiểm tra đánh giá trình bày Cụ thể phải tiến hành theo bước sau: Xác định rõ mục tiêu đào tạo giai đoạn cần kiểm tra đánh giá Các chuyên gia chuyên ngành kết hợp chuyên gia kiểm tra đánh giá xây dựng cấu trúc đề thi, bảng trọng số, hình thức thể loại thi riêng phù hợp cho chuyên ngành theo yêu cầu giai đoạn Hội thảo để lấy ý kiến cấu trúc đề thi, bảng trọng số, hình thức thể loại thi vừa xây dựng thẩm định, công nhận sản phẩm Các chuyên gia chuyên ngành soạn thảo câu hỏi thi theo bảng trọng số cấu trúc thi xây dựng thông qua Nghiệm thu câu hỏi thô Loại bỏ câu hỏi không đạt chuẩn quy định chung Sửa lại số câu cho phù hợp, viết bổ sung số câu hỏi Thử nghiệm để lấy kết đánh giá hoàn thiện câu hỏi thi Lưu trữ câu hỏi thi theo lĩnh vực kiến thức độ dễ khó khác ngân hàng liệu Trước tổ chức thi chuyên gia theo yêu cầu mục tiêu đào tạo đợt thi tổ hợp đề thi theo yêu cầu độ khó câu hỏi thi yêu cầu kiến thức sinh viên cần đạt 10 Sau thi, kết thi phải phân tích xử lý đánh giá để có thơng tin phản hồi nêu quy trình nguyên tắc kiểm tra đánh giá 11 Sau có kết xử lý phân tích, câu hỏi thi hồn thiện lại 12 Hàng năm có tổ chức viết thêm câu hỏi thi để bổ sung ngân hàng liệu đồng thời loại bỏ câu hỏi khơng cịn phù hợp với phát triển mục tiêu đào tạo lực thực sinh viên giai đoạn 11 Chương PHƯƠNG PHÁP NGHIÊN CỨU 2.1 Những định hướng, trọng tâm nghiên cứu 2.1.1 Chuyên đề nghiên cứu thứ Để đánh giá yếu tố ảnh hưởng đến chất lượng đề thi TNKQ, luận văn phải xuất phát từ việc đánh giá chất lượng đề thực tế sử dụng nhà trường qua xử lý số liệu kết thi môn học (50 môn học) Từ kết thi xử lý lý thuyết đo lường đánh giá cho phép kết luận sơ chất lượng đề (về độ tin cậy, độ giá trị…) Nghiên cứu thực phương pháp thống kê phân tích, xử lý số liệu phần mềm SPSS, QUEST, kết hợp với phương pháp chuyên gia qua việc thẩm định độ giá trị nội dung, độ gía trị cấu trúc… đề thi 2.1.2 Chuyên đề nghiên cứu thứ hai Xuất phát từ thực tế đề thi TNKQ nhà trường có chất lượng khơng giống Câu hỏi đặt “Vậy yếu tố ảnh hưởng đến chất lượng đề thi TNKQ”? Có thể bỏ qua yếu tố điều kiện bên ngoài, ta nhận thấy yếu tố ảnh hưởng lớn từ phía người xây dựng đề thi Bằng kinh nghiệm thực tiễn công tác tham khảo ý kiến chuyên gia lĩnh vực đo lường đánh giá giáo dục, tác giả mạnh dạn đề xuất công cụ đo yếu tố ảnh hưởng đến chất lượng đề thi TNKQ thực nhóm mẫu giáo viên tham gia xây dựng đề thi Chất lượng đề thi nói chung phụ thuộc nhiều yếu tố chủ yếu trực tiếp yếu tố tác động đến thân người đề Trong điều kiện giảng dạy nay, khái quát thành nhóm yếu tố giả thuyết có ảnh hưởng đến người đề, là: - Thời gian đầu tư cho công việc thiết kế trắc nghiệm - Động người thiết kế trắc nghiệm - Mức độ người đề trang bị kỹ thuật thiết kế trắc nghiệm - Sự quan tâm nhà trường - Tính chất, đặc điểm nhóm mơn học Từ nhóm yếu tố tác động trên, luận văn xây dựng mẫu phiếu hỏi, lấy thông tin từ nhóm giáo viên xây dựng đề Lưu ý phiếu đánh dấu tương ứng với chất lượng đề thi cá nhân Với kết xử lý 50 mẫu phiếu điều tra yếu tố có tương quan chặt nhóm yếu tố thăm dò 2.1.3 Chuyên đề nghiên cứu thứ ba Trên sở kết hai nghiên cứu nói trên, ta tiến hành đánh giá tương quan lượng hoá thành số mẫu phiếu đánh giá chất lượng đề thi nhóm mẫu kết thi Từ cho kết luận cụ 12 thể mối quan hệ nhóm yếu tố ảnh hưởng chất lượng đề thi Những đánh giá thực bảng trụ xoay (crosstab) kết hợp với phương pháp chuyên gia Với phân tích trên, sau thực xong ba chuyên đề nghiên cứu, đặc biệt chuyên đề nghiên cứu thứ ba, luận văn yếu tố ảnh hưởng thực tới chất lượng xây dựng đề thi TNKQ, từ có đề xuất giải pháp nhằm cải thiện chất lượng xây dựng đề thi nhà trường 2.2 Thiết kế mẫu phiếu điều tra giáo viên Để thuận tiện việc lượng hố item phiếu hỏi, chúng tơi sử dụng thang bậc đánh giá theo mức độ đồng ý với 27 item phiếu hỏi phát biểu thuận chiều, 03 phát biểu phát biểu nghịch chiều (khi xử lý phải đổi điểm ngược lại) 03 phát biểu mở (cung cấp thông tin đánh giá phương pháp chuyên gia) Trong bảng hỏi, nhóm yếu tố kể chia thành 30 item theo cấu trúc sau: - Thời gian đầu tư cho công việc: 03 item - Động người thực hiện: 05 item - Mức độ trang bị kỹ thuật : 16 item - Sự quan tâm nhà trường: 03 item - Tính chất nhóm mơn học: 03 item Qua phân bố item cấu trúc trên, dễ nhận thấy yếu tố thứ “Mức độ nắm vững kỹ thuật đề TNKQ giảng viên” có trọng số lớn Điều nhận định chủ quan mà xây dựng kinh nghiệm cá nhân, thăm dị dư luận đám đơng ý kiến chuyên gia có kinh nghiệm đo lường đánh giá giáo dục Chương XỬ LÝ SỐ LIỆU THI VÀ KẾT QUẢ PHIẾU ĐIỀU TRA 3.1 Xử lý số liệu kết thi TNKQ 3.1.1 Phân tích độ khó item Độ khó item dùng để tạo phân biệt người làm trắc nghiệm Mức độ khó item định nghĩa dựa tỷ lệ người trả lời item Phân tích độ khó item phù hợp cho trắc nghiệm đánh giá thành tích hay khiếu, trắc nghiệm cho phép bộc lộ tối đa lực người làm trắc nghiệm Phân tích độ khó khơng phù hợp cho trắc nghiệm đánh giá nhân cách hay quan điểm thái độ Độ khó item trực tiếp ảnh hưởng đến độ tin cậy độ giá trị (hiệu lực) trắc nghiệm Ví dụ, trắc nghiệm có 50 item có 20 item khó (tất sinh viên nhận điểm item này) Như 13 vậy, phân bố điểm trắc nghiệm gồm 50 item giống phân bố điểm trắc nghiệm gồm 30 item Khi đó, độ khó item thực làm giảm độ dài trắc nghiệm Về mặt lý thuyết, độ dài trắc nghiệm giảm làm giảm độ tin cậy trắc nghiệm làm giảm độ hiệu lực trắc nghiệm [4] Cơng thức tính độ khó item: P = (Số người trả lời item) / N P: Độ khó item N: Tổng số người trả lời item P có gía trị từ 0,0 đến 1,0 Giá trị P gần 0,0 độ khó item tăng Ngược lại, giá trị P gần 1,0 độ khó giảm Độ khó item khơng phải có giá trị cố định mà ngược lại trắc nghiệm làm với mẫu đó, ta lại có giá trị xác định Độ khó thay đổi tuỳ thuộc vào trình độ, lực người làm trắc nghiệm Một item có độ khó phù hợp P nằm xung quanh 0,5 Tuy nhiên, để đánh giá độ khó item phù hợp cho trắc nghiệm cần vào mục đích trắc nghiệm kiểu item Những item dễ làm người có điểm item đó, khác người đạt điểm cao (được xem có lực tốt nhất) người có điểm thấp (được xem có lực tồi nhất) có điểm ngang item độ phân biệt có giá trị gần Điều ảnh hưởng đến độ hiệu lực trắc nghiệm 3.1.2 Phân tích độ phân biệt item Phân tích độ phân biệt mức độ khác biệt cách trả lời item mẫu người khác Không giống phân tích độ khó, phân tích độ phân biệt thích hợp cho hầu hết kiểu trắc nghiệm Một item có độ phân biệt tốt trả lời item đó, hầu hết người có điểm trắc nghiệm cao trả lời đúng, đồng thời người có điểm trắc nghiệm thấp trả lời sai Có nhiều kỹ thuật đánh giá độ phân biệt item, nhiên xem có hai cách thường sử dụng nhất: - Đánh giá số phân biệt item (item discrimination index) - Đánh giá tương quan điểm item với điểm trắc nghiệm (item – total correlation) Độ phân biệt xác định từ kết so sánh điểm trắc nghiệm hai nhóm người có điểm số cao thấp rút từ hai mẫu riêng rẽ từ mẫu Nếu lấy từ mẫu chọn (khoảng 1/3 hay 1/4 ) số người làm trắc nghiệm có điểm cao số người làm trắc nghiệm có điểm thấp Sau xác định hai nhóm có điểm cao điểm thấp, tính tỷ lệ % số người trả lời item cho nhóm Chỉ số phân biệt item tính theo cơng thức sau: 14 Số người trả lời Số người trả lời nhóm điểm cao nhóm điểm thấp D = - Tổng số người trả lời Tổng số người trả lời nhóm điểm cao nhóm điểm thấp D: Độ phân biệt item Với trắc nghiệm đánh giá lực, ta giải thích thay đổi giá trị D sau: Nếu item có câu trả lời khó cho người nhóm điểm thấp mà dễ cho người nhóm điểm cao, số D tiếp cận 1,0 (item có độ phân biệt lý tưởng) Nếu item có câu trả lời khó ngang cho hai nhóm số D tiếp cận 0,0 (item khơng có độ phân biệt hay độ phân biệt kém) Nếu item có câu trả lời dễ cho người nhóm điểm thấp mà lại khó cho nhóm người điểm cao số phân biệt D tiếp cận – 1,0, item có độ phân biệt lý tưởng không giống mong đợi Theo chuyên gia lĩnh vực số phân biệt item, coi thích hợp D lớn 0,3 Những item có số phân biệt nhỏ 0,2 nên viết lại Phương pháp đánh giá độ phân biệt cách đánh giá tương quan item toàn trắc nghiệm Nếu trắc nghiệm item đo đặc tính hay cấu trúc điểm trả lời item tương quan với tổng số điểm trắc nghiệm Cũng vậy, item đo đặc tính hay cấu trúc chúng tương quan với Cơng thức tính tương quan điểm item điểm trắc nghiệm sau: R XY = (∑ XY / N ) − ( X )(Y ) (σ X )(σ Y ) X: Điểm item phân tích Y: Điểm tổng item lại (điểm trắc nghiệm) X : Điểm trung bình item phân tích Y : Điểm trung bình trắc nghiệm σX : Độ lệchchuẩn điểm item phân tích σY : Độ lệch chuẩn điểm trắc nghiệm Giá trị hệ số tương quan tiệm cận 1,0 chứng tỏ item trắc nghiệm có tính đồng cao, tức đo đặc tính Với trắc nghiệm đánh giá lực, giá trị tương quan gần 1,0 cho biết có nhiều người có điểm trắc nghiệm cao trả lời item Ngược lại giá trị tương quan gần -1,0 cho biết có nhiều người có điểm trắc nghiệm thấp trả lời item 15 3.1.3 Đánh giá độ tin cậy trắc nghiệm Việc phân tích độ khó, độ phân biệt item trắc nghiệm có tính chất đánh giá cục bộ, đơn lẻ item Những kết chưa phản ánh hết tồn độ tin cậy tồn trắc nghiệm Để có kết luận cách toàn diện độ tin cậy trắc nghiệm người ta thường dùng phương pháp đánh giá dựa mơ hình tương quan Alpha Cronbach (Cronbach’s coefficent alpha) Các thông tin độ tin cậy toàn trắc nghiệm cho bảng sau Hệ số tin cậy Cronbach's Alpha Hệ số tin cậy item chuẩn Cronbach's Alpha Based on Standardized Items Số lượng item N of Items 805 819 60 Bảng 2.2: Các thông số độ tin cậy (Reliability Statistics) Qua phân tích số liệu bảng Output ta thấy đề thi dù cịn có số câu hỏi (item) chưa tốt song độ tin cậy toàn trắc nghiệm cao Kết phân tích cho hệ số tin cậy toàn trắc nghiệm α = 0,805 có nghĩa 80,5% phương sai điểm trắc nghiệm phương sai điểm số thực có 15,5% phương sai điểm sai số ngẫu nhiên phép đo Cũng phép phân tích này, nhìn vào bảng ta thấy, item có tương quan với item cịn lại thấp (α i < 0.30) cần phải xem lại, item có tương quan qúa thấp (α i < 0) nên loại bỏ 3.1.4 Xử lý số liệu đề thi mơ hình QUEST Phần chúng tơi dùng phần mềm SPSS để xử lý số liệu kết thi, tương tự ta sử dụng mơ hình RASCH phần mềm chun dụng QUEST để phân tích, đánh giá kết thi trắc nghiệm Ví dụ xử lý số liệu cho đề thi môn Thông tin quang (ký hiệu Môn 1) 16 -Item all on mon01 (N = 54 L = 60 Probability Level= 50) 3.0 | | NăNG LỰC CAO | ĐỘ KHó CAO X | | XX | XX | 44 2.0 | 15 37 48 XXXX | XX | 45 X | 23 X | | | XXXXXXXXX | 30 53 1.0 XXX | XXX | 32 40 X | XXX | 14 22 26 35 XXXXXX | 24 XXX | | 21 50 54 | 49 57 | 20 36 X | 11 25 31 39 55 59 X | 13 | XX | 17 43 | 51 58 | 33 41 | 52 56 | 16 19 46 60 | X | -1.0 | | 18 28 29 34 38 47 | | 12 42 | | 27 | | | 10 -2.0 | | | | | NăNG LỰC THấP | Độ KHó THấP | | -3.0 | Each X represents students Bảng 2.4: Phân bố tương quan độ khó đề lực học sinh Ta thấy đề có độ khó thấp (đề tương đối dễ) Phân bố kết thi gần với phân bố chuẩn Các item có độ khó cao (item 15, 27, 44, 48) chưa vượt lực cao sinh viên tham gia trắc nghiệm Các item có độ khó thấp (item 2, 10, 27) nên loại bỏ khơng phân biệt lực sinh viên Để thấy rõ thông số đo lường item, ta phân tích bảng Results for Observed Responses file mon1.itn 17 QUEST: The Interactive Test Analysis System Item 6: item Categories Count Percent (%) Pt-Biserial p-value Mean Ability Infit MNSQ = 1.05 Disc = 22 19 36.5 -.22 058 85 Step Labels missing 33 63.5 22 058 1.24 NA Thresholds 49 Error 30 Item 7: item Infit MNSQ = 97 Disc = 31 Categories Count Percent (%) Pt-Biserial p-value Mean Ability 13.5 -.31 013 54 Step Labels missing 45 86.5 31 013 1.18 NA Thresholds -.92 Error 42 Item 8: item Categories Count Percent (%) Pt-Biserial p-value Mean Ability Step Labels Thresholds Error Infit MNSQ = 1.40 Disc = -.28 35 67.3 28 023 1.24 missing 17 32.7 -.28 023 79 NA 1.88 31 18 Bảng 2.6: Các thông số đo lường item file mon1.ctn Trong Bảng 2.6 (minh hoạ tham số item: 6; 7; 8), ta thấy item 6; có độ phân biệt tương ứng Disc = 0,22; 0,31 nằm khoảng cho phép Riêng item có độ phân biệt Disc = - 0,8 (D < 0), chứng tỏ câu có vấn đề, cần loại bỏ 3.1.5 Kết luận độ giá trị đề Việc đánh giá độ giá trị đề bốn góc độ: “Độ giá trị nội dung”; “Độ giá trị cấu trúc”; “Độ giá trị tiêu chuẩn” “Độ giá trị dự báo” toán phức tạp Trong phạm vi nghiên cứu luận văn, đề cập đến yếu tố “Độ giá trị nội dung” “Độ giá trị cấu trúc” - Có thể nói nội dung cấu trúc đề đánh giá sơ (một cách định tính) phương pháp chuyên gia qua thẩm định người đề nhóm mơn học - Bằng kỹ thuật phân tích phần mềm SPSS hay QUEST, yếu tố (mang tính định lượng) định đến độ giá trị đề, là: + “Độ tin cậy” đề qua hệ số Cronbach’s alpha + Hệ số tương quan item tồn item cịn lại + Ma trận tương quan item trắc nghiệm + Sự phù hợp độ khó trắc nghiệm lực sinh viên tham gia làm trắc nghiệm + Tính đồng item trắc nghiệm Cả thông số phản ánh độ giá trị trắc nghiệm, hệ số tin cậy Cronbach’s coefficent alpha coi trội dễ định lượng (càng lớn tốt) Do tính tốn, phân tích kỹ thuật, lấy thông số để đánh giá chất lượng trắc nghiệm 3.2 Xử lý số liệu mẫu phiếu vấn (phiếu hỏi) giảng viên 3.2.1 Đánh giá độ tin cậy công cụ đo (mẫu phiếu hỏi) Trên sở mẫu phiếu đánh giá yếu tố ảnh hưởng đến chất lượng đề thi TNKQ nêu trên, tiến hành vấn lấy phiếu 50 giáo viên trực tiếp soạn thảo 50 đề 50 môn học áp dụng thi TNKQ hết học phần Kết cụ thể sau Nếu ta quy đổi thang bậc mức đồng ý phiếu hỏi thành điểm số tương ứng với mức điểm từ đến (chú ý item với phát biểu ngược chiều lấy giá trị điểm ngược lại), ta có bảng điểm số phiếu hỏi Về mặt ý nghĩa đo lường, phiếu hỏi cho điểm số tổng cộng cao tương ứng với cá nhân có yếu tố thuận lợi cho việc xây dựng đề trắc nghiệm, ngược lại phiếu hỏi có điểm số tổng cộng thấp tương ứng với cá nhân có yếu tố thuận lợi cho việc xây dựng 19 đề trắc nghiệm Các phiếu có phân bố điểm tổng cộng từ 43 đến 94 điểm (điểm tối đa 120 điểm) cho thấy phân bố điểm rộng chứng tỏ cá nhân tham gia xây dựng đề trắc nghiệm điều kiện khác nhận thức quan điểm khác Tiến hành xử lý số liệu phần mềm SPSS ta nhận thấy: Đánh giá độ tin cậy trắc nghiệm phương pháp đánh giá độ phù hợp item (internal consistency methods) sử dụng mơ hình Cronbach’s Coefficent Alpha Mơ hình đánh giá độ tin cậy phép đo dựa tính tốn phương sai item tồn phép đo tính tương quan điểm item với với điểm tổng item lại phép đo Phương pháp thích hợp cho việc xác định độ tin cậy loại trắc nghiệm có item nhiều mức độ tính theo điểm số (kiểu thang định khoảng hay thang định tỷ lệ) Công thức tính sau: K ∑σ i α = (1 − ) K −1 σx Rxx = Trong Rxx : Hệ số tương quan K : Số item trắc nghiệm σ2i : Giá trị phương sai item cụ thể trắc nghiệm σ2x : Giá trị phương sai toàn trắc nghiệm ∑ σ2i : Tổng giá trị phương sai tất item trắc nghiệm Thực hiện: Sử dụng mơ hình Cronbach’s Coefficent Alpha đánh giá độ tin cậy phép đo yếu tố ảnh hưởng đến chất lượng đề trắc nghiệm khách quan Mơ hình địi hỏi phép đo phải có phân bố chuẩn (hoặc gần chuẩn), có item tính theo thang định khoảng Hầu hết tương quan item (30 item từ tg1 đến mh3) có trị số lớn 30% Điều chứng tỏ item phiếu trắc nghiệm có tương quan chặt với cơng cụ đo có độ tin cậy đảm bảo cho phép đánh giá điều kiện thuận lợi cho giáo viên xây dựng đề thi trắc nghiệm Có thể đánh giá độ tin cậy phân tích mẫu phiếu hỏi mơ hình RASCH phần mềm QUEST Trong phạm vi nghiên cứu nhóm item thang đo hẹp, cụ thể phân tích item thang đo thứ ba: “Mức độ nắm vững kỹ thuật đề trắc nghiệm giảng viên” Để thấy rõ hơn, ta phân tích Bảng 2.10 20 -all on phieu (N = 52 L = 16 Probability Level= 50) MNSQ 63 67 71 77 83 91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 + -+ -+ -+ -+ -+ -+ -+ + -+ -+ -+ item * | item * | item * item * | item * | item | * item * | item | * item * | 10 item 10 * 11 item 11 *| 12 item 12 |* 13 item 13 | * 14 item 14 | * 15 item 15 * | 16 item 16 * | ======================================================== Bảng 2.10: Phân bố item phiếu hỏi khoảng cho phép (infit mean square) Nhìn vào bảng ta thấy, hầu hết item tiểu thang đo “Mức độ trang bị kỹ thuật đề TN” nằm khoảng cho phép (infit mean square) Duy có hai item 14 nằm ngồi khoảng (chứng tỏ có vấn đề) Theo chúng tôi, hai câu hỏi có đề cập đến khái niệm kỹ thuật cao nên số người hỏi chưa nắm chất vấn đề hỏi 3.2.2 Đánh giá độ giá trị công cụ đo phù hợp mơ hình yếu tố ảnh hưởng đến chất lượng đề thi TNKQ qua xử lý phiếu hỏi Tương tự xem xét độ giá trị đề trắc nghiệm [trong phần 3.1.5], độ giá trị mẫu phiếu hỏi đánh giá qua yếu tố: + “Độ tin cậy” phiếu hỏi qua hệ số Cronbach’s Alpha + Hệ số tương quan item tồn item cịn lại phiếu hỏi + Ma trận tương quan item phiếu hỏi 21 + Sự phù hợp mức độ đánh giá cao trắc nghiệm trí giáo viên tham gia làm trắc nghiệm + Tính đồng item phiếu hỏi Với kết phân tích mục [3.2.1], kết luận mẫu phiếu hỏi sử dụng nghiên cứu có độ giá trị tốt (độ tin cậy cao phù hợp với mơ hình đo yếu tố ảnh hưởng đến chất lượng đề thi TNKQ) 3.3 Kết luận yếu tố ảnh hưởng đến chất lượng đề thi TNKQ Nhìn vào Bảng chéo Crosstabs ta kết luận: - Trong 50 mẫu phiếu hỏi có 10 mẫu phiếu cho điểm số thấp, chiếm 20%, đó: + 03 phiếu ứng với người có đề chất lương kém, chiếm 30% nhóm + 03 phiếu ứng với người có đề chất lượng vừa, chiếm 30% nhóm + 04 phiếu ứng với người có chất lượng đề cao, chiếm 40% nhóm - Trong 50 mẫu phiếu có 30 mẫu cho điểm số trung bình, chiếm 60% tổng số mẫu, đó: + 05 phiếu ứng với người có chất lượng đề kém, chiếm 16,7% nhóm + 21 phiếu ứng với người có chất lượng đề trung bình, chiếm 70% nhóm + 04 phiếu ứng với người có chất lượng đề cao, chiếm 13,3% nhóm - Trong 50 mẫu phiếu hỏi có 10 mẫu cho điểm số cao, chiếm 20% nhóm mẫu, đó: + 07 phiếu ứng với người có chất lượng đề trung bình, chiếm 70% nhóm + 03 phiếu ứng với người có chất lượng đề tốt, chiếm 30% nhóm Kết kuận: - Bảng chéo Crosstabs cho ta thấy mối quan hệ tương đối nhóm hai mẫu biến “chl.de.nhom” “diem.ptn.nhom” - Các phân tích tương quan thuận hai biến “chl.de” “diem.ptn” - Một số phân bố không theo quy luật “điểm phiếu trắc nghiệm thấp lại người có đề chất lượng cao” Điều giải thích số lượng mẫu nghiên cứu chưa đủ lớn (50 mẫu), có người trả lời phiếu trắc nghiệm khơng trung thực (điều xảy thực tế) yếu tố chủ quan khách quan 22 KẾT LUẬN VÀ ĐỀ NGHỊ A KẾT LUẬN Với nghiên cứu phân tích trên, chúng tơi kết luận - Chất lượng đề thi TNKQ đánh giá nhiều yếu tố theo nhiều góc độ xem xét khác Tuy nhiên, yếu tố mang tính định lượng có ý nghĩa đặc trưng dùng để đánh giá chất lượng trắc nghiệm “độ tin cậy” tính hệ số Cronbach’s Alpha Các trắc nghiệm cho hệ số tin cậy Cronbach’s Alpha lớn có chất lượng tốt ngược lại - Mơ hình yếu tố ảnh hưởng đến chất lượng đề trắc nghiệm mà luận văn đưa mẫu phiếu hỏi giáo viên phù hợp Trắc nghiệm cho độ tin cậy chung cao tương quan item phiếu hỏi mức đáng tin cậy - Điểm lượng hoá phiếu hỏi (sau Recode) đặc trưng cho thuận lợi yếu tố ảnh hưởng đến người đề Qua phân tích, ta thấy điểm phiếu hỏi cao tương ứng với giáo viên có yếu tố thuận lợi cho việc đề thi TNKQ ngược lại, điểm phiếu hỏi thấp ứng với giáo viên có yếu tố thuận lợi cho việc đề - Có tương quan chặt chẽ điểm số phiếu hỏi với chất lượng đề thi nghiệm thể (trừ số trường hợp ngoại lệ) Điều cho thấy qua phân tích phiếu hỏi dự đốn xác chất lượng đề thi mà cá nhân chịu trách nhiệm biên soạn - Qua đánh giá yếu tố ảnh hưởng đến chất lượng đề thi TNKQ, thấy yếu tố ảnh hưởng lớn đến chất lượng đề thi việc trang bị kỹ thuật đề thi TNKQ cho giáo viên (16 item / tổng số 30 item phiếu hỏi) B ĐỀ NGHỊ Từ nghiên cứu phân tích mạnh dạn đề xuất số giải pháp nhằm nâng cao chất lượng đề thi TNKQ sau - Đầu tư thời gian, kinh phí tập huấn cho đội ngũ giáo viên Bộ môn lý thuyết đo lường, đánh giá kết học tập, trọng đến kỹ thuật soạn thảo câu hỏi TNKQ - Triển khai xây dựng ngân hàng câu hỏi TNKQ theo quy trình thống tồn trường, có quản lý giám sát phận chuyên trách - Tăng cường công tác khảo thí, xây dựng đội ngũ cán khảo thí có chun mơn vững làm nhiệm vụ tư vấn xây dựng đánh giá trực tiếp chất lượng ngân hàng đề thi TNKQ nhà trường 23 - Nhanh chóng áp dụng phần mềm đề thi tự động, phần mềm thi TNKQ trực tiếp máy tính Áp dụng kỹ thuật xử lý số liệu có trợ giúp máy tính phân tích, đánh giá chất lượng đề thi - Xây dựng môi trường tương tác làm việc (trên mạmg iternet) phận khảo thí với giáo viên mơn cho giáo viên dễ dàng đánh giá đề thi cập nhật sửa đổi ngân hàng câu hỏi thi TNKQ có quản lý trung tâm khảo thí - Nhà trường cần có quan tâm thích đáng vật chất tinh thần giáo viên có áp dụng thi TNKQ, coi việc đổi phương pháp kiểm tra đánh giá khâu nhằm đổi phương pháp giảng dạy, nâng cao chất lượng đào tạo 24 ... thực” 1.1.2.2 Trắc nghiệm tự luận trắc nghiệm khách quan Trắc nghiệm viết bao gồm hai loại: trắc nghiệm tự luận trắc nghiệm khách quan - Trắc nghiệm tự luận (Essay test) Trắc nghiệm tự luận bao gồm... tin - Đại học Thái Nguyên Luận văn đặt vấn đề nghiên cứu yếu tố ảnh hưởng đến chất lượng đề thi TNKQ mà chủ yếu yếu tố tác động trực tiếp đến người đề Trong phạm vi nghiên cứu, luận văn xây dựng. .. “Những yếu tố ảnh hưởng đến chất lượng đề trắc nghiệm? ?? Các giả thi? ??t nghiên cứu đặt yếu tố ảnh hưởng trực tiếp đến chất lượng đề: 1- Yếu tố thời gian đầu tư cho công việc: Là thời gian thực tế giáo