Nghiên cứu KHSPƯD B3: Đo lường - thu thập liệu B3 Đo lường - Thu thập liệu Thu thập liệu Độ tin cậy độ giá trị Kiểm chứng độ tin cậy liệu Kiểm chứng độ giá trị liệu Thu thập liệu • Dữ liệu cần thu thập: Dữ liệu thô:Điểm số kiểm tra trước sau tác động • Thí dụ Bảng điểm kiểm tra lớp TN lớp đối chứng thiết kế • Kết phiếu hỏi • Kết phiếu quan sát… Thu thập liệu Có dạng liệu cần thu thập nghiên cứu: Kiến thức/ kĩ Biết, hiểu, áp dụng… Hành vi/kĩ Sự tham gia, thói quen, thục thao tác… Thái độ Hứng thú, tích cực tham gia, quan tâm, ý kiến Lưu ý: vào vấn đề nghiên cứu để lựa chọn dạng liệu cần thu thập phù hợp Kĩ năng: Kĩ tư (1) kĩ thao tác(2) Các phương pháp thu thập liệu Đo ? 1.Kiến thức/ Thang đo (Đo cách ?) kĩ Thiết kế sử dụng kiểm tra thông thường kiểm tra thiết kế đặc biệt Hành vi/ kĩ Thiết kế sử dụng thang đo xếp hạng bảng kiểm quan sát Thái độ Thiết kế sử dụng thang đo thái độ Kĩ tư • - Kĩ giải tập nâng cao • - Kĩ tiến hành thí nghiệm nghiên cứu • - Tư phê phán • - Tư sáng tạo • - Giải vấn đề thực tiễn Đo kiến thức/ kĩ tư • Sử dụng thi cũ, kiểm tra thông thường lớp phù hợp với mục đích đo Vì: không công xây dựng chấm điểm kiểm tra Thí dụ: Sử dụng kết kiểm tra học kì kiểm tra trước để khẳng định lớp có trình độ tương đương trước tác động Đo kiến thức/ kĩ tư • Với số NC, cần có kiểm tra thiết kế riêng (Nội dung NC SGK, chương trình phương pháp mới…) • Thí dụ: Đề kiểm tra đánh giá kĩ tiến hành thí nghiệm nghiên cứu HS lớp trước tác động sau tác động - Đề kiểm tra đánh giá tư sáng tạo HS lớp trước sau tác động Đo kiến thức/ kĩ tư • Bài kiểm tra có thể: - Chỉ gồm câu dạng tự luận - Chỉ gồm câu trắc nghiệm khách quan - Gồm câu hỏi tự luận trắc nghiệm khách quan Đo hành vi Có thể đo hành vi học sinh như: • Đi học • Sử dụng ngôn ngữ lịch • Ăn mặc phù hợp • Giơ tay trước phát biểu • Nộp tập hạn • Tham gia tích cực vào hoạt động nhóm • 10 Kiểm chứng độ tin cậy liệu Sử dụng dạng đề tương đương Thiết kế hai dạng đề khác nội dung kiểm tra Cùng nhóm thực hai kiểm tra thời điểm Tính độ tương quan điểm số kiểm tra hai kiểm tra để xác định tính quán hai dạng đề Hai đề coi tương đương hệ số tương quan lớn 34 Chia đôi liệu: • Chia điểm số kiểm tra nhóm thành phần (theo câu hỏi số chẵn: Câu 2,4,6,8,10 câu hỏi số lẻ: Câu 1,3,5,7,9) • Kiểm tra tính quán hai phần • Áp dụng công thức tính độ tin cậy Spearman-Brown rSB = * rhh / (1 + rhh) rSB: Độ tin cậy Spearman-Brown rhh: Hệ số tương quan chẵn lẻ Độ tin cậy Spearman-Brown tính phần mềm Excel 35  Ví dụ: Chúng ta có điểm số 15 học sinh (A đến O) sử dụng thang đo thái độ với 10 câu hỏi (Q1 đến Q10) Mỗi câu hỏi có điểm dao động từ đến (1: hoàn toàn không đồng ý 6: Hoàn toàn đồng ý) Do có kết bảng sau: 36 Độ tin cậy Spearman-Brown: Ví dụ Bảng ví dụ thang đo với 15 học sinh (A-O) trả lời 10 câu hỏi (Q1-Q10) Sinh viên Tổng Kết trả lời câu hỏi biểu thị số từ đến (ví dụ: Hoàn toàn không đồng ý = Hoàn 37 toàn đồng ý = 6) Độ tin cậy Spearman-Brown: Ví dụ Tổng cộng cột lẻ (Q1 + Q3 + Q5 + Q7 + Q9) Điểm lẻ lĐiểm chẵn Hệ số tương quan chẵn lẻ Độ tin cậy Spearman-Brown rhh = 0.92 = CORREL (M2:M16, N2:N16) RSB = * rhh / (1 + rhh) = 0.96 38  Sau tính hệ số tương quan chẵn lẻ (rhh) theo công thức bảng tính Excel: rhh = CORREL (array 1,array 2) (array 1: cột lẻ, array 2: cột chẵn) Theo ví dụ ta có: rhh = CORREL (M2:M16, N2:N16) = 0.92  Với giá trị rhh 0.92, dễ dàng tính độ tin cậy Spearman-Brown (rSB) công thức: rSB = * 0,92 / (1 + 0,92) = 0.9639  So sánh kết với bảng đây: rSB ≥ 0,7 Dữ liệu đáng tin cậy rSB < 0,7 Dữ liệu không đáng tin cậy  Trong trường hợp này, độ tin cậy có giá trị cao rSB = 0.96 cao giá trị 0.7 Chúng ta kết luận liệu thu đáng tin cậy Ghi chú: Xem phần hướng dẫn chi tiết cách sử dụng công thức tính toán phần mềm Excel Phụ lục 40 Kiểm chứng độ giá trị liệu Có cách kiểm chứng độ giá trị:  Độ giá trị nội dung  Độ giá trị đồng quy  Độ giá trị dự báo 41 Kiểm chứng độ giá trị liệu Độ giá trị nội dung( đề kiểm tra/ thang đo) • • • Xem xét liệu câu hỏi có phản ánh vấn đề, khái niệm hành vi cần đo nghiên cứu hay không Có tính chất mô tả nhiều thống kê Có thể lấy nhận xét GV/CBQL có kinh nghiệm để kiểm chứng 42 Kiểm chứng độ giá trị liệu Độ giá trị đồng quy • Về mặt logic, điểm số đạt nghiên cứu phải có độ tương quan cao với điểm số có môn học • Tính hệ số tương quan hai tập hợp điểm số cách kiểm chứng độ giá trị 43 Kiểm chứng độ giá trị liệu Độ giá trị dự báo • Tương tự độ giá trị đồng quy có định hướng tương lai • Các điểm số đạt nghiên cứu phải tương quan với điểm số kiểm tra môn học tới 44 Một số lưu ý áp dụng • Thiết kế thang đo/công cụ đo/thu thập liệu bảo đảm để đo vấn đề cần NC • Độ tin cậy độ giá trị chất lượng liệu, công cụ thu thập liệu • Kiểm chứng độ tin cậy: điều kiện phương tiện CNTT sử dụng phương pháp đơn giản kiểm tra nhiều lần, sử dụng dạng đề tương đương… 45 Bài tập 1 Tính hệ số tin cậy Spearman-Brown Các liệu có đáng tin cậy không? Học sinh Tổng Lẻ Hệ số tương quan chẵn lẽ Độ tin cậy Spearman-Brown 46 Chẵn Bài tập 2.1 Hệ số tương quan chẵn - lẻ thang đo 0,50 Độ tin cậy Spearman-Brown tương ứng bao nhiêu? 2.2 Để kiểm chứng độ giá trị liệu thu từ thang đo hứng thú đọc, theo bạn sử dụng kết kiểm tra nào? 47 Bài tập Bài tập 3.1 Các nhóm thiết kế công cụ đo ( Đề kiểm tra/ bảng kiểm quan sát/ phiếu hỏi…) cho đề tài chọn Bài tập 3.2 Các nhóm dự kiến cách kiểm chứng độ tin cậy, độ giá trị liệu thu từ công cụ đo 48