การประเมินผลการสอบมาตรฐาน
1.การประเมินสมรรถภาพ
มีความหมายในลักษณะเดียวกับการประเมินตามสภาพจริง หรือการประเมินด้วยทางเลือกที่หลากหลาย โดยการรวบรวมข้อมูล ข้อสนเทศของผู้เรียนอย่างครอบคลุมทั้งด้านความรู้ ความคิด ทักษะ กระบวนการ เจตคติ และโอกาสในการเรียนรู้
พฤติกรรมการแสดงออกของผู้เรียน ที่ต้องการประเมิน ประกอบด้วย ความเข้าใจ การนำไปใช้ ความคิดระดับสูง ความคิดสร้างสรรค์ ความคิดวิเคราะห์วิจารณ์ การตัดสินใจและ การแก้ปัญหา รวมทั้งทักษะปฏิบัติ ความรอบรู้ และคุณลักษณะ ที่พึงประสงค์ด้านอารมณ์หรือจิตใจ
แนวทางในการปฏิบัติ
การประเมินโดยผู้สอน
การประเมินโดยผู้เรียน
การประเมินโดยผู้สอนและผู้เรียน
การประเมินสมรรถภาพ
การเขียนตอบ
- ข้อสอบแบบเขียนตอบ
การปฏิบัติจริง
- การทำปฏิบัติการ
- ผลงานที่ทำ
2.ประเมินจากข้อสอบแบบเขียนตอบ(ESSAY EXAMINATION )
ESSAY EXAMINATION (ข้อสอบเขียนตอบ)เป็นรูปแบบของเครื่องมือที่ใช้ในการประเมินผลที่ให้โอกาสผู้สอบได้ตอบคำถามเพื่อแสดงความรู้ความคิดได้อย่างเต็มที่
มุ่งเน้นการประเมินความเข้าใจ การนำไปใช้ และความคิดระดับสูง รวมทั้งความสามารถด้านอื่น ๆ ด้วยการเขียนบรรยาย วาดภาพ แผนภูมิ กราฟ ตาราง แสดงวิธีทำหรืออธิบายเหตุผล
องค์ประกอบสำคัญของข้อสอบเขียนตอบมี 2 ส่วน ดังนี้
O สถานการณ์หรือข้อสนเทศ
เป็นส่วนของข้อมูลเพื่อใช้ในการตอบคำถาม โดยนำเสนอ เหตุการณ์ ปรากฏการณ์ หรือการจัดประสบการณ์ที่สอดคล้องกับเนื้อหาสาระของบทเรียน ตามสาระและมาตรฐานการเรียนรู้ของหลักสูตร รวมทั้งมีความเชื่อมโยงกับความเป็นจริงของชีวิต และสังคม
O คำถามหรือปัญหา
• เหตุการณ์จริงหรือสถานการณ์จำลองที่ใกล้เคียงความจริง ความรู้ต่าง ๆ ที่มีผู้อื่นรวบรวมไว้แล้ว
• ปรากฏการณ์ที่เกิดขึ้นในปัจจุบัน หรือประเด็นที่สังคม ให้ความสนใจ
• สถานการณ์ที่เกี่ยวข้องกับบทเรียน สาระการเรียนรู้ ในหลักสูตร
• เรื่องสมมติที่สามารถนำมาวิเคราะห์ แก้ปัญหา ให้ความคิดเห็น หรือแสดงความรู้สึก
คำถามหรือปัญหา
เป็นส่วนของคำสั่งที่ระบุให้ทราบว่าต้องการให้ทำอะไร โดยทั่วไปต้องการให้ตอบสนองโดยการคิดในเชิงวิทยาศาสตร์และ นำความรู้ ทักษะต่าง ๆ ไปเพื่อใช้แก้ปัญหา คำถามส่วนใหญ่มีลักษณะปลายเปิดที่ให้ผู้เรียนมีอิสระทางความคิด และถ่ายทอดความรู้ในรูปแบบของการเขียนตอบได้
ลักษณะคำถามหรือปัญหา
1. สอดคล้องกับมาตรฐานการเรียนรู้และสถานการณ์ ที่กำหนด
2. สื่อสารได้ชัดเจนและใช้ภาษาที่เหมาะสมกับระดับของ ผู้เรียน
3. ส่งเสริมให้ผู้เรียนคิดวิเคราะห์ วิจารณ์ อภิปราย แก้ปัญหา ตัดสินใจ ประเมินค่า และสร้างคำตอบได้อย่างสมเหตุผล
4. เนื้อหาของคำถามมีความยุติธรรมสำหรับผู้เรียนทุกคน
5. การเตรียมข้อสอบแบบเขียนตอบควรมีแนวการตอบและเกณฑ์การให้คะแนนด้วย เพื่อให้ผู้ตรวจคำตอบสามารถตรวจได้สะดวกและให้คะแนนได้ตรงกัน
แนวการตอบ เป็นหลักการหรือแนวคิดที่เป็นไปได้ในการตอบคำถาม
เกณฑ์การให้คะแนน เป็นเกณฑ์ที่กำหนดขึ้นสำหรับการให้คะแนนคำตอบโดยพิจารณาความถูกต้อง ครบถ้วนและความสมบูรณ์ของคำตอบเป็นสำคัญ
การสร้างเกณฑ์การให้คะแนน
นำข้อสอบไปทดลองใช้ก่อนนำไปใช้สอบจริง
- ร่างคำตอบที่คาดว่าผู้เรียนจะตอบอย่างสมเหตุสมผล และ กำหนดเกณฑ์การให้คะแนนไว้ล่วงหน้า ก่อนการนำไป ทดลองใช้
- หลังการทดลองใช้ ปรับปรุงเกณฑ์ให้คะแนนให้สอดคล้อง กับคำตอบของผู้เรียน
ลักษณะของเกณฑ์การให้คะแนนมี 2 รูปแบบ
1. เกณฑ์ให้คะแนนแบบภาพรวม ( Holistic Scoring Guideline )
เป็นการให้คะแนน โดยดูภาพรวมที่แสดงถึงความเข้าใจ การเกิดแนวคิดหลัก กระบวนการที่ใช้ และการสื่อความหมาย และแบ่งระดับคุณภาพของงานโดยเขียนอธิบายพฤติกรรมการแสดงออกในแต่ละระดับอย่างชัดเจน
2. เกณฑ์ให้คะแนนแบบแยกองค์ประกอบ ( Analytic Scoring Guideline )
เป็นการให้คะแนนผลงานโดยแยกองค์ประกอบของผลงาน ออกเป็นด้านต่าง ๆ และอธิบายพฤติกรรมการแสดงออกในแต่ละองค์ประกอบเป็นระดับ ข้อดีของการให้คะแนนแบบนี้ คือ มีความเป็นปรนัยในการ ให้คะแนนมากขึ้น และสามารถกำหนดสัดส่วนของคะแนนตาม
ความสำคัญได้
การให้คะแนนข้อสอบแบบเขียนตอบจะต้องยึดถือตามแนวทางให้คะแนนอย่างเคร่งครัด ให้คะแนนตามเกณฑ์ที่กำหนด และไม่หักคะแนนในส่วนของการสะกดผิด ใช้ไวยากรณ์ผิด ลายมือหวัด หรือส่วนที่ไม่เกี่ยวกับคำตอบถูก
การสร้างข้อสอบอัตนัยแบบทั่วไป
ข้อสอบอัตนัย มีข้อควรคำนึงที่สำคัญ 2 ประการ ดังนี้
1. การสร้างข้อสอบให้ครอบคลุมเนื้อหา
2. การตรวจข้อสอบให้ได้คะแนนที่น่าเชื่อถือ
ส่วนการตั้งคำถาม อาจถามในหลายลักษณะ เพื่อดึงความคิดขั้นสูงออกมา เช่น
1. ให้ระลึกประสบการณ์
2. ให้เปรียบเทียบ
3. ถามสาเหตุ หรือผลที่เกิด
4. การวิเคราะห์
5. ถามความสัมพันธ์
6. ถามให้อภิปราย
7. ถามให้วิจารณ์ ความถูกต้อง ความเป็นเหตุเป็นผล
8. ถามให้คิดเชิงอนุมาน
9. ถามให้สรุป
10. ถามให้สร้างแนวคิดใหม่ ๆ
ในการสร้างเครื่องมือให้มีคุณภาพนั้น นอกจากการเขียนข้อสอบตามหลักการที่ดีแล้ว การหาคุณภาพของแบบทดสอบก็เป็นสิ่งสำคัญ เพื่อให้ได้ข้อสอบที่มีคุณภาพ วัดได้ในสิ่งที่ต้องการวัดอย่างแท้จริง ดังรายละเอียดในหัวข้อต่อไป
การสร้างและหาคุณภาพข้อสอบ
การสร้างและหาคุณภาพของข้อสอบ เพื่อให้ได้ข้อสอบที่ดีนั้น จะมีลำดับขั้นดังนี้
1. ศึกษาจุดมุ่งหมายของหลักสูตร เนื้อหาวิชาที่จะดำเนินการสร้างข้อสอบ อย่างเข้าใจ
2. จัดทำตารางวิเคราะห์ข้อสอบ โดยอาจารย์ผู้สอนในเนื้อหาวิชานั้น ๆ
3. กำหนดรูปแบบข้อสอบว่า จะใช้ข้อสอบแบบใดมาวัดนักเรียน
4. เขียนข้อสอบตามตารางวิเคราะห์หลักสูตรที่จัดทำไว้ในข้อ 2 ตามรูปแบบที่กำหนดไว้ในข้อ 3 5. นำแบบทดสอบไปทดลองสอบกับนักเรียน(แต่ในทางปฏิบัติคือการนำไปสอบจริงกับนักเรียน )
6. หาคุณภาพของแบบทดสอบจากข้อมูลที่ได้ในข้อ 5
7. พิจารณาผลจากการหาคุณภาพในข้อ 6
8. ปรับปรุงข้อสอบตามผลที่สรุปได้ในข้อ 7
แนวทางในการสร้างสถานการณ์คำถาม และเกณฑ์การให้คะแนน
การพิจารณาข้อสอบ
พิจารณาตามเกณฑ์ ดังนี้
1. ความสอดคล้องกับมาตรฐานการเรียนรู้
1. ข้อสอบวัดได้ตรงเนื้อหาในมาตรฐานการเรียนรู้
2. ข้อสอบอยู่ในขอบเขตของเนื้อหาแต่ละช่วงชั้น
2. ความตรงกับระดับพฤติกรรมที่กำหนด
ความรู้ความจำ ถามในสิ่งที่เรียนมาก่อนหรือมีความรู้มาก่อน
ความเข้าใจเหตุการณ์ การสร้างสถานการณ์ แล้วให้อธิบาย จำแนกหรือแปลความหมายจาก
การนำ ความรู้มาใช้แก้ปัญหา มีการสร้างสถานการณ์ที่แปลกใหม่ แล้วให้นำ
ทักษะกระบวนการ และทักษะการคิด มีการนำเสนอข้อมูล (ไม่เหมือนกับในหนังสือเรียน)แล้วมีการทักษะกระบวนการ หรือทักษะการคิดมาแก้ปัญหาสถานการณ์สั้น และกระทัดรัดได้ใจความไม่วกวน เนื้อหา และรูป ต้องสอดคล้องกันเป็นไปได้จริง และ เป็นเรื่องใกล้ตัวกับผุ้เรียน
คำถาม
คำถามต้องสอดคล้องกับสถานการณ์
ถามโดยใช้ ข้อสนเทศ จากสถานการณ์ และความรู้ จากประสบการณ์เดิม ของผุ้เรียน
( ไม่ควรถามโดยใช้ความจำเพียงอย่างเดียว ) คำถามต้องสั้นและได้ใจความ
แนวคำตอบ
ครอบคลุมทุกประเด็นที่เป็นไปได้
ไม่ใช้ ความรู้ประสบการณ์เดิม หรือ สามัญสำนึก เพียงอย่างเดียว
ถ้ามีคำตอบได้หลายคำตอบควรจัดกลุ่มคำตอบ แบบเดียวกันไว้ด้วยกัน (หรือแยกประเด็น)
เกณฑ์การให้คะแนน
ถ้ามีคำตอบหลายคำตอบควรใช้เกณฑ์แบบแยกองค์ประกอบ และกำหนดให้คะแนนทีละประเด็น
3.ประเมินจากข้อสอบบรรยายแบบประยุกต์(The Modified Essay Questions: MEQ)
1. ความสามารถในวิชาชีพที่เกี่ยวกับสุขอนามัยสามารถแตกย่อยเป็นความสามารถด้านความรู้ ทักษะสัมพันธ์กับบุคคลอื่น ความสามารถในการแก้ปัญหาทักษะทางเทคนิคในวิชาชีพและเจตคติในวิชาชีพ ซึ่ง
ก. การวัดและประเมินผลวิธีใดวิธีหนึ่งคงไม่สามารถวัดปริเขต (domain) ความสามารถทุกปริเขตที่กล่าวข้างต้นได้
ข. ไม่มีวิธีการวัดและประเมินผลวิธีใดดีที่สุด ดังนั้นในระบบการวัดและประเมินผลต้องมีวิธีวัดผลหลายวิธี เพื่อสะท้อนให้เห็นความสามารถแต่ละโดเมน
2. การวัดและประเมินผลใด ๆ จะต้องให้ข้อมูล 2 ระดับ คือ ข้อมูลโดยสรุปเพื่อใช้ในการตัดสินความก้าวหน้าในการเรียนของนักศึกษา กับข้อมูลป้อนกลับโดยละเอียดให้นักศึกษาใช้ประโยชน์ในการเรียน ต่อไปได้
3. การตัดสินผลการเรียนของนักศึกษาขั้นสุดท้าย จะต้องใช้ข้อมูลจากวิธีการหลายวิธีในหลาย ๆ โอกาส และวัดหลาย ๆ ครั้งจะใช้ข้อมูลจากการวัดผลวิธีใดวีหนึ่งเพียงครั้งเดียวไม่ได้
4. นักศึกษาต้องได้รับรู้ล่วงหน้าในเรื่องวิธีการวัดผลการเรียนของเขาและควรต้องมีส่วนในการแสดงความคิดเห็นในการเลือกวิธีการวัดผลด้วย
ตารางที่ 1 โดเมนความสามารถและเครื่องมือที่เหมาะจะใช้วัด
เครื่องมือ โดเมน | มาตร ประเมินค่า (Rating) | การวัด 3 ขั้น (Triple Jump) | MEQ* | การสังเกต | MCQ** | OSCE*** |
ความรู้ ความสามารถ ในการแก้ปัญหา มนุษยสัมพันธ์ ความชำนาญ เฉพาะวิชาชีพ เจตคติ | X X XX X XX | X XXX | XX XX | X XXX XX | XXX X | X X X XXX |
New Castle, Australia 1975 ศึกษาเครื่องมือวัดผล 11 อย่าง ได้แก่ ข้อสอบเรียงความ ข้อสอบแบบเลือกตอบ ข้อสอบปัญหาการจัดการคนไข้ (Patient Management Problem : PMP) ข้อสอบอัตนัยประยุกต์ (Modified Essay Question : MEQ) ข้อสอบสถานการณ์จำลองคนไข้(Patient Simulation)เกมส์การจัดการคนไข้ (Patient Management Games) การสอบคลีนิกแบบปรนัย (Objective Clinical Examination) การสังเกตการปฏิบัติทางคลีนิก (Observation of Clinical Performance) การตรวจสอบบันทึกปัญหาทางการแพทย์ (Problem Oriented Medical Records Audit) การวัดผลโดยการปรับแก้ (Assessment by Monitor) และการเรียนการสอนทุกวัน ปรากฏว่ารูปแบบการสอบที่ได้รับเลือก 2 แบบ คือ ข้อสอบปัญหาการจัดการคนไข้ (พี เอ็ม พี) และข้อสอบอัตนัยประยุกต์ (เอ็ม อี คิว)
ข้อสอบ MEQ สามารถวัดทักษะการแก้ปัญหา การเสนอกรณีศึกษาตามลำดับเหตุการณ์แล้วแทรกคำถามเป็นระยะ ๆ ผู้ตอบต้องสังเคราะห์ข้อมูลเท่าที่มีอยู่เพื่อคิดหาคำตอบเองอย่างเร็วและมีประสิทธิภาพบนพื้นฐานของการปฏิบัติจริง สามารถวัดความสามารถในการกำหนดปัญหาและวางแผนการจัดการแก้ปัญหา และยังเปิดโอกาสให้ได้ตรวจสอบเจตคติด้วย แต่มีข้อเสียในเรื่องความเป็นปรนัยในการตรวจ และการบริหารการสอบที่จะไม่ให้ผู้สอบกลับไปแก้คำตอบที่ตอบไปแล้ว หรือเปิดไปดูข้อมูลในส่วนถัดไปได้
แบบสอบเอ็มอีคิว ริเริ่มโดยคณะกรรมการเซ็นเซอร์ของราชวิทยาลัยเวชปฏิบัติทั่วไป (Board of Censors of the Royal College of General Practitioners) ตั้งแต่ปี 1971 เพื่อใช้สอบวัดความรู้ทางคลีนิกของผู้ที่มีวุฒิหลังปริญญาตรีในการสอบเข้าเป็นสมาชิกของสมาคม สาเหตุเพราะไม่พอใจในเครื่องมือวัดผลที่มีในขณะนั้น ซึ่งวัดความสามารถเป็นส่วน ๆ และเน้นวัดความจำ
แบบสอบเอ็มอีคิวที่ฮอดจ์กินกับนอกซ์พัฒนาขึ้นนั้นมีลักษณะเป็นกรณีศึกษา ซึ่งครูหรือผู้ออกข้อสอบเลือกมาให้เหมาะกับเนื้อหาที่ต้องการออกข้อสอบให้ครอบคลุมตามวัตถุประสงค์ที่ตั้งไว้ แล้วเสนอกรณีศึกษานี้ตามลำดับเหตุการณ์ แต่ไม่เสนอต่อเนื่องกันตั้งแต่ต้นจนจบเลยเหมือนข้อสอบแบบเรียงความ แต่แยกเสนอทีละตอนแล้วตั้งคำถามถามตามวัตถุประสงค์การวัดที่ตั้งไว้ คำถามเป็นแบบสอบปลายเปิดที่ผู้ถูกสอบต้องหาคำตอบมาตอบเองโดยอาศัยข้อมูลที่ข้อสอบกำหนดให้
4.ประเมินจากข้อสอบอัตนัยประยุกต์ (MEQ)
เป็นเครื่องมือสำหรับฝึกฝนหรือประเมินทักษะในการแก้ปัญหาผู้ป่วยอย่างมีเหตุผล โดยเลียนแบบขั้นตอนต่างๆของกระบวนการแก้ปัญหาชนิด Backward reasoning
1.(Hypotheticodeductive method)
2.Condition(chief complaint)
3.Identification of problems
4.Formulation of hypothesis
(differential diagnosis)
5.Data(information) gathering
6.Test hypothesis (more data)
7.Re-rank hypothesis (tentative diagnosis)
8.Management/Intervention
จุดมุ่งหมาย
• เพื่อประเมินความสามารถด้านการคิดอย่างมีเหตุผล (clinical reasoning) และ การแก้ปัญหา (problem solving) โดยใช้การสอบข้อเขียน
หลักการ
• ให้โจทย์เป็นข้อมูลผู้ป่วยแก่นักศึกษาที่ละน้อยและเป็นขั้นตอน เพื่อให้ นศ. คิดและตัดสินใจ โดยผู้ออกข้อสอบเตรียมคำถามและคำตอบไว้ล่วงหน้า
องค์ประกอบของข้อสอบ MEQ
1.สถานการณ์จำลอง(A brief scenario)
2.ลำดับขั้นตอนสมมุติฐานHypothesis generation
3.ข้อมูลสนับสนุนData gathering
4.กลั่นกรองสมมุติฐานHypothesis refinement
5.บริหารจัดการManagement/Intervention
6. คำถามที่เกี่ยวข้องกับเนื้อหาIncidental question related to clinical/basic science
โครงสร้างและขั้นตอนของ MEQ
• นำเสนอปัญหาด้วยสถานการณ์Presentation of problem (scenario)
• ด้านการปฏิบัติAction section : (question&answer)
– ประมวลสมมุติฐานhypothesis generation
– สนับสนุนข้อมูลinformation gathering(Hx , PE
• ด้านข้อมูลป้อนกลับFeedback section : giving more information
• ขั้นตอนต่อไปเตรียมคำถามคำตอบFurther action : (question&answer)
• เรียบเรียงสมมุติฐานHypothesis refinement : conclusion of problem (diagnosis, prognosis, investigation)
• จัดการออกข้อสอบตามสถานการณ์Management : treatment, education, counseling
• ตั้งคำถามIncidental question related to clinical or basic science
ประโยชน์ของข้อสอบ MEQ
• ใช้สำหรับ summative evaluation ในการแก้ปัญหาและตัดสินใจทางคลินิก
• เป็นเครื่องช่วยกระบวนการเรียนรู้
– ใช้เป็นตัวอย่างใน group discussion
– ใช้เป็นตัวอย่างในการเรียนรู้ด้วยตนเอง หรือประยุกต์กับ computer assistant instruction (CAI) ได้
– ใช้เป็น formative evaluation ได้เพราะมีการ feedback เป็นขั้นตอนในข้อสอบ
จุดเด่น จุดด้อยของข้อสอบ MEQ
จุดเด่น
• ใช้ปัญหาเป็นหลัก(problem based)
• ทดสอบความรู้ระดับแก้ปัญหา
• ทดสอบความสามารถในการหาข้อมูล, วิเคราะห์, สังเคราะห์และประเมินค่า
• วัดเจตคติได้
• มีคำตอบและคะแนนกำหนดให้
• มีการ feedback ตามขั้นตอนของเรื่อง
• วัดการแก้ปัญหาและความคิดสร้างสรรค์ได้
• ช่วยให้เกิดทักษะในการแสดงความคิดเห็น
จุดด้อย
• มีโครงสร้างเป็นลำดับขั้นตอนเป็นแนวทางในการตัดสินใจ
• นศ. อาจแอบพลิกกระดาษดูข้อมูลไปข้างหน้าหรือย้อนหลัง
• คำตอบที่กำหนดไว้อาจไม่เจาะจงหรือรอบด้าน
• ครอบคลุมเนื้อหาน้อย
• ถ้าสร้างไม่ดี อาจวัดได้เพียงระดับความจำ ความเข้าใจ
• ค่าความเชื่อถือขึ้นกับจำนวนข้อสอบ
• ครอบคลุมเนื้อหาได้น้อยและอาจไม่เหมาะสม
• ผู้ตอบตีความหมายไม่ชัดเจน
• ให้คะแนนไม่คงที่ ความเชื่อถือต่ำ
• ผู้ตรวจมีความลำเอียง
• เสียเวลาในการตรวจ
จุดเด่น จุดด้อยของข้อสอบ MCQ
จุดเด่น
• มีความเชื่อถือสูง
• ให้คะแนนง่าย
• ครอบคลุมเนื้อหาได้ทั่วถึง
• สามารถนำมาวิเคราะห์ทางสถิติได้
• ถ้าสร้างได้ดี จะสามารถวัดความรู้ระดับแก้ปัญหาได้
จุดด้อย
• มีแนวคำตอบให้เลือกอยู่แล้ว
• ผู้สอบส่วนใหญ่มักใช้ความจำ
• เสียเวลามากในการสร้างข้อสอบ
• ไม่สามารถวัดความรู้ระดับการหาข้อมูล
• ถ้าสร้างไม่ดี วัดได้เพียงระดับความจำ
จุดเด่น จุดด้อยของข้อสอบ OSCE
จุดเด่น
• ทดสอบได้มากกว่า factual knowledge โดยเฉพาะทดสอบ clinical skill, communication skill ได้
• ตั้งเกณฑ์ความต้องการได้
• บอกจุดอ่อนของนักศึกษาได้
จุดด้อย
• ไม่ได้เป็นการทดสอบผู้ป่วยทั้งคน
• ผู้คุมสอบต้องเอาใจใส่สังเกตสม่ำเสมอ
• คำตอบที่กำหนดไว้อาจไม่เจาะจง
• ต้องเลือกผู้ป่วย หรือผู้ป่วยจำลองหรือหุ่น
• ใช้เวลามากในการเตรียมสอบและผู้คุมสอบ
หลักในการสร้างข้อสอบ MEQ
• กำหนดวัตถุประสงค์
• ตั้งโจทย์สั้นๆ scenario ผู้ป่วย
• สร้างคำถาม
• ระดมคำตอบที่เป็นไปได้
• ร่วมกันอภิปรายข้อคิดเห็นของคำถามและคำตอบ แล้วสรุปคำตอบที่ควรจะเป็น
• กำหนดน้ำหนักคะแนนของแต่ละคำถาม
• กำหนดเวลาในการตอบแต่ละคำถาม
วัตถุประสงค์
• ควรกำหนดวัตถุประสงค์ชัดเจนทั้งเนื้อหาและขีดขั้นความสามารถ
– สามารถวินิจฉัยแยกโรค….
– สามารถซักประวัติผู้ป่วยเด็กที่มาพบด้วยอาการ…..
– สามารถให้การรักษา.. และให้คำแนะนำ….
• วัตถุประสงค์อาจจะมีหลายข้อ
วิธีการให้คะแนน
ผู้ออกต้องกำหนดคะแนนแต่ละข้อให้ชัดเจน
อาจเป็น 100 คะแนนเต็ม
- แบ่งคะแนนของแต่ละตอน
- บอกข้อกำหนดการได้คะแนน
เพื่อให้ผู้อื่นสามารถตรวจแทนผู้ออกข้อสอบได้ และมีความยุติธรรมต่อผู้ตอบ
วิธีการให้คะแนน
ตัวอย่าง
คำถามที่ 1 …………..จงตอบมา 5 ข้อ (15 คะแนน)
คำตอบที่คาดหวัง ข้อละ 3 คะแนน
1. ………………………………………… …………………….
2. …………………………………………. ……………………
3. …………………………………………. ……..……………
4. ………………………………………….. …………………..
5. ………………………………………….. …………………..
ถ้าตอบได้ 5 ข้อ ได้คะแนนเต็ม 15 คะแนน
วิธีการให้คะแนน
ตัวอย่าง
คำตอบที่คาดหวัง คะแนน
1. ………………………………………… 3
2. ……………………………………….. 3
3. ……………………………………….. 3
4. ………………………………………. 3
5. ……………………………………….. 3
6. ………………………………………. 2
7. ……………………………………….. 2
8. ……………………………………….. 1
การกำหนดน้ำหนักคะแนน
ขั้นตอนการแก้ปัญหา นศพ.(%) Resident
ปี 4 ปี 5 ปี 6 %
hypothesis generation 10 20 20 20
data gathering 45 35 25 20
hypothesis refinement 25 20 20 20
management
• investigation 10 15 20 20
• treatment 10 10 20 20
ข้อสอบฉบับสมบูรณ์
ข้อสอบประกอบด้วย 2 ส่วน
• แบบทดสอบ
– ปกหน้า คำแนะนำ และกฏเกณฑ์ในการตอบ
– หน้าซ้ายมือพิมพ์ข้อมูลที่ให้ไปแล้ว
– หน้าขวามือสำหรับข้อมูลเพิ่มเติม และคำถาม และที่ว่างสำหรับตอบ
– ต้องกำหนดเวลาและคะแนนไว้ทุกตอน
• แบบเฉลย ระบุปัญหา วัตถุประสงค์ด้วย
การวิเคราะห์ข้อสอบ MEQ
ความตรง (Validity)
ข้อสอบ MEQ จะมีข้อด้อยในแง่ content validity เนื่องจากครอบคลุมเนื้อหาน้อย แต่วิเคราะห์ในแง่โครงสร้าง construct validity
– Taxonomy level : recall, comprehension, problem solving
– ขั้นตอนของการแก้ปัญหา : hypothesis driven method
ค่าความเที่ยงหรือความเชื่อถือได้(reliability)
การหาความสอดคล้องของคะแนนข้อสอบรายข้อ โดยใช้สูตร Cronbach’s coefficient a
a = n 1 - sum S21
n-1 S2X
a = ความเที่ยงของแบบทดสอบ n = จำนวนข้อสอบ
s1 = SD ของคะแนนสอบแต่ละข้อ s21 = ความแปรปรวนข้อสอบแต่ละข้อ
sx = SD ของคะแนนสอบ s2x = ความแปรปรวนของข้อสอบทั้งหมด
การแปลผล reliability
a = ความเที่ยงของแบบทดสอบ (rtt)
• ค่า rtt > 0.9 มีค่าความเที่ยงสูงมาก
• rtt = 0.7-0.9 มีค่าความเที่ยง ระดับสูง
• rtt = 0.3-0.7 ค่าความเที่ยงระดับปานกลาง
• rtt < 0.3 ค่าความเที่ยงต่ำ
โดยทั่วไป ควร > 0.7
ดัชนีความยากง่าย(p)และอำนาจจำแนก (r)
วิเคราะห์ข้อสอบแต่ละข้อ
• จำแนกคะแนนนักศึกษาออกเป็น 3 กลุ่มตามคะแนนจากมากไปน้อย
• กลุ่มที่นำมาวิเคราะห์คือ กลุ่มคะแนนสูง (upper 1/3) และกลุ่มคะแนนต่ำ (lower 1/3)
• หาค่าคะแนนเฉลี่ย(%)ของแต่ละกลุ่ม จะได้
pH %(กลุ่มสูง) และ pL % (กลุ่มต่ำ)
ดัชนีความยาก p = pH%+pL%
2X100
อำนาจจำแนก r = pH%-pL%
100
คะแนนแต่ละข้อของกลุ่มสูง pH ทั้งหมด 8 ข้อ
นักเรียนทั้งหมด 86 คน upper 1/3 = 28 คน
4.การประเมินวิธี TRACER method
เป็นการประเมินภาพรวมของทักษะแต่ละด้านของนักศึกษาเพื่อประโยชน์ในการ feedback โดย
• หาค่าเฉลี่ยของคะแนนรวมในแต่ละทักษะ เช่น
– hypothesis generation
– data gathering
– hypothesis refinement
– management
ไม่มีความคิดเห็น:
แสดงความคิดเห็น