ชุดบทความ “คิดค้นและปรับเปลี่ยน” — ตอนที่ 8 จาก 10
วันนี้ผมอยากชวนครู ผู้บริหารสถานศึกษา และศึกษานิเทศก์ที่กำลังเตรียมผลงานวิทยฐานะเชี่ยวชาญ มาทำความเข้าใจเรื่องหนึ่งที่เกี่ยวข้องกับความน่าเชื่อถือของงานวิจัยโดยตรงครับ
นั่นคือ “คุณภาพของเครื่องมือวิจัย”
มีคำถามที่ผมพบอยู่บ่อยครั้งว่า…
“ถ้าเครื่องมือวิจัยของเรามีค่า IOC ตั้งแต่ 0.67 ถึง 1.00 และผ่านการตรวจสอบจากผู้เชี่ยวชาญแล้ว ยังจำเป็นต้องตรวจสอบคุณภาพด้านอื่นอีกหรือไม่?”
บางท่านอาจเข้าใจว่า เมื่อเครื่องมือผ่านการตรวจสอบจากผู้เชี่ยวชาญ ก็สามารถนำไปใช้เก็บข้อมูลได้ทันที
แต่ผมอยากชวนคิดว่า…
“เครื่องมือที่มีความสอดคล้องกับวัตถุประสงค์ในการวัด จะสามารถวัดสิ่งที่เราต้องการได้อย่างถูกต้องและสม่ำเสมอจริงหรือไม่?”
คำตอบคือ ยังสรุปเช่นนั้นไม่ได้ครับ
เพราะการตรวจสอบความสอดคล้องเป็นเพียงหลักฐานด้านหนึ่งของคุณภาพเครื่องมือ และยังมีคุณภาพด้านอื่นที่อาจจำเป็นต้องตรวจสอบตามลักษณะของเครื่องมือนั้น
ลองนึกภาพครูคนหนึ่งกำลังทำวิจัยเพื่อพัฒนาความสามารถในการคิดวิเคราะห์ของนักเรียน
ครูสร้างแบบทดสอบจำนวน 30 ข้อ แล้วนำไปให้ผู้เชี่ยวชาญ 3 คนตรวจสอบความสอดคล้องระหว่างข้อคำถามกับวัตถุประสงค์การวัด
ผลปรากฏว่าข้อคำถามทุกข้อมีค่า IOC ตั้งแต่ 0.67 ถึง 1.00
ครูจึงสรุปว่า แบบทดสอบมีคุณภาพ สามารถนำไปใช้ในการวิจัยได้
แต่เมื่อพิจารณาข้อสอบจริงกลับพบว่า บางข้อมีคำตอบที่เดาได้ง่ายมาก บางข้อใช้ภาษากำกวม และบางข้อไม่ได้วัดการคิดวิเคราะห์ตามที่ตั้งใจ แต่เป็นเพียงการถามความจำ
ที่น่าสนใจคือ นักเรียนบางคนทำข้อสอบชุดเดิมในช่วงเวลาที่ใกล้กัน แต่กลับได้คะแนนแตกต่างกันมากโดยไม่มีเหตุผลที่อธิบายได้ชัดเจน
สถานการณ์นี้กำลังบอกอะไรเรา?
กำลังบอกว่า ค่า IOC ที่ผ่านเกณฑ์ไม่ได้รับประกันว่าแบบทดสอบจะมีคุณภาพครบทุกด้าน
ในทางการวัดและประเมินผล เราต้องเข้าใจความแตกต่างของคุณภาพเครื่องมือแต่ละด้านก่อนครับ
เรื่องแรก IOC บอกอะไรเราได้จริง?
IOC หรือ Index of Item-Objective Congruence เป็นดัชนีที่ใช้พิจารณาระดับความสอดคล้องระหว่างข้อคำถามกับวัตถุประสงค์หรือสิ่งที่ต้องการวัด ตามความคิดเห็นของผู้เชี่ยวชาญ
ตัวอย่างเช่น ผู้เชี่ยวชาญ 3 คน ให้คะแนนความสอดคล้องของข้อคำถามหนึ่งข้อเป็น +1, +1 และ 0
ค่า IOC ของข้อนั้นจะเท่ากับ 0.67 โดยประมาณ
ค่านี้แสดงว่า ผู้เชี่ยวชาญมีความคิดเห็นต่อความสอดคล้องของข้อคำถามดังกล่าวในระดับหนึ่ง
แต่ไม่ได้หมายความว่าข้อนั้นมีความยากง่ายเหมาะสม มีอำนาจจำแนกดี หรือทำให้คะแนนมีความเที่ยงสูง
และไม่ได้ยืนยันโดยอัตโนมัติว่าข้อคำถามสามารถวัดความสามารถในการคิดวิเคราะห์ได้ครบทุกมิติ
ผู้วิจัยจึงควรพิจารณาค่า IOC ร่วมกับนิยามเชิงปฏิบัติการ ตารางวิเคราะห์ข้อสอบ และข้อเสนอแนะเชิงคุณภาพจากผู้เชี่ยวชาญ
อีกเรื่องที่ควรระวังคือ ไม่ควรนำเกณฑ์ค่า IOC ที่นิยมใช้มาอธิบายว่าเป็นข้อบังคับตายตัวสำหรับเครื่องมือทุกชนิด โดยไม่พิจารณาจำนวนผู้เชี่ยวชาญและวิธีตรวจสอบที่ใช้
เรื่องที่สอง เครื่องมือมีความตรงแล้ว ต้องตรวจสอบความเที่ยงอีกหรือไม่?
คำตอบขึ้นอยู่กับลักษณะของเครื่องมือและการนำผลไปใช้ครับ
ความตรง (Validity) เกี่ยวข้องกับหลักฐานและเหตุผลที่สนับสนุนการตีความคะแนนเพื่อวัตถุประสงค์ที่กำหนด
ส่วนความเที่ยง (Reliability) เกี่ยวข้องกับความสม่ำเสมอหรือความคงเส้นคงวาของคะแนนภายใต้เงื่อนไขการวัดที่เหมาะสม
สองเรื่องนี้เกี่ยวข้องกัน แต่ไม่ใช่สิ่งเดียวกัน
สมมติว่าครูสร้างแบบทดสอบวัดผลสัมฤทธิ์ทางการเรียน แล้วนำไปทดลองใช้กับนักเรียนที่มีลักษณะใกล้เคียงกับกลุ่มเป้าหมาย
ครูอาจวิเคราะห์ค่าความยากง่ายและอำนาจจำแนกของข้อสอบ รวมถึงประมาณค่าความเที่ยงด้วยวิธีที่เหมาะสม
หากเป็นข้อสอบให้คะแนนถูกผิด อาจพิจารณาวิธี KR-20 ภายใต้เงื่อนไขที่เหมาะสม
แต่ถ้าเป็นแบบสอบถามมาตรประมาณค่า อาจพิจารณาสัมประสิทธิ์แอลฟาของครอนบาค หรือวิธีอื่นที่สอดคล้องกับโครงสร้างและลักษณะข้อมูล
สิ่งที่ผมอยากเน้นคือ อย่าเลือกใช้สถิติเพียงเพราะเห็นงานวิจัยเรื่องอื่นใช้
แต่ควรเลือกจากธรรมชาติของเครื่องมือ โครงสร้างสิ่งที่ต้องการวัด และข้อสมมติของวิธีวิเคราะห์นั้น
เรื่องที่สาม ค่าอำนาจจำแนกและความยากง่าย จำเป็นกับเครื่องมือทุกชนิดหรือไม่?
ไม่จำเป็นครับ
ถ้าเป็นแบบทดสอบวัดผลสัมฤทธิ์ทางการเรียน การวิเคราะห์ความยากง่ายและอำนาจจำแนกของข้อสอบมักเป็นประโยชน์ต่อการพิจารณาคุณภาพข้อคำถาม
แต่ถ้าเป็นแบบสัมภาษณ์กึ่งโครงสร้าง แบบสังเกตพฤติกรรม หรือแบบประเมินคุณภาพนวัตกรรม เราไม่ควรนำวิธีตรวจสอบของข้อสอบปรนัยไปใช้โดยไม่พิจารณาความเหมาะสม
เช่น แบบสังเกตพฤติกรรมการจัดการเรียนรู้ของครู อาจต้องพิจารณาความชัดเจนของเกณฑ์การสังเกต และความสอดคล้องของผลการให้คะแนนระหว่างผู้สังเกต
หรือหากเป็นแบบประเมินสมรรถนะด้วยเกณฑ์การให้คะแนน (Rubric) ก็ควรตรวจสอบว่าคำอธิบายแต่ละระดับคะแนนสามารถใช้แยกคุณภาพการปฏิบัติได้ชัดเจนเพียงใด
ผู้ประเมินต่างคนกันใช้เกณฑ์เดียวกันแล้วให้คะแนนสอดคล้องกันหรือไม่ ก็เป็นคำถามที่ควรพิจารณา
ดังนั้น เครื่องมือแต่ละประเภทอาจต้องใช้หลักฐานตรวจสอบคุณภาพแตกต่างกัน
ผมมองว่านี่คือความสามารถทางระเบียบวิธีวิจัยที่ผู้จัดทำผลงานระดับเชี่ยวชาญควรแสดงให้เห็น
เพราะการใช้สถิติได้หลายตัว ไม่ได้หมายความว่าเราเลือกใช้สถิติได้ถูกต้องเสมอไป
เรื่องที่สี่ เครื่องมือวิจัยมีคุณภาพ แต่ทำไมผลการวิจัยยังอาจไม่น่าเชื่อถือ?
ลองมาพิจารณาตัวอย่างในงานบริหารสถานศึกษาครับ
ผู้บริหารพัฒนารูปแบบการบริหารโดยใช้ข้อมูลเป็นฐาน แล้วสร้างแบบสอบถามเพื่อประเมินประสิทธิผลของรูปแบบ
แบบสอบถามผ่านการตรวจสอบ IOC และมีค่าความเที่ยงอยู่ในระดับสูง
เมื่อเก็บข้อมูลจากครูในโรงเรียน พบว่าค่าเฉลี่ยความคิดเห็นต่อประสิทธิผลของรูปแบบอยู่ในระดับมากที่สุด
ผู้บริหารจึงสรุปว่า รูปแบบการบริหารมีประสิทธิผลสูงมาก
คำถามคือ…
แบบสอบถามนี้วัดประสิทธิผลของการบริหารจริง หรือวัดความคิดเห็นของครูเกี่ยวกับประสิทธิผล?
สองเรื่องนี้ไม่เหมือนกันครับ
หากเครื่องมือถามความเห็นของครูว่า ระบบบริหารมีความเหมาะสมหรือช่วยให้การทำงานสะดวกขึ้นเพียงใด ผลที่ได้ย่อมเป็นข้อมูลเกี่ยวกับการรับรู้หรือความคิดเห็นของผู้ตอบ
ไม่ควรนำไปสรุปแทนผลการเปลี่ยนแปลงของคุณภาพการจัดการเรียนรู้หรือผลลัพธ์ของผู้เรียนทั้งหมด
แม้แบบสอบถามจะมีค่า IOC และความเที่ยงสูงก็ตาม
นี่จึงเป็นเหตุผลว่าทำไมการตรวจสอบคุณภาพเครื่องมือ ต้องเริ่มจากคำถามว่า
“เราต้องการวัดอะไร?”
ก่อนจะถามว่า
“เราจะใช้สถิติอะไรตรวจสอบเครื่องมือ?”
ถ้าเรากำหนดสิ่งที่ต้องการวัดไม่ชัดเจน ต่อให้คำนวณค่าสถิติได้ถูกต้อง ก็อาจนำข้อมูลไปสรุปเกินกว่าสิ่งที่เครื่องมือวัดได้จริง
อีกเรื่องหนึ่งที่ผมอยากฝากไว้ คือการรายงานผลการตรวจสอบคุณภาพเครื่องมือในบทที่ 3
บางงานวิจัยระบุเพียงว่า
“เครื่องมือผ่านการตรวจสอบจากผู้เชี่ยวชาญ และมีค่าความเชื่อมั่นตามเกณฑ์ที่กำหนด”
แต่ไม่ได้แสดงรายละเอียดว่า ผู้วิจัยนำเครื่องมือไปทดลองใช้กับใคร จำนวนเท่าใด มีลักษณะใกล้เคียงกับกลุ่มเป้าหมายอย่างไร หรือใช้วิธีคำนวณค่าความเที่ยงแบบใด
บางเรื่องรายงานค่าความเที่ยงเพียงค่าเดียว ทั้งที่แบบสอบถามประกอบด้วยหลายมิติซึ่งอาจวัดคุณลักษณะที่แตกต่างกัน
การรายงานเช่นนี้อาจทำให้ผู้อ่านตรวจสอบความเหมาะสมของวิธีวิเคราะห์ได้ยาก
ผมจึงเห็นว่า การเขียนรายงานระดับเชี่ยวชาญควรอธิบายกระบวนการพัฒนาเครื่องมือให้สามารถตรวจสอบย้อนกลับได้
ตั้งแต่การกำหนดนิยามสิ่งที่ต้องการวัด การสร้างข้อคำถาม การตรวจสอบโดยผู้เชี่ยวชาญ การทดลองใช้ ไปจนถึงการวิเคราะห์และปรับปรุงเครื่องมือ
หากข้อคำถามบางข้อไม่ผ่านเกณฑ์ ผู้วิจัยควรอธิบายว่าได้ตัดออกหรือปรับปรุงอย่างไร และมีเหตุผลอะไรประกอบการตัดสินใจ
เพราะข้อคำถามที่ไม่ผ่านเกณฑ์ไม่ได้หมายความว่างานวิจัยล้มเหลว
ตรงกันข้าม การพบข้อบกพร่องแล้วนำข้อมูลมาปรับปรุงอย่างเป็นระบบ แสดงให้เห็นว่าผู้วิจัยใช้หลักฐานในการตัดสินใจจริง
ผมอยากฝากอีกประเด็นหนึ่งที่เกี่ยวข้องกับคำว่า “คิดค้นและปรับเปลี่ยน”
หากเราคิดค้นนวัตกรรมการเรียนรู้ขึ้นมา แต่ใช้เครื่องมือที่ไม่สามารถวัดผลลัพธ์ตามเป้าหมายของนวัตกรรมได้อย่างเหมาะสม
เราก็อาจไม่มีหลักฐานที่เพียงพอจะอธิบายว่าการคิดค้นนั้นก่อให้เกิดผลตามที่คาดหวังจริงหรือไม่
ยกตัวอย่างเช่น เราต้องการพัฒนาความสามารถในการคิดสร้างสรรค์ แต่กลับใช้ข้อสอบที่เน้นการจดจำข้อเท็จจริงเป็นเครื่องมือวัดผลหลัก
ต่อให้คะแนนหลังเรียนสูงขึ้นอย่างมีนัยสำคัญทางสถิติ ก็ยังไม่เพียงพอที่จะสรุปว่าผู้เรียนมีความสามารถในการคิดสร้างสรรค์สูงขึ้น
เพราะตัวเครื่องมืออาจไม่ได้วัดคุณลักษณะที่เราต้องการพัฒนาอย่างแท้จริง
นี่คือความสัมพันธ์ระหว่างคุณภาพเครื่องมือวิจัยกับคุณภาพของข้อสรุปทางวิชาการ
สำหรับผม การตรวจสอบคุณภาพเครื่องมือวิจัยไม่ได้ทำเพื่อให้บทที่ 3 มีตารางค่าสถิติครบถ้วน แต่ทำเพื่อให้เรามั่นใจว่าข้อมูลที่นำไปใช้ตอบคำถามวิจัยมีความน่าเชื่อถือเพียงพอ
หากข้อมูลไม่น่าเชื่อถือ ข้อสรุปเกี่ยวกับคุณภาพนวัตกรรมก็ย่อมมีข้อจำกัดตามไปด้วย
ก่อนจบตอนนี้ ผมอยากฝากคำถามให้ครูและผู้บริหารที่กำลังทำผลงานลองกลับไปตรวจสอบรายงานของตนเองว่า
“ถ้ากรรมการถามว่า ทำไมจึงเลือกใช้เครื่องมือนี้ และมีหลักฐานอะไรยืนยันว่าเครื่องมือสามารถวัดสิ่งที่ต้องการได้ เราจะอธิบายได้หรือไม่?”
ถ้าตอบได้ด้วยเหตุผลทางวิชาการ มีข้อมูลและหลักฐานสนับสนุน ก็แสดงว่าเราเข้าใจเครื่องมือที่ใช้มากกว่าการนำแบบสอบถามหรือแบบทดสอบไปเก็บข้อมูลเพียงอย่างเดียว
แต่ถ้าคำตอบมีเพียงว่า
“เพราะค่า IOC ผ่านเกณฑ์แล้ว”
ผมคิดว่าเราควรกลับไปศึกษาคุณภาพเครื่องมือให้ลึกซึ้งกว่าเดิมอีกสักหน่อยครับ
เพราะงานวิจัยระดับเชี่ยวชาญควรทำให้ผู้อ่านเห็นว่า ผู้วิจัยมีความสามารถในการตัดสินใจเลือกวิธีการทางวิชาการที่เหมาะสมกับปัญหา ไม่ใช่เพียงดำเนินการตามรูปแบบรายงานที่เคยพบเห็นมา
และผมอยากฝากประโยคหนึ่งไว้ว่า
“เครื่องมือวิจัยที่ดี ไม่ได้วัดจากจำนวนค่าสถิติที่รายงาน แต่วัดจากความเหมาะสมของหลักฐานที่ใช้สนับสนุนการตีความผลการวิจัย”
ตอนที่ 9 “บทที่ 4 มีตารางเต็มไปหมด แต่ทำไมยังตอบคำถามวิจัยไม่ชัด?”
ตอนต่อไปผมจะชวนวิเคราะห์การนำเสนอผลการวิจัยในบทที่ 4 โดยเฉพาะการใช้ค่าเฉลี่ย ส่วนเบี่ยงเบนมาตรฐาน การทดสอบสมมติฐาน และการวิเคราะห์ข้อมูลเชิงคุณภาพ ว่าควรนำเสนออย่างไรจึงจะช่วยให้ผู้อ่านเห็นหลักฐานของการคิดค้นและปรับเปลี่ยนอย่างมีเหตุผล
เขียนโดย
ดร.อนุศร หงษ์ขุนทด
ศึกษานิเทศก์ วิทยฐานะศึกษานิเทศก์เชี่ยวชาญ
หมายเหตุ: ตัวอย่างในบทความเป็นกรณีสมมติเพื่ออธิบายหลักการตรวจสอบคุณภาพเครื่องมือวิจัย การเลือกใช้สถิติและเกณฑ์การยอมรับต้องพิจารณาตามชนิดของเครื่องมือ วัตถุประสงค์การวัด และระเบียบวิธีวิจัยที่ใช้
#คิดค้นและปรับเปลี่ยน #วิทยฐานะเชี่ยวชาญ #ครูเชี่ยวชาญ #ผู้บริหารเชี่ยวชาญ #ศึกษานิเทศก์เชี่ยวชาญ #เครื่องมือวิจัย #IOC #ความตรงและความเที่ยง #การวัดและประเมินผล #การวิจัยทางการศึกษา #วิจัยและพัฒนา #เขียนรายงานวิจัย #ผลงานทางวิชาการ #PA #DPA #แลกเปลี่ยนเรียนรู้ทางการศึกษา
อ่านต่อในชุดนี้: ← อ่านตอนที่ 7 | อ่านตอนที่ 9 →