ตอนที่ 7 “ผู้เชี่ยวชาญประเมินนวัตกรรมว่าดีมาก แต่ทำไมผลงานอาจยังไม่ผ่าน?” ความเหมาะสม ความสอดคล้อง และประสิทธิผล เป็นคนละเรื่องกัน
ชุดบทความ “คิดค้นและปรับเปลี่ยน” — ตอนที่ 7 จาก 10
วันนี้ผมอยากชวนครู ผู้บริหารสถานศึกษา และศึกษานิเทศก์ที่กำลังพัฒนาผลงานวิทยฐานะเชี่ยวชาญ มาคุยกันเรื่องหนึ่งที่เกี่ยวข้องกับคุณภาพของงานวิจัยโดยตรงครับ
นั่นคือ “การตรวจสอบคุณภาพนวัตกรรมโดยผู้เชี่ยวชาญ”
หลายท่านอาจเคยพบข้อความลักษณะนี้ในรายงานการวิจัย
“ผลการประเมินรูปแบบโดยผู้เชี่ยวชาญ จำนวน 5 คน พบว่า รูปแบบมีความเหมาะสมอยู่ในระดับมากที่สุด มีค่าเฉลี่ยเท่ากับ 4.85 และส่วนเบี่ยงเบนมาตรฐานเท่ากับ 0.32”
จากนั้นผู้วิจัยก็สรุปว่า
“รูปแบบที่พัฒนาขึ้นมีคุณภาพและสามารถนำไปใช้พัฒนาผู้เรียนได้อย่างมีประสิทธิภาพ”
อ่านมาถึงตรงนี้ หลายคนอาจรู้สึกว่า ผลการประเมินดีมากแล้ว ผู้เชี่ยวชาญก็ให้คะแนนสูง นวัตกรรมก็น่าจะมีคุณภาพเพียงพอ
แต่ผมอยากชวนคิดอีกนิดครับว่า…
“ผู้เชี่ยวชาญกำลังประเมินอะไร และคะแนนที่ได้สามารถยืนยันอะไรได้จริง?”
นี่คือประเด็นที่ผู้ทำผลงานทางวิชาการควรทำความเข้าใจให้ชัดเจน โดยเฉพาะผลงานระดับเชี่ยวชาญที่ต้องแสดงให้เห็นการคิดค้นและปรับเปลี่ยนอย่างมีคุณภาพ
ลองนึกภาพผู้บริหารสถานศึกษาคนหนึ่งกำลังพัฒนารูปแบบการบริหารงานวิชาการเพื่อส่งเสริมสมรรถนะการจัดการเรียนรู้ของครู
ผู้บริหารศึกษาทฤษฎีและงานวิจัยที่เกี่ยวข้อง แล้วสังเคราะห์ออกมาเป็นรูปแบบการบริหาร 5 องค์ประกอบ
จากนั้นเชิญผู้เชี่ยวชาญ 5 คนมาประเมินความเหมาะสมของรูปแบบ
ผลปรากฏว่า ทุกองค์ประกอบได้รับคะแนนเฉลี่ยอยู่ในระดับมากที่สุด
ผู้วิจัยจึงมั่นใจว่ารูปแบบนี้มีประสิทธิภาพสูง
แต่หากพิจารณาในเชิงระเบียบวิธีวิจัย เราต้องแยกให้ออกก่อนครับว่า
การประเมินความเหมาะสมของรูปแบบ เป็นการพิจารณาว่าผู้เชี่ยวชาญเห็นว่าองค์ประกอบและกระบวนการที่ออกแบบขึ้นมีความเหมาะสมเพียงใด
ส่วนประสิทธิผลของรูปแบบ ต้องพิจารณาจากหลักฐานที่เกิดขึ้นเมื่อนำรูปแบบไปใช้จริง
ดังนั้น การที่ผู้เชี่ยวชาญให้คะแนนความเหมาะสมสูงมาก ไม่ได้หมายความว่ารูปแบบจะสามารถแก้ปัญหาได้สำเร็จโดยอัตโนมัติ
ผมขอยกตัวอย่างง่าย ๆ ครับ
ครูออกแบบรูปแบบการจัดการเรียนรู้เพื่อพัฒนาความสามารถในการอ่านจับใจความของนักเรียน
เมื่อให้ผู้เชี่ยวชาญประเมิน พบว่ารูปแบบมีความเหมาะสมในระดับมากที่สุด
แต่เมื่อนำไปทดลองใช้จริง ครูกลับพบว่า นักเรียนบางกลุ่มไม่สามารถปฏิบัติกิจกรรมตามขั้นตอนที่กำหนดได้ เพราะกิจกรรมมีความซับซ้อนเกินระดับความสามารถของผู้เรียน
เหตุการณ์เช่นนี้เกิดขึ้นได้
เพราะความเหมาะสมที่ผู้เชี่ยวชาญประเมินจากเอกสาร กับความเหมาะสมที่ปรากฏในสถานการณ์จริง อาจไม่ตรงกันทั้งหมด
ผมจึงมองว่า การตรวจสอบคุณภาพนวัตกรรมควรมีหลักฐานหลายลักษณะตามวัตถุประสงค์ ไม่ควรพึ่งคะแนนความคิดเห็นของผู้เชี่ยวชาญเพียงอย่างเดียว
แล้วเราควรใช้ผู้เชี่ยวชาญอย่างไร จึงจะเกิดประโยชน์ต่อการพัฒนานวัตกรรมจริง?
ประเด็นแรกที่ผมอยากฝากไว้คือ
อย่าเลือกผู้เชี่ยวชาญเพียงเพราะมีตำแหน่งทางวิชาการสูง
การมีตำแหน่งทางวิชาการเป็นคุณสมบัติที่มีคุณค่า แต่สิ่งที่ผู้วิจัยควรพิจารณาควบคู่กันคือ ความเชี่ยวชาญตรงกับสิ่งที่ต้องการตรวจสอบหรือไม่
สมมติว่าเรากำลังพัฒนารูปแบบการจัดการเรียนรู้เพื่อส่งเสริมความสามารถในการคิดเชิงคำนวณของนักเรียน
ผู้เชี่ยวชาญที่เกี่ยวข้องอาจมีความรู้ด้านหลักสูตรและการสอน ด้านการคิดเชิงคำนวณ หรือด้านการวัดและประเมินผล
แต่ไม่ได้หมายความว่าทุกคนต้องมีความเชี่ยวชาญเหมือนกันทั้งหมด
ผู้วิจัยควรกำหนดคุณสมบัติให้สัมพันธ์กับประเด็นที่จะประเมิน และอธิบายเหตุผลของการคัดเลือกอย่างชัดเจน
อีกเรื่องที่ควรระมัดระวังคือ จำนวนผู้เชี่ยวชาญ
บางท่านเข้าใจว่าการทำวิจัยระดับเชี่ยวชาญต้องมีผู้เชี่ยวชาญ 5 คน 7 คน หรือ 9 คน จึงจะมีคุณภาพสูง
ในทางวิจัย ไม่มีจำนวนเดียวที่เหมาะสมกับทุกงาน
จำนวนผู้เชี่ยวชาญขึ้นอยู่กับวัตถุประสงค์ วิธีการตรวจสอบคุณภาพ และแนวทางการวิเคราะห์ข้อมูลที่เลือกใช้ รวมถึงข้อกำหนดเฉพาะที่เกี่ยวข้อง
การมีผู้เชี่ยวชาญจำนวนมากจึงไม่ได้รับประกันว่าผลการประเมินจะน่าเชื่อถือมากกว่าเสมอไป
ประเด็นต่อมาคือ ต้องแยกให้ออกระหว่างการตรวจสอบความตรงของเครื่องมือวิจัย กับการตรวจสอบคุณภาพของนวัตกรรม
เรื่องนี้ผมพบว่าเป็นจุดที่สร้างความสับสนได้มากพอสมควร
ยกตัวอย่างเช่น ผู้วิจัยสร้างแบบทดสอบวัดความสามารถในการคิดวิเคราะห์ แล้วให้ผู้เชี่ยวชาญพิจารณาว่าข้อคำถามแต่ละข้อสอดคล้องกับวัตถุประสงค์การวัดหรือไม่
ในกรณีนี้อาจใช้ดัชนีความสอดคล้องระหว่างข้อคำถามกับวัตถุประสงค์ หรือ IOC ตามแนวทางที่กำหนดไว้
แต่เมื่อผู้วิจัยสร้างรูปแบบการจัดการเรียนรู้ขึ้นมาหนึ่งรูปแบบ แล้วต้องการตรวจสอบคุณภาพของรูปแบบทั้งระบบ คำถามที่ต้องประเมินอาจแตกต่างออกไป
เช่น องค์ประกอบของรูปแบบมีความสัมพันธ์กันหรือไม่ กระบวนการมีความเป็นไปได้ในการนำไปใช้เพียงใด และหลักการที่กำหนดไว้สอดคล้องกับแนวคิดทางวิชาการหรือไม่
ดังนั้น การใช้ IOC เพียงค่าเดียวมาตัดสินว่านวัตกรรมทั้งรูปแบบมีคุณภาพสูง อาจไม่เหมาะสมกับลักษณะสิ่งที่ต้องการประเมิน
เราต้องเลือกวิธีตรวจสอบให้ตรงกับคำถามที่ต้องการหาคำตอบ
และอีกเรื่องหนึ่งที่อยากเน้นคือ ค่า IOC สูง ไม่ได้ยืนยันว่าเครื่องมือมีความเที่ยง หรือว่าสามารถวัดสิ่งที่ต้องการได้อย่างถูกต้องในทุกสถานการณ์
ผู้วิจัยอาจจำเป็นต้องตรวจสอบคุณภาพด้านอื่นเพิ่มเติม เช่น ความยากง่าย อำนาจจำแนก หรือความเที่ยงของเครื่องมือ ขึ้นอยู่กับชนิดของเครื่องมือและวัตถุประสงค์การนำไปใช้
การตรวจสอบเครื่องมือให้มีคุณภาพจึงเป็นกระบวนการที่ต้องเลือกวิธีให้เหมาะสม ไม่ใช่นำสถิติเดียวมาใช้กับทุกกรณี
ทีนี้มาถึงเรื่องที่ผมอยากให้ความสำคัญมากที่สุดครับ
นั่นคือ “การนำข้อเสนอแนะของผู้เชี่ยวชาญไปใช้ปรับปรุงนวัตกรรม”
ในรายงานวิจัยหลายเรื่อง เราอาจพบข้อความว่า
“ผู้วิจัยได้นำข้อเสนอแนะของผู้เชี่ยวชาญมาปรับปรุงรูปแบบให้มีความสมบูรณ์ยิ่งขึ้น”
ข้อความนี้อ่านแล้วดูดีครับ
แต่เมื่อพิจารณารายละเอียดกลับไม่พบว่า ผู้เชี่ยวชาญเสนออะไร และผู้วิจัยปรับปรุงอะไรไปบ้าง
บางครั้งข้อเสนอแนะที่ปรากฏมีเพียงการปรับภาษา เปลี่ยนชื่อกิจกรรม หรือแก้รูปแบบแผนภาพ
แน่นอนว่าการปรับปรุงเหล่านี้มีประโยชน์
แต่หากต้องการแสดงให้เห็นกระบวนการคิดค้นและปรับเปลี่ยนในระดับที่สูงขึ้น เราควรให้ความสำคัญกับข้อเสนอแนะที่ส่งผลต่อคุณภาพของนวัตกรรมด้วย
ลองพิจารณาตัวอย่างนี้ครับ
ผู้วิจัยพัฒนารูปแบบการนิเทศภายในที่ประกอบด้วยขั้นตอนการวางแผน การนิเทศ และการประเมินผล
ผู้เชี่ยวชาญให้ข้อสังเกตว่า รูปแบบดังกล่าวยังขาดกระบวนการนำข้อมูลจากการนิเทศกลับไปใช้พัฒนาการสอนของครู
ผู้วิจัยจึงนำข้อเสนอแนะมาวิเคราะห์ร่วมกับแนวคิดทางวิชาการ แล้วปรับรูปแบบโดยเพิ่มกระบวนการสะท้อนผลและวางแผนปรับการสอนรายบุคคล
จากนั้นตรวจสอบความเหมาะสมของรูปแบบที่ปรับปรุงแล้ว ก่อนนำไปทดลองใช้จริง
หากระหว่างทดลองใช้พบว่า ครูยังไม่สามารถนำข้อมูลย้อนกลับไปใช้ได้อย่างต่อเนื่อง ผู้วิจัยก็อาจต้องปรับกลไกการติดตามหรือการให้คำปรึกษาเพิ่มเติม
ตรงนี้เองครับที่เราเริ่มเห็นคุณค่าของความคิดเห็นจากผู้เชี่ยวชาญ
เพราะผู้เชี่ยวชาญไม่ได้มีหน้าที่เพียงให้คะแนนรับรองว่านวัตกรรมเหมาะสม
แต่ช่วยให้ผู้วิจัยมองเห็นข้อจำกัดที่อาจมองข้าม และนำข้อค้นพบนั้นไปใช้พัฒนารูปแบบให้มีเหตุผลรองรับมากขึ้น
อย่างไรก็ตาม ผู้วิจัยไม่จำเป็นต้องยอมรับข้อเสนอแนะทุกประเด็นโดยไม่มีการพิจารณา
หากข้อเสนอแนะบางเรื่องไม่สอดคล้องกับหลักการของนวัตกรรมหรือบริบทการวิจัย ผู้วิจัยควรอธิบายเหตุผลทางวิชาการว่าเหตุใดจึงไม่ได้ปรับตามข้อเสนอนั้น
เพราะความสามารถในการตัดสินใจบนฐานความรู้และหลักฐาน ก็เป็นส่วนหนึ่งของความเชี่ยวชาญเช่นกัน
ผมจึงอยากให้ครูและผู้บริหารที่กำลังทำผลงาน ลองกลับไปเปิดรายงานวิจัยของตนเองในส่วนของการตรวจสอบคุณภาพนวัตกรรม แล้วถามตัวเองว่า
เราเลือกผู้เชี่ยวชาญด้วยเหตุผลอะไร?
เครื่องมือที่ให้ผู้เชี่ยวชาญประเมิน ตรงกับสิ่งที่ต้องการตรวจสอบหรือไม่?
ผลการประเมินบอกอะไรเราได้จริง และยังมีข้อจำกัดอะไร?
รวมถึงที่สำคัญที่สุด…
“ความคิดเห็นของผู้เชี่ยวชาญทำให้นวัตกรรมของเราเปลี่ยนแปลงไปในทางใด?”
หากตอบคำถามสุดท้ายได้อย่างชัดเจน พร้อมแสดงหลักฐานของรูปแบบก่อนและหลังปรับปรุง งานของเราก็จะทำให้ผู้อ่านเห็นกระบวนการพัฒนานวัตกรรมได้ชัดเจนขึ้น
สำหรับผม การที่ผู้เชี่ยวชาญให้คะแนนเต็ม ไม่ได้น่าสนใจเท่ากับการที่ผู้วิจัยสามารถอธิบายได้ว่า ได้เรียนรู้อะไรจากผู้เชี่ยวชาญ และนำความรู้นั้นไปปรับปรุงผลงานอย่างไร
เพราะการประเมินคุณภาพนวัตกรรมไม่ควรเป็นเพียงขั้นตอนหนึ่งที่ทำให้รายงานวิจัยครบตามรูปแบบ
แต่ควรเป็นกระบวนการที่ทำให้ผู้วิจัยได้ตรวจสอบสมมติฐานของตนเอง มองเห็นข้อจำกัด และมีเหตุผลเพียงพอในการพัฒนานวัตกรรมต่อไป
ก่อนจบตอนนี้ ผมอยากฝากประโยคหนึ่งไว้ครับ
“อย่าใช้ผู้เชี่ยวชาญเพียงเพื่อรับรองว่าสิ่งที่เราคิดนั้นดี แต่ควรใช้ความเชี่ยวชาญของเขาช่วยตรวจสอบว่า สิ่งที่เราคิดยังมีอะไรที่ต้องปรับปรุง”
เพราะในผลงานทางวิชาการระดับเชี่ยวชาญ สิ่งที่เราควรแสดงให้เห็นคือความสามารถในการคิดค้นและปรับเปลี่ยน โดยมีองค์ความรู้และหลักฐานรองรับอย่างชัดเจน
ไม่ใช่เพียงตารางค่าเฉลี่ยที่แสดงผลการประเมินอยู่ในระดับมากที่สุดทุกข้อ
และต้องไม่ลืมว่า การที่นวัตกรรมได้รับการประเมินว่ามีคุณภาพจากผู้เชี่ยวชาญ ไม่ได้หมายความว่าผลงานจะผ่านการประเมินวิทยฐานะโดยอัตโนมัติ เพราะคณะกรรมการยังต้องพิจารณาตามหลักเกณฑ์ องค์ประกอบ และหลักฐานของผลงานที่กำหนดสำหรับแต่ละตำแหน่ง
ตอนที่ 8 “เครื่องมือวิจัยผ่าน IOC แล้ว ทำไมกรรมการยังอาจตั้งข้อสังเกต?”
ตอนต่อไปผมจะชวนคุยเรื่องการสร้างเครื่องมือวิจัย การตรวจสอบความตรง ความเที่ยง ความยากง่าย อำนาจจำแนก และข้อผิดพลาดในการรายงานคุณภาพเครื่องมือที่ผู้จัดทำผลงานระดับเชี่ยวชาญควรระมัดระวัง
โดยเฉพาะคำถามที่ว่า “มีค่า IOC ตั้งแต่ 0.67 ถึง 1.00 แล้ว เราจะสรุปว่าเครื่องมือวิจัยมีคุณภาพได้เลยหรือไม่?”
เขียนโดย
ดร.อนุศร หงษ์ขุนทด
ศึกษานิเทศก์ วิทยฐานะศึกษานิเทศก์เชี่ยวชาญ
หมายเหตุ: ตัวอย่างและค่าทางสถิติในบทความเป็นกรณีสมมติ เพื่ออธิบายแนวทางการตรวจสอบคุณภาพนวัตกรรมและเครื่องมือวิจัย การประเมินผลงานจริงต้องพิจารณาหลักเกณฑ์ ก.ค.ศ. ที่เกี่ยวข้องกับแต่ละตำแหน่ง
#คิดค้นและปรับเปลี่ยน #วิทยฐานะเชี่ยวชาญ #ครูเชี่ยวชาญ #ผู้บริหารเชี่ยวชาญ #ศึกษานิเทศก์เชี่ยวชาญ #ผู้เชี่ยวชาญงานวิจัย #การตรวจสอบคุณภาพนวัตกรรม #IOC #เครื่องมือวิจัย #การวิจัยและพัฒนา #R_and_D #การพัฒนานวัตกรรมการศึกษา #เขียนผลงานทางวิชาการ #PA #DPA #แลกเปลี่ยนเรียนรู้ทางการศึกษา
อ่านต่อในชุดนี้: ← อ่านตอนที่ 6 | อ่านตอนที่ 8 →
