การวิเคราะห์เชิงลึกเปรียบเทียบระหว่าง “ผลลัพธ์การเรียนรู้” (Learning Outcomes) และ “ผลสัมฤทธิ์ทางการเรียน” (Academic Achievement) ในบริบทการศึกษาและการเปลี่ยนแปลงกระบวนทัศน์สากลสู่ประเทศไทย

December 5, 2025 ดร.อนุศร หงษ์ขุนทด 10 Views 0 Comments

แชร์เรื่องนี้

การวิเคราะห์เชิงลึกเปรียบเทียบระหว่าง “ผลลัพธ์การเรียนรู้” (Learning Outcomes) และ “ผลสัมฤทธิ์ทางการเรียน” (Academic Achievement) ในบริบทการศึกษาและการเปลี่ยนแปลงกระบวนทัศน์สากลสู่ประเทศไทย

ดร.อนุศร หงษ์ขุนทด
ศึกษานิเทศก์ วิทยฐานะศึกษานิเทศก์เชี่ยวชาญ สพม.นครราชสีมา
Musicmankob@gmail.com

__________________________________

บทสรุป

ท่ามกลางกระแสการเปลี่ยนแปลงอย่างพลิกผัน (Disruption) ในศตวรรษที่ 21 ระบบการศึกษาทั่วโลกกำลังเผชิญกับแรงกดดันมหาศาลในการปรับเปลี่ยนโครงสร้างจากการมุ่งเน้นเนื้อหาและการสอบวัดผลแบบดั้งเดิม ไปสู่การมุ่งเน้นสมรรถนะและความสามารถที่แท้จริงของผู้เรียน รายงานฉบับนี้มีวัตถุประสงค์เพื่อนำเสนอการวิเคราะห์เชิงลึกและครอบคลุมที่สุดเกี่ยวกับความแตกต่าง นัยสำคัญ และความสัมพันธ์ระหว่าง “ผลลัพธ์การเรียนรู้” (Learning Outcomes) และ “ผลสัมฤทธิ์ทางการเรียน” (Academic Achievement) โดยสังเคราะห์ข้อมูลจากงานวิจัย ทฤษฎีการศึกษา และบริบทเชิงนโยบายของประเทศไทย เพื่อเป็นแนวทางให้กับผู้บริหารสถานศึกษา นักพัฒนาหลักสูตร และคณาจารย์ ในการนำพาการศึกษาไทยก้าวข้ามกับดักของการวัดผลแบบเดิมไปสู่การประกันคุณภาพผู้เรียนที่แท้จริง

ส่วนที่ 1: ปฐมบทแห่งการศึกษายุคใหม่และการถอดรื้อมายาคติเดิม

1.1 วิกฤตการณ์ความหมาย: เมื่อ “เกรด” ไม่เท่ากับ “ความสามารถ”

เป็นเวลานานกว่าศตวรรษที่ระบบการศึกษาทั่วโลก รวมถึงประเทศไทย ยึดถือ “ผลสัมฤทธิ์ทางการเรียน” (Academic Achievement) เป็นตัวชี้วัดความสำเร็จสูงสุดของผู้เรียน ค่าคะแนนสอบ (Test Scores) และเกรดเฉลี่ยสะสม (GPA) ถูกใช้เป็นสกุลเงินหลักในการตีค่าคุณภาพของมนุษย์ อย่างไรก็ตาม ข้อมูลเชิงประจักษ์จากตลาดแรงงานและการวิจัยทางการศึกษาเริ่มชี้ให้เห็นรอยร้าวของแนวคิดนี้ ¹ นายจ้างจำนวนมากพบว่าบัณฑิตที่มีผลสัมฤทธิ์สูง (เกรด A) ไม่สามารถปฏิบัติงานจริงได้ ขาดทักษะการคิดวิเคราะห์ การแก้ปัญหา และการทำงานร่วมกับผู้อื่น ซึ่งเป็นช่องว่างที่แนวคิดเรื่อง “ผลลัพธ์การเรียนรู้” (Learning Outcomes) เข้ามาเติมเต็ม

ความสับสนระหว่างสองคำนี้ยังคงฝังรากลึกในระบบการศึกษา หลายฝ่ายเข้าใจผิดว่าผลลัพธ์การเรียนรู้เป็นเพียงคำศัพท์ใหม่ของวัตถุประสงค์การเรียนรู้ (Learning Objectives) หรือเป็นเพียงชื่อเรียกที่สวยหรูของผลสัมฤทธิ์ แต่ในความเป็นจริง ทั้งสองแนวคิดนี้ตั้งอยู่บนฐานคิดทางปรัชญาและจิตวิทยาการเรียนรู้ที่แตกต่างกันอย่างสิ้นเชิง ² การทำความเข้าใจความแตกต่างนี้จึงไม่ใช่เรื่องของการเล่นคำ แต่เป็นการรื้อถอนโครงสร้างอำนาจของการวัดผลแบบเดิมที่เน้นการคัดเลือก (Sorting) มาสู่การวัดผลเพื่อการพัฒนา (Development)

1.2 พลวัตการเปลี่ยนผ่านจาก Content-Based สู่ Outcome-Based

ระบบการศึกษาแบบดั้งเดิม (Traditional Education) ถูกออกแบบมาในยุคอุตสาหกรรมที่เน้นมาตรฐานเดียวกัน (Standardization) การจัดการเรียนการสอนจึงเน้นที่ “เนื้อหา” (Content-based) ครูทำหน้าที่เป็นผู้ถ่ายทอดความรู้ (Transmitter) และผู้เรียนเป็นผู้รับ (Receiver) ความสำเร็จวัดจากการที่ผู้เรียนสามารถจดจำและเรียกคืนข้อมูลเหล่านั้นออกมาได้มากน้อยเพียงใดในห้องสอบ ซึ่งเรียกว่าผลสัมฤทธิ์ ⁴

ในทางตรงกันข้าม การศึกษาที่เน้นผลลัพธ์ (Outcome-Based Education – OBE) ซึ่งเป็นรากฐานของผลลัพธ์การเรียนรู้ ได้พลิกกระบวนทัศน์นี้โดยสิ้นเชิง โดยเริ่มต้นจาก “จุดจบ” (The End) หรือเป้าหมายปลายทางว่าผู้เรียนต้อง “ทำอะไรได้” (What learners can do) เมื่อสำเร็จการศึกษา แล้วจึงย้อนกลับมาออกแบบหลักสูตร (Backward Design) การเปลี่ยนแปลงนี้ย้ายศูนย์กลางอำนาจจาก “สิ่งที่ครูสอน” ไปสู่ “สิ่งที่ผู้เรียนเรียนรู้” ⁴

ส่วนที่ 2: การวิเคราะห์เชิงลึก “ผลสัมฤทธิ์ทางการเรียน” (Academic Achievement)

2.1 นิยามและโครงสร้างทางจิตวิทยาของผลสัมฤทธิ์

“ผลสัมฤทธิ์ทางการเรียน” (Academic Achievement) หมายถึง ระดับความสำเร็จหรือความเชี่ยวชาญที่ผู้เรียนได้รับจากการฝึกอบรมหรือการเรียนการสอนในรายวิชาหนึ่งๆ ซึ่งมักวัดออกมาเป็นคะแนน เกรด หรือระดับคุณภาพ ⁷ ในทางจิตวิทยาและทฤษฎีการวัดผล ผลสัมฤทธิ์มุ่งเน้นไปที่การวัดพฤติกรรมในอดีต (Retrospective Measurement) ว่าผู้เรียนได้สะสมความรู้ไปมากน้อยเพียงใดในช่วงเวลาที่กำหนด ¹

องค์ประกอบของผลสัมฤทธิ์มักถูกจำกัดอยู่ในกรอบของพุทธิพิสัย (Cognitive Domain) ระดับล่าง คือ ความจำ (Recall) และความเข้าใจ (Comprehension) โดยมีสมมติฐานว่าคะแนนสอบที่สูงสะท้อนถึงความฉลาดและความขยันหมั่นเพียร งานวิจัยระบุว่าผลสัมฤทธิ์ทางการเรียนมีความสัมพันธ์อย่างมีนัยสำคัญกับปัจจัยทางจิตวิทยา เช่น การมีส่วนร่วมของผู้เรียน (Student Engagement) และความสัมพันธ์ระหว่างครูกับนักเรียน แต่บ่อยครั้งที่ผลสัมฤทธิ์วัดได้เพียง “เปลือก” ของการเรียนรู้มากกว่า “แก่น” ของสมรรถนะ ⁹

2.2 ประเภทและกลไกของเครื่องมือวัดผลสัมฤทธิ์

เพื่อให้เข้าใจถึงข้อจำกัดของผลสัมฤทธิ์ จำเป็นต้องวิเคราะห์เครื่องมือที่ใช้ในการวัด ซึ่งส่วนใหญ่คือ “แบบทดสอบวัดผลสัมฤทธิ์” (Achievement Tests) ที่มีการจำแนกประเภทอย่างละเอียด ดังนี้ ¹⁰:

ประเภทของแบบทดสอบ	ลักษณะเด่นและเป้าหมายการวัด	นัยสำคัญต่อผลสัมฤทธิ์
Diagnostic Tests	ใช้ก่อนเริ่มเรียนเพื่อหาจุดแข็งจุดอ่อน	บอกต้นทุนเดิมของผู้เรียน แต่ไม่ได้สะท้อนความสำเร็จปลายทาง
Formative Tests	สอบย่อยระหว่างเรียน (Quizzes)	มุ่งเน้นการตรวจสอบความก้าวหน้า แต่ในระบบเดิมมักถูกนำมารวมเป็นคะแนนเก็บเพื่อตัดเกรด
Prognostic Tests	ใช้ทำนายผลในอนาคต (เช่น SAT, ACT)	เน้นวัดความถนัด (Aptitude) มากกว่าสิ่งที่เรียนรู้จากห้องเรียนโดยตรง ¹²
Accuracy Tests	เน้นความแม่นยำในการตอบ ไม่จำกัดเวลามากนัก	วัดความรู้ความจำที่แม่นยำในเนื้อหา
Power Tests	ข้อสอบที่ยากขึ้นเรื่อยๆ ไม่จำกัดเวลา	วัดขีดความสามารถสูงสุด (Ceiling of ability) ของผู้เรียน
Speed Tests	ข้อสอบง่ายแต่มีจำนวนมากและจำกัดเวลา	วัดความคล่องแคล่วและการประมวลผลเร็ว (Processing Speed) ซึ่งบ่อยครั้งถูกใช้เป็นตัวชี้วัดความเก่งในระบบการศึกษาไทย

2.3 กับดักของการวัดผลแบบอิงกลุ่ม (Norm-Referenced Trap)

ลักษณะสำคัญที่สุดที่แยกผลสัมฤทธิ์ออกจากผลลัพธ์การเรียนรู้ คือ “เกณฑ์การเทียบวัด” ผลสัมฤทธิ์ทางการเรียนส่วนใหญ่ โดยเฉพาะในการสอบคัดเลือกหรือการตัดเกรดในมหาวิทยาลัยแบบดั้งเดิม ใช้วิธีการวัดแบบอิงกลุ่ม (Norm-referenced Measurement) ⁴

กลไก: เปรียบเทียบคะแนนของผู้เรียนคนหนึ่งกับผู้เรียนคนอื่นๆ ในกลุ่มประชากรเดียวกัน (Bell Curve)
ผลลัพธ์: ผู้เรียนที่ได้เกรด A คือผู้ที่ทำคะแนนได้ดีกว่าเพื่อนร่วมรุ่น แต่ไม่ได้การันตีว่าเขาทำสิ่งนั้นได้ตามมาตรฐานวิชาชีพหรือไม่
ปัญหา: ระบบนี้สร้างวัฒนธรรมการแข่งขัน (Competition) มากกว่าการร่วมมือ (Collaboration) และไม่ได้ประกันคุณภาพว่า “ผู้ที่สอบผ่านทุกคนมีความสามารถจริง” เพียงแต่บอกว่า “เขารู้มากกว่าคนที่สอบตก” เท่านั้น ⁴

ส่วนที่ 3: สถาปัตยกรรมของ “ผลลัพธ์การเรียนรู้” (Learning Outcomes)

3.1 ปรัชญาและนิยามเชิงปฏิบัติการ

“ผลลัพธ์การเรียนรู้” (Learning Outcomes – LOs) คือข้อความที่ระบุอย่างชัดเจนถึงสิ่งที่ผู้เรียนจะ รู้ (Know) เข้าใจ (Understand) และ สามารถปฏิบัติได้ (Able to do) เมื่อสิ้นสุดกระบวนการเรียนรู้ ¹³ หัวใจสำคัญคือการเปลี่ยนจุดเน้นจาก “เจตนาของครู” (Objectives) ไปสู่ “การกระทำของผู้เรียน” (Outcomes)

ความแตกต่างระหว่างวัตถุประสงค์ (Objectives) กับ ผลลัพธ์ (Outcomes) มีความละเอียดอ่อนแต่สำคัญยิ่ง ¹⁵:

มิติ	วัตถุประสงค์การเรียนรู้ (Learning Objectives)	ผลลัพธ์การเรียนรู้ (Learning Outcomes)
ศูนย์กลาง	ครูผู้สอน (Teacher-centered)	ผู้เรียน (Student-centered)
มุมมอง	สิ่งที่ครู ตั้งใจจะสอน (Intention)	สิ่งที่ผู้เรียน บรรลุและแสดงออก (Achievement/Demonstration)
ลักษณะ	มักเป็นนามธรรม (เช่น “เพื่อให้เข้าใจ”, “เพื่อให้ตระหนัก”)	เป็นรูปธรรม วัดได้ สังเกตได้ (เช่น “สามารถวิเคราะห์”, “สามารถสร้าง”)
ขอบเขต	กระบวนการสอนและเนื้อหา (Process & Content)	ผลผลิตสุดท้ายของการเรียนรู้ (End Product)
การวัดผล	วัดว่าสอนครบถ้วนหรือไม่	วัดว่าผู้เรียนทำได้ตามเกณฑ์หรือไม่

3.2 อนุกรมวิธานแห่งการเรียนรู้ (Taxonomies of Learning Domains)

การเขียนผลลัพธ์การเรียนรู้ที่มีประสิทธิภาพต้องอิงตามกรอบทฤษฎีการเรียนรู้ เพื่อให้ครอบคลุมความเป็นมนุษย์ที่สมบูรณ์ โดยกรอบที่เป็นมาตรฐานสากลคือ Bloom’s Taxonomy และฉบับปรับปรุง (Revised Anderson & Krathwohl) ซึ่งแบ่งออกเป็น 3 โดเมนหลัก โดยต้องระบุระดับความลึกซึ้งของการเรียนรู้ ¹⁸

1. พุทธิพิสัย (Cognitive Domain): ด้านสติปัญญาและความคิด

การพัฒนาจากความจำพื้นฐานสู่การคิดขั้นสูง (Higher Order Thinking Skills – HOTS)

Remember (จำ): บอกนิยาม, ท่องจำ, ระบุ (Define, List, Recall)
Understand (เข้าใจ): อธิบายความหมาย, ยกตัวอย่าง, สรุปความ (Explain, Summarize, Interpret)
Apply (นำไปใช้): แก้โจทย์, สาธิต, คำนวณ (Solve, Demonstrate, Use)
Analyze (วิเคราะห์): เปรียบเทียบ, แยกแยะ, หาความสัมพันธ์ (Compare, Differentiate, Organize)
Evaluate (ประเมินค่า): ตัดสินใจ, ให้เหตุผล, วิจารณ์ (Judge, Defend, Critique)
Create (สร้างสรรค์): ออกแบบ, พัฒนา, ประดิษฐ์ (Design, Construct, Invent)

2. ทักษะพิสัย (Psychomotor Domain): ด้านทักษะและการปฏิบัติ

อิงตามแนวคิดของ Simpson หรือ Dave เน้นความชำนาญทางกายภาพ

Perception: การรับรู้และเตรียมพร้อม
Guided Response: การทำตามแบบ หรือลองผิดลองถูก
Mechanism: การทำได้อย่างคล่องแคล่วเป็นนิสัย
Complex Overt Response: การปฏิบัติทักษะที่ซับซ้อนด้วยความเชี่ยวชาญ
Adaptation: การปรับปรุงทักษะให้เข้ากับสถานการณ์ใหม่
Origination: การสร้างสรรค์รูปแบบการปฏิบัติใหม่ ¹⁹

3. จิตพิสัย (Affective Domain): ด้านเจตคติและคุณค่า

อิงตามแนวคิดของ Krathwohl เน้นการพัฒนาภายในจิตใจ

Receiving: การรับรู้และเต็มใจรับฟัง
Responding: การตอบสนองและมีส่วนร่วม
Valuing: การเห็นคุณค่าและยอมรับ
Organization: การจัดระบบค่านิยมและสร้างจุดยืน
Characterization: การมีบุคลิกภาพที่สะท้อนค่านิยมนั้นอย่างถาวร ¹⁹

3.3 ระดับชั้นของผลลัพธ์การเรียนรู้ (Hierarchy of Outcomes)

เพื่อให้เกิดความสอดคล้องทั้งระบบ ผลลัพธ์การเรียนรู้จะถูกกำหนดเป็นระดับชั้นที่เชื่อมโยงกัน ¹⁵:

Institutional Learning Outcomes (ILOs): คุณลักษณะบัณฑิตที่พึงประสงค์ระดับสถาบัน (เช่น บัณฑิตมหาวิทยาลัย A ต้องมีจิตสาธารณะ)
Program Learning Outcomes (PLOs): ผลลัพธ์ระดับหลักสูตร (เช่น บัณฑิตวิศวกรรมต้องออกแบบโครงสร้างได้ตามมาตรฐาน)
Course Learning Outcomes (CLOs): ผลลัพธ์ระดับรายวิชา (เช่น นักศึกษาสามารถคำนวณแรงกดในคานได้)
Lesson/Module Learning Outcomes (LLOs): ผลลัพธ์ระดับบทเรียน (เช่น นักศึกษาบอกสูตรการหาแรงกดได้)

ส่วนที่ 4: บทวิเคราะห์เปรียบเทียบเชิงลึก: รอยต่อระหว่างยุคสมัย

ตารางสังเคราะห์ความแตกต่างระหว่าง “ผลสัมฤทธิ์ทางการเรียน” และ “ผลลัพธ์การเรียนรู้” เพื่อแสดงให้เห็นถึงการเปลี่ยนแปลงเชิงโครงสร้างและปรัชญา ²:

มิติการวิเคราะห์	ผลสัมฤทธิ์ทางการเรียน (Academic Achievement)	ผลลัพธ์การเรียนรู้ (Learning Outcomes)
ฐานคิด (Paradigm)	Time-based & Content-driven: เรียนให้ครบเวลา สอนให้ครบเนื้อหา	Outcome-based & Competency-driven: เรียนจนกว่าจะทำได้ ไม่จำกัดเวลาหรือวิธีการ
เป้าหมายสูงสุด	การคัดเลือกและจัดลำดับ (Sorting & Ranking) ผู้เรียน	การประกันคุณภาพ (Quality Assurance) ว่าทุกคนผ่านเกณฑ์
ลักษณะข้อมูล	Quantitative: เน้นตัวเลข (Scores, GPA) เป็นภาพนิ่งในอดีต (Snapshot)	Qualitative & Performance: เน้นพฤติกรรมบ่งชี้ (Indicators) เป็นความสามารถระยะยาว
เกณฑ์การวัด	Norm-Referenced: เปรียบเทียบกับคนอื่น (เกรดตัดตามกลุ่ม)	Criterion-Referenced: เปรียบเทียบกับเกณฑ์มาตรฐาน (ผ่าน/ไม่ผ่านเกณฑ์)
การวัดผล	Summative: สอบปลายภาคเพื่อตัดสิน	Formative & Authentic: ประเมินต่อเนื่องและจากงานจริง
ความยืดหยุ่น	ต่ำ (Rigid): ทุกคนเรียนเหมือนกัน สอบพร้อมกัน	สูง (Flexible): ผู้เรียนเลือกเส้นทางการเรียนรู้ได้ (Personalized Learning path)
ความรับผิดชอบ	อยู่ที่ผู้เรียน (ถ้าสอบตก คือผู้เรียนไม่เก่ง)	อยู่ที่ระบบและผู้สอน (ถ้าผู้เรียนทำไม่ได้ ต้องปรับวิธีสอน)

นัยสำคัญเชิงวิเคราะห์:

ผลสัมฤทธิ์ทางการเรียนมักให้ภาพลวงตาแห่งความสำเร็จ (Illusion of Competence) ผู้เรียนอาจได้เกรด A จากการท่องจำระยะสั้น (Cramming) แต่ไม่สามารถนำความรู้นั้นไปใช้ได้จริงเมื่อเวลาผ่านไป ในขณะที่ผลลัพธ์การเรียนรู้มุ่งเน้นที่ “ความคงทนของความรู้” (Retention) และ “การถ่ายโอนการเรียนรู้” (Transfer of Learning) ไปสู่บริบทใหม่ๆ ซึ่งเป็นทักษะที่จำเป็นอย่างยิ่งในโลกยุคใหม่ 2

ส่วนที่ 5: บริบทประเทศไทย: TQF, มาตรฐานชาติ และความท้าทายในการปฏิบัติ

5.1 กรอบมาตรฐานคุณวุฒิระดับอุดมศึกษา (TQF) กับการขับเคลื่อน LOs

ประเทศไทยได้ประกาศใช้กรอบมาตรฐานคุณวุฒิระดับอุดมศึกษาแห่งชาติ (Thai Qualifications Framework for Higher Education – TQF) เพื่อผลักดันแนวคิด Outcome-Based Education โดยกำหนดมาตรฐานผลลัพธ์การเรียนรู้ (Domains of Learning Outcomes) ไว้ 5 ด้านหลัก (และ 6 ด้านในบางสาขา) ดังนี้ ²⁵:

ด้านคุณธรรม จริยธรรม (Ethics and Moral): ความรับผิดชอบต่อตนเอง วิชาชีพ และสังคม
ด้านความรู้ (Knowledge): ความรอบรู้ในศาสตร์และทฤษฎี
ด้านทักษะทางปัญญา (Cognitive Skills): ความสามารถในการคิดวิเคราะห์ สังเคราะห์ และแก้ปัญหา
ด้านทักษะความสัมพันธ์ระหว่างบุคคลและความรับผิดชอบ (Interpersonal Skills and Responsibility): การทำงานเป็นทีม ภาวะผู้นำ
ด้านทักษะการวิเคราะห์เชิงตัวเลข การสื่อสาร และเทคโนโลยีสารสนเทศ (Numerical Analysis, Communication, and IT Skills): การใช้เครื่องมือสากลในการสื่อสารและคำนวณ
ด้านทักษะพิสัย (Psychomotor Domain): (สำหรับสาขาปฏิบัติการ เช่น พยาบาลศาสตร์) ความเชี่ยวชาญในการปฏิบัติหัตถการ ²⁸

5.2 ความย้อนแย้งเชิงนโยบาย: O-NET กับกับดักผลสัมฤทธิ์

แม้จะมีนโยบายมุ่งเน้นผลลัพธ์การเรียนรู้และสมรรถนะ (Competency-based Curriculum) แต่ในทางปฏิบัติ ระบบการศึกษาขั้นพื้นฐานของไทยยังคงถูกครอบงำด้วยวัฒนธรรมการวัดผลสัมฤทธิ์ผ่านการสอบระดับชาติ เช่น O-NET (Ordinary National Educational Test) ซึ่งส่งผลกระทบย้อนกลับ (Washback Effect) อย่างรุนแรง ²⁹

Negative Washback: เนื่องจากโรงเรียนและครูถูกประเมินคุณภาพด้วยคะแนน O-NET จึงเกิดปรากฏการณ์ “สอนเพื่อสอบ” (Teaching to the test) โดยเน้นการติวข้อสอบปรนัย (Multiple Choice) ซึ่งวัดได้เพียงความจำและความเข้าใจระดับตื้น ส่งผลให้ผลลัพธ์การเรียนรู้ด้านการคิดขั้นสูงและการปฏิบัติจริงถูกละเลย
ความล้มเหลวของการวัดผล: ข้อสอบปรนัยไม่สามารถวัดทักษะการสื่อสารภาษาอังกฤษ (Speaking/Writing) หรือทักษะการคิดสร้างสรรค์ได้อย่างเที่ยงตรง ทำให้ผลคะแนน O-NET ไม่สะท้อนความสามารถจริงของผู้เรียน และขัดแย้งกับเป้าหมายของหลักสูตรแกนกลางที่เน้นสมรรถนะ ²⁹

5.3 กรอบวุฒิภาวะแห่งชาติ (NQF) และการศึกษาอาชีวะ

นอกเหนือจากอุดมศึกษา ประเทศไทยยังมีกรอบวุฒิภาวะแห่งชาติ (National Qualifications Framework – NQF) ที่เชื่อมโยงกับอาชีวศึกษา (TVET) ซึ่งเน้นผลลัพธ์การเรียนรู้ด้านสมรรถนะอาชีพอย่างชัดเจน โดยแบ่งระดับความสามารถเป็น 9 ระดับ ตั้งแต่ระดับพื้นฐานไปจนถึงระดับเชี่ยวชาญ การวัดผลในระบบนี้เน้นที่การปฏิบัติงานจริง (Performance-based) มากกว่าการสอบข้อเขียน เพื่อให้สอดคล้องกับความต้องการของตลาดแรงงาน ³⁰

ส่วนที่ 6: ยุทธวิธีการวัดและประเมินผลในกระบวนทัศน์ใหม่

6.1 จาก Standardized Testing สู่ Authentic Assessment

เมื่อเป้าหมายเปลี่ยนจาก “ความรู้” เป็น “การกระทำ” เครื่องมือวัดผลต้องเปลี่ยนจากการทดสอบมาตรฐาน (Standardized Testing) ไปสู่ “การประเมินตามสภาพจริง” (Authentic Assessment) ³¹

การประเมินตามสภาพจริง คือกระบวนการเก็บรวบรวมข้อมูลเกี่ยวกับความสามารถของผู้เรียนผ่านการลงมือปฏิบัติในสถานการณ์ที่ใกล้เคียงกับชีวิตจริง (Real-world tasks) มากที่สุด ลักษณะเด่นได้แก่:

Task-based: ให้ผู้เรียนทำงานชิ้นใหญ่หรือแก้ปัญหาที่ซับซ้อน
Direct Evidence: เป็นหลักฐานเชิงประจักษ์ของการเรียนรู้ (เช่น ชิ้นงาน, การแสดง) ไม่ใช่หลักฐานทางอ้อมแบบคะแนนสอบ
Construction of Knowledge: ผู้เรียนต้องสร้างคำตอบเอง ไม่ใช่เลือกคำตอบที่ถูกจากตัวเลือก

ตัวอย่างเครื่องมือ Authentic Assessment: ³⁴

Portfolios (แฟ้มสะสมงาน): รวบรวมผลงานต่อเนื่องเพื่อเห็นพัฒนาการ
Project-based Assessment: การประเมินจากโครงงาน
Performance Assessment: การสอบภาคปฏิบัติ (เช่น การแสดงดนตรี, การทำแล็บ, การสอนงาน)
Oral Interviews/Presentations: การสอบปากเปล่าหรือการนำเสนอ

6.2 Rubrics: หัวใจของความยุติธรรมในการวัดนามธรรม

เนื่องจากผลลัพธ์การเรียนรู้มักเป็นเรื่องนามธรรม (เช่น ความคิดสร้างสรรค์, จริยธรรม) การให้คะแนนจึงเสี่ยงต่อความลำเอียง (Subjectivity) เครื่องมือที่จำเป็นที่สุดคือ เกณฑ์การให้คะแนน (Rubrics) ³⁷

Rubrics ช่วยแปลงคุณภาพงานให้เป็นคะแนนที่มีความเที่ยงตรง (Reliability) ประกอบด้วย:

Criteria (เกณฑ์): สิ่งที่จะประเมิน (เช่น เนื้อหา, การนำเสนอ, ความคิดริเริ่ม)
Levels of Performance (ระดับคุณภาพ): (เช่น ดีเลิศ, ดี, พอใช้, ปรับปรุง)
Descriptors (คำอธิบาย): รายละเอียดพฤติกรรมในแต่ละระดับที่ชัดเจน

ประเภทของ Rubrics:

Holistic Rubric: ให้คะแนนภาพรวมของงาน เหมาะกับการประเมินสรุปรวบยอด
Analytic Rubric: แยกคะแนนตามรายด้าน เหมาะกับการให้ Feedback เพื่อพัฒนาผู้เรียนอย่างละเอียด ³⁷

6.3 Formative Assessment: การประเมินเพื่อพัฒนา

ในระบบผลสัมฤทธิ์ การสอบมักเกิดขึ้นปลายภาค (Summative) เพื่อตัดสินเกรด แต่ในระบบผลลัพธ์การเรียนรู้ เน้น Formative Assessment (การประเมินระหว่างเรียน) เพื่อให้ข้อมูลย้อนกลับ (Feedback) แก่ผู้เรียนให้นำไปปรับปรุงแก้ไข ก่อน ที่จะมีการตัดสินผลสุดท้าย ⁴⁰ การประเมินแบบนี้ช่วยสร้าง Growth Mindset และทำให้การเรียนรู้เกิดขึ้นอย่างต่อเนื่อง

ส่วนที่ 7: การออกแบบการเรียนการสอนเพื่อผลลัพธ์ (Instructional Design for Outcomes)

7.1 การออกแบบย้อนกลับ (Backward Design) และ Constructive Alignment

เพื่อให้การจัดการเรียนการสอนนำไปสู่ผลลัพธ์การเรียนรู้อย่างแท้จริง ผู้สอนต้องใช้หลักการ Constructive Alignment (ความสอดคล้องเชิงสร้างสรรค์) ซึ่งพัฒนาโดย John Biggs ⁴² โดยมีองค์ประกอบ 3 ส่วนที่ต้องสอดคล้องกันเป็นเนื้อเดียว:

Intended Learning Outcomes (ILOs): ตั้งเป้าหมายว่าผู้เรียนต้องทำอะไรได้ (ใช้ ABCD Model)
Teaching Learning Activities (TLAs): ออกแบบกิจกรรมที่ให้ผู้เรียน ฝึกทำ สิ่งที่ระบุใน ILOs (ไม่ใช่แค่ฟังบรรยาย)
Assessment Tasks (ATs): ออกแบบการประเมินที่วัดพฤติกรรมเดียวกับที่ระบุใน ILOs

หากขาดความสอดคล้อง (Misalignment) เช่น ตั้งผลลัพธ์ว่า “วิเคราะห์” แต่สอนด้วยการ “บรรยาย” และสอบด้วย “ความจำ” ผลลัพธ์การเรียนรู้ย่อมไม่เกิดขึ้น และจะได้เพียงผลสัมฤทธิ์ทางความจำเท่านั้น

7.2 เทคนิคการเขียน LOs ด้วย ABCD Model

การเขียนผลลัพธ์การเรียนรู้ที่ดีต้องมีความชัดเจน ไม่กำกวม โดยใช้โมเดล ABCD ²⁰:

A – Audience (ผู้เรียน): ระบุชัดเจนว่าเป็นใคร (เช่น “นักศึกษาชั้นปีที่ 2”)
B – Behavior (พฤติกรรม): ใช้ Action Verb ที่สังเกตได้ (เช่น “เขียนโปรแกรม”, “สาธิตวิธีปฐมพยาบาล”) ห้ามใช้คำว่า “รู้”, “เข้าใจ”, “ซาบซึ้ง” เพราะวัดไม่ได้
C – Condition (เงื่อนไข): ภายใต้สถานการณ์ใด (เช่น “โดยไม่มีคู่มือ”, “ภายในเวลา 10 นาที”)
D – Degree (เกณฑ์ความสำเร็จ): ระดับคุณภาพที่ยอมรับได้ (เช่น “ถูกต้อง 100%”, “ตามมาตรฐาน ISO”)

ตัวอย่าง: “นักศึกษาพยาบาล (A) สามารถเจาะเลือด (B) ผู้ป่วยจำลอง (C) ได้อย่างถูกต้องตามหลัก Aseptic Technique ทุกขั้นตอน (D)”

7.3 การเปลี่ยนบทบาทครูสู่ Facilitator และ Learning Designer

การเปลี่ยนผ่านสู่ OBE เรียกร้องให้ครูไทยเปลี่ยนบทบาทจาก “ผู้บอกความรู้” (Sage on the stage) เป็น “ผู้ออกแบบและอำนวยความสะดวก” (Guide on the side) ⁴⁴

Design: ออกแบบภาระงานที่ท้าทาย
Facilitate: กระตุ้นด้วยคำถาม (Inquiry), ให้ Feedback, สร้างบรรยากาศที่ปลอดภัย
Empower: ให้ผู้เรียนมีส่วนร่วมในการเลือกวิธีการเรียนรู้ (Student Voice & Choice)

บทสรุปและข้อเสนอแนะเชิงนโยบาย

การเปลี่ยนผ่านจาก “ผลสัมฤทธิ์ทางการเรียน” สู่ “ผลลัพธ์การเรียนรู้” ไม่ใช่เพียงวาทกรรมทางการศึกษา แต่เป็นความจำเป็นเร่งด่วนในการยกระดับทุนมนุษย์ของประเทศ ผลสัมฤทธิ์ทางการเรียน (เกรด/คะแนน) ไม่ได้ไร้ค่า แต่ควรถูกลดบทบาทลงเหลือเพียง “ตัวบ่งชี้หนึ่ง” ของความรู้พื้นฐาน ในขณะที่ผลลัพธ์การเรียนรู้ควรถูกยกสถานะขึ้นเป็น “เป้าหมายหลัก” ของการจัดการศึกษา

ข้อเสนอแนะ:

ระดับนโยบาย: กระทรวงศึกษาธิการและ อว. ต้องลดน้ำหนักการประเมินโรงเรียนด้วยคะแนน O-NET และหันมาใช้ระบบประเมินฐานสมรรถนะ (Competency-based Assessment) ที่หลากหลายมากขึ้น
ระดับสถาบัน: มหาวิทยาลัยและโรงเรียนต้องลงทุนในการพัฒนาทักษะการวัดผล (Assessment Literacy) ของครูอาจารย์ โดยเฉพาะการสร้าง Rubrics และการประเมินตามสภาพจริง
ระดับห้องเรียน: ครูต้องกล้าที่จะลดเวลาการบรรยาย และเพิ่มเวลาให้ผู้เรียนได้ “ลงมือทำ” เพื่อพิสูจน์ผลลัพธ์การเรียนรู้ด้วยตนเอง

การศึกษายุคใหม่มิใช่การแข่งกันว่าใคร “รู้” มากกว่ากัน แต่คือการพิสูจน์ว่าใคร “นำความรู้ไปใช้สร้างสรรค์” ได้ดีกว่ากัน และนั่นคือหัวใจที่แท้จริงของ “ผลลัพธ์การเรียนรู้”

Works cited

Inter-Relationships among Academic Performance, Academic Achievement and Learning Outcomes, accessed December 5, 2025, https://musero.org.ng/publications/inter-relationship_among_academic_performance_academic_achievement_learning_outcomes.pdf
Are Student Performance & Learning Outcomes The Same? – Watermark Insights, accessed December 5, 2025, https://www.watermarkinsights.com/resources/blog/you-say-tomato-i-say-tomato-are-student-performance-and-student-learning-outcomes-the-same-thing/
How do objectives and goals differ from learning outcomes? – Crafton Hills College, accessed December 5, 2025, https://www.craftonhills.edu/~/media/Files/SBCCD/CHC/Faculty%20and%20Staff/SLOs/Step%201/How%20do%20objectives%20and%20goals%20differ%20from%20learning%20outcomes.pdf
What is Outcome-Based Education (OBE) vs. Traditional Education System?, accessed December 5, 2025, https://www.softwaresuggest.com/blog/outcome-based-education-vs-traditional-education-system/
Outcome-Based Education vs. Traditional Education: A Comparative Analysis, accessed December 5, 2025, https://www.edupluscampus.com/blog/outcome-based-education-vs-traditional-education-a-comparative-analysis
(PDF) The Outcome-Based Education Versus Traditional Education: The Perspective Analysis of Teachers – ResearchGate, accessed December 5, 2025, https://www.researchgate.net/publication/367297990_The_Outcome-Based_Education_Versus_Traditional_Education_The_Perspective_Analysis_of_Teachers
บทที่2 ทฤษฎีและงานวิจัยที่เกี่ยวข้อง, accessed December 5, 2025, https://research.otepc.go.th/files/%E0%B8%9A%E0%B8%97%E0%B8%97%E0%B8%B5%E0%B9%88%202%201_7p7e0npj.pdf
การเปรียบเทียบผลสัมฤทธิ์ทางการเรียน ระหว่างก่อนและหลังเรียน, accessed December 5, 2025, https://www.atc.ac.th/FileATC/%E0%B8%A8%E0%B8%B9%E0%B8%99%E0%B8%A2%E0%B9%8C%E0%B8%A7%E0%B8%B4%E0%B8%88%E0%B8%B1%E0%B8%A2%E0%B9%81%E0%B8%A5%E0%B8%B0%E0%B8%9E%E0%B8%B1%E0%B8%92%E0%B8%99%E0%B8%B2/%E0%B8%A7%E0%B8%B4%E0%B8%88%E0%B8%B1%E0%B8%A2%E0%B9%80%E0%B8%9C%E0%B8%A2%E0%B9%81%E0%B8%9E%E0%B8%A3%E0%B9%8861/1.%20%E0%B8%AA%E0%B8%B2%E0%B8%82%E0%B8%B2%E0%B8%A7%E0%B8%B4%E0%B8%8A%E0%B8%B2%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B8%9A%E0%B8%B1%E0%B8%8D%E0%B8%8A%E0%B8%B5/8.%E0%B8%AD%E0%B8%B2%E0%B8%88%E0%B8%B2%E0%B8%A3%E0%B8%A2%E0%B9%8C%E0%B8%A7%E0%B8%B4%E0%B8%A0%E0%B8%B2%E0%B8%A7%E0%B8%94%E0%B8%B5%20%E0%B8%AA%E0%B8%B4%E0%B8%87%E0%B8%AA%E0%B8%B5%E0%B8%97%E0%B8%B2.pdf
The Relationship Between Student Engagement and Student Achievement – University of Connecticut, accessed December 5, 2025, https://gifted.media.uconn.edu/wp-content/uploads/sites/961/2024/04/The-Relationship-Between-Student-Engagement-and-Student-Achievement.pdf
Achievement Tests: Definition, Types & Best Practices for Educators – Poll Everywhere Blog, accessed December 5, 2025, https://blog.polleverywhere.com/achievement-tests
Achievement Testing in Education: Meaning & Examples – Formplus, accessed December 5, 2025, https://www.formpl.us/blog/achievement-tests
Achievement Tests | Research Starters – EBSCO, accessed December 5, 2025, https://www.ebsco.com/research-starters/education/achievement-tests
What Is the Difference Between a Student Learning Outcome and a Program – Analytics & Institutional Effectiveness, accessed December 5, 2025, https://aie.vt.edu/content/dam/aie_vt_edu/institutional-effectiveness/academic-program-assessment/office-handout-series-differences-between-SLOs-and-POs.pdf
What Are Student Learning Outcomes?, accessed December 5, 2025, https://www.bu.edu/provost/files/2017/06/Creating-Learning-Outcomes-Stanford.pdf
Course Objectives & Learning Outcomes | Course Design | Teaching Guides | Teaching Commons | DePaul University, Chicago, accessed December 5, 2025, https://resources.depaul.edu/teaching-commons/teaching-guides/course-design/Pages/course-objectives-learning-outcomes.aspx
Learning Objectives vs Outcomes: Why It Matters for Course Design – Mindsmith, accessed December 5, 2025, https://www.mindsmith.ai/blog/learning-objectives-vs-outcomes-why-it-matters-for-course-design
Learning Outcomes vs. Objectives – Teach Anywhere, accessed December 5, 2025, https://teachanywhere.opened.ca/home/teaching-learning/design-align-learning/learning-outcomes/learning-outcomes-vs-objectives/
Bloom’s Taxonomy | Centre for Teaching Excellence | University of Waterloo, accessed December 5, 2025, https://uwaterloo.ca/centre-for-teaching-excellence/catalogs/tip-sheets/blooms-taxonomy
Bloom’s Taxonomy of Educational Objectives | Center for the Advancement of Teaching Excellence | University of Illinois Chicago, accessed December 5, 2025, https://teaching.uic.edu/cate-teaching-guides/syllabus-course-design/blooms-taxonomy-of-educational-objectives/
การพัฒนาและปรับปรุงหลักสูตรตาม แนวทาง Outcome-Based Education (OBE), accessed December 5, 2025, https://ades.rmuti.ac.th/static/filecourse/%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%80%E0%B8%82%E0%B8%B5%E0%B8%A2%E0%B8%99%20LOs_NS.pdf
การประเมิน ผลลัพธ การเรียนรู ที่คาดหวัง – LCCL, accessed December 5, 2025, http://www.curriculumandlearning.com/upload/Books/%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B8%9B%E0%B8%A3%E0%B8%B0%E0%B9%80%E0%B8%A1%E0%B8%B4%E0%B8%99%E0%B8%9C%E0%B8%A5%E0%B8%A5%E0%B8%B1%E0%B8%9E%E0%B8%98%E0%B9%8C%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%80%E0%B8%A3%E0%B8%B5%E0%B8%A2%E0%B8%99%E0%B8%A3%E0%B8%B9%E0%B9%89%E0%B8%97%E0%B8%B5%E0%B9%88%E0%B8%84%E0%B8%B2%E0%B8%94%E0%B8%AB%E0%B8%A7%E0%B8%B1%E0%B8%87_1704415730.pdf
What are Learning Outcomes and Learning Objectives? – CETAL, accessed December 5, 2025, https://cetl.student.elgin.edu/assessment-at-ecc/course-assessment/assessment-toolkit/what-are-learning-outcomes-and-learning-objectives
หลักสูตรครุศาสตรบัณฑิต สาขาวิชาภาษาอังกฤษ (4 ป – สำนักส่งเสริมวิชาการและงานทะเบียน, accessed December 5, 2025, https://reg.kpru.ac.th/th/data/curkpru/2567/6703.pdf
Understanding the Distinction: Student Learning Outcomes Assessment and Student Success, accessed December 5, 2025, https://assessment.colostate.edu/2024/10/23/assessment-and-student-success/
Thailand Standard Qualifications Framework for Undergraduate Program in Nursing Science, accessed December 5, 2025, https://www.tnmc.or.th/images/userfiles/files/4_%20Thailand%20Standard%20Qualifications%20Framework%20for%20Undergraduate%20Program%20in%20Nursing%20Science.docx
Paper Proposal: Theme 4 National Qualifications Framework and their links to QA (including – INQAAHE, accessed December 5, 2025, https://www.inqaahe.org/wp-content/uploads/2024/08/12.pdf
เทคนิคการเขียนรายละเอียดของหลักสูตร (มคอ.2)ตามแนวทางใหม่ – กองพัฒนาคุณภาพ มมร, accessed December 5, 2025, https://qa.mbu.ac.th/wp-content/uploads/2022/12/%E0%B9%80%E0%B8%97%E0%B8%84%E0%B8%99%E0%B8%B4%E0%B8%84%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%80%E0%B8%82%E0%B8%B5%E0%B8%A2%E0%B8%99%E0%B8%A3%E0%B8%B2%E0%B8%A2%E0%B8%A5%E0%B8%B0%E0%B9%80%E0%B8%AD%E0%B8%B5%E0%B8%A2%E0%B8%94%E0%B8%82%E0%B8%AD%E0%B8%87%E0%B8%AB%E0%B8%A5%E0%B8%B1%E0%B8%81%E0%B8%AA%E0%B8%B9%E0%B8%95%E0%B8%A3-%E0%B8%89%E0%B8%9A%E0%B8%B1%E0%B8%9A.pdf
Psychometric properties of the Thai Qualifications Framework for Higher Education instrument among Royal Thai Air Force nurse stakeholders – PMC – NIH, accessed December 5, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC11056834/
Assessment in Thai ELT: What do Teachers Do, Why, and How can Practices Be Improved? – ERIC, accessed December 5, 2025, https://files.eric.ed.gov/fulltext/EJ1310803.pdf
World Bank Document, accessed December 5, 2025, https://documents1.worldbank.org/curated/en/553231508753630151/pdf/120594-WP-P150980-PUBLIC-Thailand-NQF-summary.pdf
Alternative Authentic Assessment Methods | Center for Excellence in Teaching and Learning – CETL@uconn.edu – University of Connecticut, accessed December 5, 2025, https://cetl.uconn.edu/resources/teaching-and-learning-assessment/teaching-and-learning-assessment-overview/assessment-design/alternative-authentic-assessment-methods/
การวัดและประเมินผลตามสภาพจริง (Authentic Assessment) – Learning Institute, accessed December 5, 2025, https://li.kmutt.ac.th/authentic-assessment/knowledge/
การประเมินตามสภาพจริง Authentic Assessment – Active Learning in Online Teaching, accessed December 5, 2025, https://active-learning.thailandpod.org/assessments/authentic-assessment
Alternatives to Traditional Testing – Center for Teaching & Learning, accessed December 5, 2025, https://teaching.berkeley.edu/teaching-strategies/assessing-learning/alternatives-traditional-testing
The Development of Authentic Assessment Training Curriculum for Research-Based Learning Class in Higher Education of Thailand – ResearchGate, accessed December 5, 2025, https://www.researchgate.net/publication/271609933_The_Development_of_Authentic_Assessment_Training_Curriculum_for_Research-Based_Learning_Class_in_Higher_Education_of_Thailand
Authentic Assessments | Center for the Advancement of Teaching Excellence, accessed December 5, 2025, https://teaching.uic.edu/cate-teaching-guides/assessment-grading-practices/authentic-assessments/
Rubric เครื่องมือในการวัดและประเมินผล – สถาบันการเรียนรู้ – Learning Institute, accessed December 5, 2025, https://li.kmutt.ac.th/rubric/knowledge/
การประเมิน ตามสภาพจริง และเกณฑ์การให้คะแนนแบบรูบริค, accessed December 5, 2025, https://academic.rmutsv.ac.th/sites/academic.rmutsv.ac.th/files/05.pdf
เกณฑ์การให้คะแนน (Scoring Rubrics) ความน า ความหมายของ Rubric – sobphrae1, accessed December 5, 2025, https://sobphrae1.wordpress.com/wp-content/uploads/2014/01/scorring-rubric.pdf
Formative & Summative Assessments | Poorvu Center for Teaching and Learning, accessed December 5, 2025, https://poorvucenter.yale.edu/teaching/teaching-resource-library/formative-summative-assessments
วัดผลการเรียนรู้ด้วย Formative Assessment และ Summative Assessment – LEB2 Support, accessed December 5, 2025, https://support.leb2.org/hc/th/articles/16747827714969-%E0%B8%A7%E0%B8%B1%E0%B8%94%E0%B8%9C%E0%B8%A5%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%80%E0%B8%A3%E0%B8%B5%E0%B8%A2%E0%B8%99%E0%B8%A3%E0%B8%B9-%E0%B8%94-%E0%B8%A7%E0%B8%A2-Formative-Assessment-%E0%B9%81%E0%B8%A5%E0%B8%B0-Summative-Assessment
Mastering Outcome-Based Education หลักการเบื้องต้นของ Outcome-Based Education และ Pillars of Education, accessed December 5, 2025, https://academic.chula.ac.th/storage/images/activities/637b49c0b0cbb.pdf
การเขียนแนวทาง การจัดการเรียนรู้ใน หลักสูตรร, accessed December 5, 2025, https://oapr.bru.ac.th/wp-content/uploads/2024/02/%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%80%E0%B8%82%E0%B8%B5%E0%B8%A2%E0%B8%99%E0%B9%81%E0%B8%99%E0%B8%A7%E0%B8%97%E0%B8%B2%E0%B8%87%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B8%88%E0%B8%B1%E0%B8%94%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%80%E0%B8%A3%E0%B8%B5%E0%B8%A2%E0%B8%99%E0%B8%A3%E0%B8%B9%E0%B9%89-OBE_240209_100632.pdf
Student-centered and Experiential learning, accessed December 5, 2025, https://www.ramacnec.com/AD/DocumentFile/20240618071902_File_Student%20center%20_%20Experiential%20learning2.pdf
5 Strategies to Move from Teacher-centered to Learner-centered Classrooms – KnowledgeWorks, accessed December 5, 2025, https://knowledgeworks.org/resources/5-strategies-teacher-learner-centered-classrooms/
12 Shifts to Move from Teacher-Led to Student-Centered Environments | Getting Smart, accessed December 5, 2025, https://www.gettingsmart.com/2024/05/21/12-shifts-to-move-from-teacher-led-to-student-centered-environments/

Post Views: 15

Comments

comments