Please use this identifier to cite or link to this item:
https://cuir.car.chula.ac.th/handle/123456789/767
| Title: | การประยุกต์ใช้ทฤษฎีการอ้างอิงสรุปเพื่อให้คะแนนการสอบเรียงความ และการพัฒนาโปรแกรมคอมพิวเตอร์ใช้งาน |
| Other Titles: | An application of generalizability theory for marking an essay test and its computer program development |
| Authors: | สุพัฒน์ สุกมลสันต์ |
| Email: | suphat.s@chula.ac.th |
| Other author: | จุฬาลงกรณ์มหาวิทยาลัย. สถาบันภาษา |
| Subjects: | ทฤษฎีการอ้างอิงสรุป ความเที่ยง ข้อสอบอัตนัย การวัดผลทางการศึกษา โปรแกรมคอมพิวเตอร์ |
| Issue Date: | 2540 |
| Publisher: | จุฬาลงกรณ์มหาวิทยาลัย |
| Abstract: | งานวิจัยนี้มีวัตถุประสงค์ที่สำคัญเพื่อประยุกต์แนวความคิดของทฤษฎีการอ้างอิงสรุปมาใช้ในการตรวจให้คะแนนการสอบเรียงความในหลาย ๆเงื่อนไขและเพื่อสร้างโปรแกรมคอมพิวเตอร์สำหรับใช้ในการคำนวณหาค่าสัมประสิทธิ์การอ้างอิงสรุปในเงื่อนไขต่าง ๆ ของการทดสอบ ปัจจัยประกอบ (facets) ของการศึกษาครั้งนี้ได้แก่ ผู้สอบจำนวน 200 คนที่เป็นแบบสุ่ม ข้อทดสอบ 3 ข้อที่เป็นแบบสุ่ม และผู้ตรวจข้อสอบ 2 ประเภทที่เป็นแบบคงที่ คือผู้ที่มีประสบการณ์ตรวจข้อทดสอบที่ใช้ในการวิจัยโดยตรงและผู้ที่มีประสบการณ์ตรวจทางอ้อม จึงทำให้เอกภพของสิ่งสังเกตที่ยอมรับได้ (universe of admissible observations) มีขนาด 200 x 3 x 2 = 1,200 เงื่อนไข และเอกภาพของการอ้างอิงสรุป (universe of generalizability) ครั้งนี้มี 6 เงื่อนไข ผลของการศึกษาสามารถสรุปได้ดังนี้ ก. ด้านประยุกต์ใช้แนวคิดทฤษฎีการอ้างอิงสรุปเพื่อการตรวจข้อทดสอบเรียงความ 1. ในกรณีที่กำหนดให้ผู้ตรวจข้อทดสอบทุกประเภท ตรวจข้อทดสอบทุกข้อของผู้สอบทุกคนหรือ [PxIxR] 1.1 เมื่อ R=fixed และ P,I = random ปรากฏว่า ผลการตรวจให้คะแนนแบบทดสอบเรียงความของผู้ตรวจที่มีประสบการณ์ตรวจโดยตรง มีดัชนีความเชื่อถือโดยเฉลี่ยและสัมประสิทธิ์การอ้างอิงสรุปสูงกว่าผลการตรวจให้คะแนนของผู้ตรวจที่มีประสบการณ์ทางอ้อมอย่างมีนัยสำคัญ 1.2 เมื่อ I, P, R = random ปรากฏว่าผลการตรวจให้คะแนนแบบทดสอบเรียงความของผู้ตรวจที่มีประสบการณ์ตรวจโดยตรงมีดัชนีความเชื่อถือ โดยเฉลี่ยและสัมประสิทธิ์การอ้างอิงสรุปสูงกว่าผลการตรวจให้คะแนนของผู้ตรวจที่มีประสบการณ์ทางอ้าอมอย่างมีนัยสำคัญ เช่นเดียวกับข้อ 1.1 2. ในกรณีที่กำหนดให้ผู้ตรวจข้อทดสอบบางประเภทตรวจข้อทดสอบบางข้อของผู้สอบทุกคน หรือ [Px(R:I)] 2.1 เมื่อ R=fixed และ P,I = random ปรากฏว่าผลการตรวจให้คะแนนแบบทดสอบเรียงความของผู้ตรวจที่มีประสบการณ์ตรวจโดยตรง มีดัชนีความเชื่อถือโดยเฉลี่ยและสัมประสิทธิ์การอ้างอิงสรุปสูงกว่าผลการตรวจให้คะแนนของผู้ตรวจที่มีประสบการณ์ทางอ้อมอย่างมีนัยสำคัญ 2.2 เมื่อ I,P,R = random ปรากฏว่าผลการตรวจให้คะแนนแบบทดสอบเรียงความของผู้ตรวจที่มีประสบการณ์โดยตรง มีดัชนีความเชื่อถือโดยเฉลี่ยและสัมประสิทธิ์การอ้างอิงสรุปสูงกว่าผลการตรวจให้คะแนนของผู้ตรวจที่มีประสบการณ์ทางอ้อมอย่างมีนัยสำคัญเช่นเดียวกับข้อ 2.1 3. เมื่อกำหนดให้ผู้ตรวจบางประเภท ตรวจข้อทดสอบทุกข้อของผู้สอบบางคน หรือ [Ix(P:R)] 3.1 เมื่อ R=fixed และ P,I = random ปรากฏว่า ผลการตรวจให้คะแนนแบบทดสอบเรียงความของผู้ตรวจที่มีประสบการณ์ตรวจโดยตรงมีดัชนีความเชื่อถือโดยเฉลี่ยเท่ากับค่าดังกล่าวของผลการตรวจให้คะแนนแบบทดสอบเรียงความของผู้ตรวจที่มีประสบการณ์ตรวจทางอ้อมและมีสัมประสิทธิ์การอ้างอิงสรุปต่ำกว่าอย่างมีนัยสำคัญ 3.2 เมื่อ I, P, R = random ปรากฏว่า ผลการตรวจให้คะแนนแบบทดสอบเรียงความของผู้ตรวจที่มีประสบการณ์โดยตรงมีดัชนีความเชื่อถือ โดยเฉลี่ยต่ำว่าค่าดังกล่าวของผลการตรวจให้คะแนนแบบทดสอบเรียงความของผู้ตรวจที่มีประสบการณ์ทางอ้อมแต่มีสัมประสิทธิ์การอ้างอิงสรุปสูงกว่าอย่างมีนัยสำคัญ ดังนั้น จะเห็นได้ว่าเงื่อนไขที่ดีที่สุดสำหรับการตรวจข้อสอบแบบเรียงความ คือ เงื่อนไขที่ 3.1 ข. ด้านการสร้างโปรแกรมคอมพิวเตอร์เพื่อใช้งาน ปรากฏว่า โปรแกรมที่สร้างขึ้นสามารถคำนวณหาค่าสัมประสิทธิ์การอ้างอิงสรุป และ ค่าดัชนีความเชื่อถือ สำหรับเงื่อนไขต่าง ๆ ได้อย่างถูกต้องเมื่อเปรียบเทียบกับค่าต่าง ๆ ดังกล่าว จากข้อมูลและผลลัพธ์ของการคำนวณจากหนังสือที่ใช้ในการอ้างอิง |
| Other Abstract: | The main purposes of this study were to apply the concepts of the Generalizability Theory for making an essay test and to write a computer program for calculating the generalizability coefficients of a test when it was administered under various conditions. The facets of the test were 200 testees (random), 3 essay items (random) and 2 types of markers (fixed). They were those who had direct experience in marking the test for this study and those who had indirect experience. Therefore, the universe of admissible observations was 1,200 conditions. As for the universe of generalizability, there were 6 conditions. The data of this study were analyzed by the computer program written by the author. The findings can be summarized as follows: A. The Applications of Generalizability Theory 1. If all the markers mark all the items of all the testees or [P x I x R]: 1.1 When R = fixed and P, I = random, it was found that those markers who had direct experience in marking the test could mark the test, on average, with a significant higher index of dependability and a higher generalizability coefficient than those who has indirect experience in marking the test. 1.2 When R, P, I = random, it was found that those markers who had direct experience in marking the test could mark the test, on average, with a significant higher index of dependability and a higher generalizability coefficient than those who had indirect experience in marking the test. 2. If some types of the markers mark some items of the test of all the testees or [P x (R:I)]: 2.1 When R = fixed and P, I = random, it was found that those markers who had direct experience in marking the test could mark the test, on average, with a significant higher index of dependability and a higher generalizability coefficient than those who had indirect experience in marking the test. 2.2 When R, P, I = random, it was found that those markers who had direct experience in marking the test could mark the test, on average, with a significant higher index of dependability and a higher generalizability coefficient than those who had indirect experience in marking the test. 3. If some types of the markers mark all items of the test of some of testees or [I x (P:R)]: 3.1 When R = fixed and P,I = random, it was found that those markers who had direct experience in marking the test, marked the test, on average, with the same index of dependability as those who had indirect experience and with a lower generalizability coefficient than the other group of markers. 3.2 When R, P, I = random, it was found that those markers who had direct experience in marking the test marked the test, on average, with a significant lower index of dependability but a higher gernealizability coefficient than those who had indirect experience in marking the test. Therefore, the most appropriate model for marking an essay test was no. 3.1 B. Computer Program Verification. When compared with the results from referenced textbooks, the new program, could yield the same results in various conditions in producing the generalizabilty coefficients and indices of dependability. |
| URI: | http://cuir.car.chula.ac.th/handle/123456789/767 |
| Type: | Technical Report |
| Appears in Collections: | Lang - Research Reports |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| SupatSu(eng).pdf | 9.36 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.