Please use this identifier to cite or link to this item:
https://cuir.car.chula.ac.th/handle/123456789/63730
| Title: | ระบบการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์สำหรับการวัดทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21 ของนิสิตนักศึกษาปริญญาตรี : รายงานผลการวิจัย |
| Other Titles: | Computerized Adaptive Testing System in Information and Communication Technology Literacy Skills for 21st Century of Undergraduate Students |
| Authors: | โชติกา ภาษีผล |
| Other author: | จุฬาลงกรณ์มหาวิทยาลัย. คณะครุศาสตร์ |
| Subjects: | การทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์ การทดสอบความสามารถ การรู้จักใช้คอมพิวเตอร์ การรู้สารสนเทศ |
| Issue Date: | 2561 |
| Publisher: | คณะครุศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย |
| Abstract: | การวิจัยเรื่องนี้มีวัตถุประสงค์หลัก 3 ประการ ได้แก่ 1) เพื่อพัฒนาองค์ประกอบในการวัดทักษะด้านเทคโนโลยี สารสนเทศและการสื่อสารแห่งศตวรรษที่ 21 ของนิสิตนักศึกษาปริญญาตรี 2) เพื่อพัฒนาข้อสอบสำหรับจัดทำคลังข้อสอบวัด ทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21 ของนิสิตนักศึกษาปริญญาตรี และ 3) เพื่อพัฒนาและ ตรวจสอบคุณภาพของระบบการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์สำหรับการวัดทักษะด้านเทคโนโลยีสารสนเทศและ การสื่อสารแห่งศตวรรษที่ 21 ของนิสิตนักศึกษาปริญญาตรี โดยแบ่งการดำเนินงานวิจัยเป็น 5 ระยะ ได้แก่ ระยะที่ 1 การ พัฒนาองค์ประกอบในการวัดทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21ฯ ระยะที่ 2 การพัฒนา ข้อสอบและคลังข้อสอบเพื่อวัดทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21ฯ ระยะที่ 3 การพัฒนา ระบบการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์สำหรับการวัดทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษ ที่ 21 ฯ ระยะที่ 4 การนำระบบการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์สำหรับการวัดทักษะด้านเทคโนโลยีสารสนเทศ และการสื่อสารแห่งศตวรรษที่ 21 ฯ ไปทดลองใช้ และระยะที่ 5 การตรวจสอบคุณภาพระบบการทดสอบแบบปรับเหมาะด้วย คอมพิวเตอร์สำหรับการวัดทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21ฯ กลุ่มตัวอย่างที่ทดลองใช้แบบ วัด ได้แก่ นิสิตนักศึกษาระดับปริญญาตรีจากสถาบันอุดมศึกษาของรัฐบาลในกรุงเทพมหานคร จำนวนทั้งสิ้น 1,672 คน กลุ่ม ตัวอย่างที่ทดลองใช้ระบบการทดสอบฯ ได้แก่ นิสิตนักศึกษาระดับปริญญาตรีจากสถาบันอุดมศึกษาของรัฐบาลใน กรุงเทพมหานคร จำนวน 217 คน การวิเคราะห์ข้อมูลเชิงปริมาณ ใช้ ค่าร้อยละ ค่าเฉลี่ย ส่วนเบี่ยงเบนมาตรฐาน t test การ วิเคราะห์คุณภาพของข้อสอบตามทฤษฎี CTT และ IRT การวิเคราะห์ข้อมูลเชิงคุณภาพ ใช้การวิเคราะห์เนื้อหา (content analysis) ผลการวิจัยสรุปได้ ดังนี้ 1.องค์ประกอบในการวัดทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21 ของนิสิตนักศึกษา ปริญญาตรี ประกอบด้วย 5 องค์ประกอบ ได้แก่ 1) การเข้าถึงสารสนเทศ (information accessibility) 2) การจัดการ สารสนเทศ (information management) 3) การบูรณาการสารสนเทศ (information integration) 4) การประเมิน สารสนเทศ (information evaluation) 5) การสื่อสารสารสนเทศ (information communication) 2. การสร้างข้อสอบทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21 ตามนิยามเชิงปฏิบัติการเป็น ข้อสอบเลือกตอบ 5 ตัวเลือก องค์ประกอบละ 52 ข้อ รวมทั้งสิ้น 260 ข้อ ข้อสอบส่วนใหญ่ผ่านการประเมินความตรงเชิง เนื้อหา คิดเป็นร้อยละ 79.61 ผลการวิเคราะห์ค่าความเที่ยง (R) ของแบบสอบทั้ง 10 ชุดมีค่าระหว่าง .550 ถึง .725 ผลการ วิเคราะห์คุณภาพของข้อสอบรายข้อตามทฤษฎี IRT พบว่า โมเดลเอกมิติ 2PL เป็นโมเดลที่สอดคล้องกลมกลืนกับข้อมูล คำตอบของแบบสอบทุกฉบับมากที่สุด ผลการคัดเลือกข้อสอบที่มีคุณภาพเพื่อจัดเก็บเข้าสู่ระบบคลังข้อสอบ ได้ข้อสอบจำนวน 212 ข้อ โดยมีค่าเฉลี่ยพารามิเตอร์ความยากข้อสอบเท่ากับ .18 (SD.=2.06) และค่าเฉลี่ยพารามิเตอร์การจำแนกเท่ากับ .70 (SD.=.39) ในภาพรวมสรุปได้ว่าข้อสอบที่นำเข้าคลังข้อสอบแบบปรับเหมาะเป็นข้อสอบยากปานกลางและจำแนกได้ปานกลาง 3. การพัฒนาระบบในการวิจัยครั้งนี้ใช้ภาษา PHP เนื่องจากเป็นระบบการทดสอบที่สามารถใช้งานผ่านระบบ ออนไลน์ โปรแกรมที่พัฒนาประกอบด้วย 4 ส่วน ได้แก่ 1) การลงทะเบียน 2) การสร้างชุดข้อสอบ 3) การทดสอบ ซึ่ง ประกอบด้วย การประมาณค่าความสามารถ การคัดเลือกข้อสอบ และการยุติการทดสอบ 4) การรายงานผลการทดสอบ และ มีการพัฒนาคู่มือการใช้ระบบการทดสอบฯ แบ่งออกเป็น 2 ส่วน คือ 1) คู่มือการใช้งานสาหรับผู้ใช้งานทั่วไป (user) และ 2) คู่มือการใช้งานสำหรับผู้จัดการระบบ (admin) 4. การนำระบบการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์สำหรับการวัดทักษะด้านเทคโนโลยีสารสนเทศและการ สื่อสารแห่งศตวรรษที่ 21 ของนิสิตนักศึกษาปริญญาตรี ไปทดลองใช้กับนิสิตนักศึกษาสายสังคมศาสตร์ และสายวิทยาศาสตร์ พบว่าไม่ว่านิสิตนักศึกษาชายหรือหญิงมีคะแนนเฉลี่ยด้านการจัดการสารสนเทศต่ำที่สุด แต่เมื่อพิจารณาทักษะด้านที่สูงสุด พบว่า นิสิตนักศึกษาชายมีคะแนนเฉลี่ยด้านการเข้าถึงสารสนเทศสูงที่สุด ในขณะที่นิสิตนักศึกษาหญิงมีคะแนนเฉลี่ยด้านการ สื่อสารสารสนเทศสูงที่สุด 5.ผลการตรวจสอบคุณภาพของระบบการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์สำหรับการวัดทักษะด้าน เทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21 ของนิสิตนักศึกษาปริญญาตรี โดยผู้ทรงคุณวุฒิ พบว่าในภาพรวม และ ในแต่ละด้านย่อย ได้แก่ ความมีประโยชน์ ความเป็นไปได้ในการนำไปใช้ ความเหมาะสม และความถูกต้อง มีคุณภาพอยู่ใน ระดับมากที่สุด รวมทั้งผลการประเมินความพึงพอใจของนิสิตนักศึกษาต่อระบบการทดสอบด้านภาพรวมของระบบ หน้าจอ ของระบบ การเรียนรู้ของผู้ใช้งาน และความสามารถของระบบ อยู่ในระดับมากเช่นกัน |
| Other Abstract: | This study has three main purposes, including (1) to develop components for measuring information and communication technology (ICT) literacy of undergraduate students in the 21st century, (2) to develop items for an item bank of the ICT literacy of the undergraduate students in the 21st century, and (3) to develop and examine the quality of a computerized adaptive testing (CAT) system for measuring the ICT literacy of the undergraduate students in the 21st century. Researchers designed research procedures including 5 phrases: First phrase was developing the components of ICT literacy for the 21st century; Second phrase was developing items and an item bank for measuring the ICT literacy for the 21st century; Third phrase was developing a CAT system for measuring the ICT literacy for the 21st century; Forth phrase was piloting the CAT system; and Fifth phrase was examining the quality of the CAT system. Data was collected from 1,672 undergraduate students for the piloting and 217 students for testing the system. All participants attended public universities in Bangkok. The data were analyzed qualitatively and quantitatively including content analysis, descriptive analysis, t-test, and classical test theory and item response theory modeling. The results were described as follows. (1) There were five components of the ICT literacy including (1) Information accessibility, (2) Information management, (3) Information integration, (4) Information evaluation, and (5) Information communication. (2) There were 260 Initial ICT literacy items created according to the definitions of the five components (52 items each). Most initial items (79.61%) showed content validity evidence by content expert judgment. After the item revision, the items were assembled to ten test forms and their Cronbach reliabilities ranged between .550 and .725. Two-parameter item response models were best fit for all test forms. The revised 212 items (with a mean of item difficulty parameters of .18 and a mean of item discrimination parameters of .70) qualified according to item quality criterions and stored in the item bank of CAT system. This means that overall the difficulty and discrimination of qualified items were moderate. (3) The CAT system was designed for online purpose using PHP. The system had four stages: (1) Registration, (2) Test assembly design, (3) Test delivery, including parameter estimation, item selection, and test termination, and (4) Test score report. Accompanying manuals of the CAT system were provided for users and system administers. (4) The results from piloting the CAT system showed that both female and male students in social sciences and science had the lowest mean scores on the information management component. However, females had the highest mean score on the information communication component, while males had the highest one on the information accessibility component. (5) The CAT system was evaluated by a group of experts about its utility, practical uses, appropriateness, and accuracy. The evaluation results showed that the quality of the system reached the highest levels for all aspects. Moreover, the students were satisfied the functions of CAT system in aspects of good display, easy-to-use design, and high performance. |
| Description: | ทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21 -- มโนทัศน์เกี่ยวกับการวิเคราะห์คุณภาพข้อสอบเพื่อจัดทำคลังข้อสอบ -- มโนทัศน์เกี่ยวกับการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์ -- การพัฒนาระบบการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์ -- การพัฒนาองค์ประกอบในการวัดทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21 ของนิสิตนักศึกษาปริญญาตรี -- การพัฒนาข้อสอบและคลังข้อสอบเพื่อวัดทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21 ของนิสิตนักศึกษาปริญญาตรี -- การพัฒนาระบบการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์สำหรับการวัดทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21 ของนิสิตนักศึกษาปริญญาตรี ได้รับทุนอุดหนุนการวิจัยจากงบประมาณแผ่นดินปี 2561 |
| URI: | http://cuir.car.chula.ac.th/handle/123456789/63730 |
| Type: | Technical Report |
| Appears in Collections: | Edu - Research Reports |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| Shotiga P_Res_2561.pdf | Fulltext File | 24.82 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.