Arab Educational Information Network

الاستفادة من تطبيقات الذكاء الاصطناعي التوليدي له الأثر الكبير الذي يساهم في رفع كفاءة عمل عضو هيئة التدريس وأيضاً توفير الوقت والجهد في انشاء التقارير الخاصة بالاختبارات. تهدف هذه الدراسة قياس كفاءة نموذج مخطط تقييم الاختبارات (‏Full Exam Management GPT‏) القائم على الذكاء الاصطناعي التوليدي Chat GPT. يساهم النموذج في اعداد التقرير النهائي لمصفوفة الاختبار (Blueprint) وتحليل نتائج مؤشر التمييز DI ومن ثم تقديم مقترح بالتوصيات التي يجب أن تتم لتجويد أسئلة الاختبار. تم استخدام المنهج الوصفي لدراسة الحالة (الفردية) من خلال أربع مراحل متتالية طُبقت على النموذج شملت: 1) مواءمة المخرجات التعليمية وفق توصيف المقرر، 2) اعداد الاختبار التحريري في ضوء مخرجات المقرر، 3) استخلاص نتائج تقرير (DIA)، 4) تنفيذ خطط التحسين المقترحة للأسئلة وإعادة الاختبار. أظهرت النتائج بعد المقارنة بين الاختبارين تحسُّن إيجابي في مؤشر التمييز للأسئلة ذات المؤشّر المنخفض في الاختبار الأول. كما تم تقييم جودة الأسئلة سواء باستبقائها أو استبعادها وفق مؤشر التمييز، بما يساهم في تجويد الاختبار التحريري. تؤكد نتائج دراسة الحالة أن نموذج (FEMGPT) قادر على إعداد تقرير مصفوفة الاختبار بما يضمن تجويد أسئلة الاختبار وتسهيل مهمة المعلم. (الملخص المنشور)

Leveraging generative AI applications significantly enhances faculty members' work efficiency, saving time and effort in the preparation of exam reports. This study aims to evaluate the effectiveness of the Full Exam Management GPT (FEMGPT) model, which is based on generative AI (ChatGPT). The model supports the preparation of the final blueprint report, analyses discrimination index (DI) results, and provides proposals and recommendations for improving exam questions. A descriptive case study approach was adopted, applied through four successive stages: 1) Aligning course learning outcomes according to the course specification. 2) Preparing the written exam based on the aligned outcomes. 3) Extracting and analysing the Discrimination Index Analysis (DIA) report results. 4) Implementing proposed improvement plans for exam questions and conducting a retest. The comparison between the two tests demonstrated a positive improvement in the discrimination index, particularly for questions that initially exhibited a low index. Furthermore, the quality of exam questions was evaluated based on whether items were retained or excluded according to their discrimination indices, contributing to the overall enhancement of the written exam. The results of the case study affirm that the FEMGPT model is an effective tool for generating comprehensive test matrix reports, thereby facilitating and streamlining the examination preparation process for faculty members. (Published abstract)