The Impact of Utilizing Automated Essay Scoring Software on Developing Palestinian Undergraduate Students’ Writing Competencies

Abstract

Abstract The present study investigated the impact of utilizing automated essay scoring and feedback software on developing the writing competencies of Palestinian EFL students at Hebron University. Sixty-six English major students from three sections of Advanced Writing served as the participants of the study. The participants were divided into three groups based on the type of feedback they received—oral, written, or automated plus manual feedback. A pre-test and a post-test were used to explore if there were any statistical differences in the writing performance of all groups. Moreover, a pre-questionnaire and a post-questionnaire were distributed to the participants who received automated plus manual feedback via the automated scoring and feedback software, Criterion®, to check if there were any differences in student attitudes before and after being exposed to automated scores and feedback. Additionally, semi-structured interviews were conducted with ten participants who disclosed negative opinions in the post-questionnaire with respect to Criterion® to obtain more personalized responses. The results of the post-test revealed that written feedback lead to a significant improvement in writing performance as opposed to the remaining two types. In general, the utilization of Criterion® had a positive impact on developing students’ writing skill. However, the results of the post-questionnaire showed that the majority of the participants reflected negative views with respect to software specifications and accuracy, suggesting that artificially intelligent machine learning technologies cannot replace human raters in terms of scoring and feedback writing. Thus, the researcher highlighted the importance of feedback for writing development and recommended that automated essay engines be used only as teaching aids to help enhance students’ writing competencies.

ABSTRACT IN ARABIC ملخص هدفت هذه الدراسة إلى معرفة مدى تأثير استخدام برنامج التغذية الراجعة والتصحيح الآلي على تطوير مهارة الكتابة لدى متعلمي اللغة الإنجليزية كلغة أجنبية في جامعة الخليل. شارك في هذه الدراسة ستة وستون طالباً من طلبة تخصص اللغة الانجليزية حيث تم اختيارهم من ثلاثة شعب مختلفة لمساق الكتابة المتقدمة. قُسِّم المشاركون إلى ثلاث مجموعات وفقاً للتغذية الراجعة التي تلقوها، شفوية، كتابية، أو آلية ويدوية معاً. وتم استخدام اختبار قبلي واختبار بعدي بهدف معرفة إن كان هناك فروق ذات دلالة إحصائية في مستويات الطلبة وأدائهم. كما تم توزيع استبيان قبلي واستبيان بعدي على المشاركين الذين تلقوا تغذية راجعة آلية ويدوية معاً من خلال برنامج التغذية الراجعة والتصحيح الآلي (كرايتيريون) لفحص التغير في آرائهم قبل وبعد الخضوع للتغذية الراجعة والتصحيح الآلي. كما أجريت مقابلات شبه منظمة مع عشرة مشاركين قد كشفوا عن آراء سلبية في الاستبيان البعدي فيما يتعلق ببرنامج (كرايتيريون) من أجل التعمق في إجاباتهم الشخصية. وأظهرت نتائج الاختبار البعدي وجود فروق ذات دلالة إحصائية لصالح المشاركين الذين تلقوا تغذية راجعة كتابية مما أدى إلى تحسن ملحوظ في أدائهم مقارنةً بأداء المشاركين الذين تلقوا كلا من التغذية الراجعة الآلية واليدوية معاً والتغذية الراجعة الشفوية. وعامةً كان لاستخدام برنامج (كرايتيريون) تأثير إيجابي على تطوير مهارة الطلبة الكتابية. إلا أن آراء غالبية المشاركين في الاستبيان البعدي كانت سلبية فيما يتعلق بمواصفات البرنامج ودقته في تحديد الأخطاء. مما يشير إلى أن تقنيات الذكاء الاصطناعي والتعلم الآلي لا يمكن أن تحل مكان البشر من حيث التصحيح وتزويد التغذية الراجعة للنصوص. وبالتالي أبرزت الباحثة أهمية التغذية الراجعة لتطوير مهارة الكتابة وأوصت باستخدام محركات التغذية الراجعة وتصحيح المقالات الآلية فقط كوسائل تعليمية للمساعدة في تعزيز الكفاءات الكتابية لدى الطلبة.