Comparison of Different Artificial Intelligence Applications in Question Revision: An Application on True-False Items

Bedri Nejat Yüzüak; Funda Nalbantoğlu Yılmaz

Makale detayları

Comparison of Different Artificial Intelligence Applications in Question Revision: An Application on True-False Items

Yazarlar:

Bedri Nejat Yüzüak | Funda Nalbantoğlu Yılmaz

Yayıncı:

Dokuz Eylul University

Ana Başlıklar:

Sınıfiçi Ölçme Uygulamaları | Eğitimde Ölçme ve Değerlendirme (Diğer)

Dergi:

Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi Issue 63, pp.500-520

Belge Tipi:

Makale

Yayın Tarihi:

3/2025

Belge Dili:

Türkçe

Document ID (Org No.):

2001344212

pISSN:

2602-2850

Anahtar kelimeler:

Özet:

 The aim of the study is to investigate the usability of ChatGPT, Google Gemini, and WriteSonic in the creation of points to be considered when writing true-false items and in the verification of the written items in terms of measurement and evaluation principles. The research was carried out the true-false items prepared by third-year students studying in different departments of a state university within the framework of the course Measurement and Evaluation in Education in the academic year 2023-2024. Three artificial intelligences identified within the framework of the research were asked to create criteria, including the rules to be taken into account when preparing true-false items, and to test the items with both the criteria  they created and those given by experts. The data obtained in this direction were analyzed using content and descriptive analysis methods. As a result; it was determined that while all applications touched upon structures such as the understandability of propositions, having a clear answer, and measuring single information, some applications ignored negative expressions. It was concluded that the applications gave more appropriate feedback for items when they were given criteria in terms of assessment principles, that there was a language difference in Turkish-English analysis, and that the applications gave more appropriate feedback for English correspondence.

 The aim of the study is to investigate the usability of ChatGPT, Google Gemini, and WriteSonic in the creation of points to be considered when writing true-false items and in the verification of the written items in terms of measurement and evaluation principles. The research was carried out the true-false items prepared by third-year students studying in different departments of a state university within the framework of the course Measurement and Evaluation in Education in the academic year 2023-2024. Three artificial intelligences identified within the framework of the research were asked to create criteria, including the rules to be taken into account when preparing true-false items, and to test the items with both the criteria  they created and those given by experts. The data obtained in this direction were analyzed using content and descriptive analysis methods. As a result; it was determined that while all applications touched upon structures such as the understandability of propositions, having a clear answer, and measuring single information, some applications ignored negative expressions. It was concluded that the applications gave more appropriate feedback for items when they were given criteria in terms of assessment principles, that there was a language difference in Turkish-English analysis, and that the applications gave more appropriate feedback for English correspondence.

 The aim of the study is to investigate the usability of ChatGPT, Google Gemini, and WriteSonic in the creation of points to be considered when writing true-false items and in the verification of the written items in terms of measurement and evaluation principles. The research was carried out the true-false items prepared by third-year students studying in different departments of a state university within the framework of the course Measurement and Evaluation in Education in the academic year 2023-2024. Three artificial intelligences identified within the framework of the research were asked to create criteria, including the rules to be taken into account when preparing true-false items, and to test the items with both the criteria  they created and those given by experts. The data obtained in this direction were analyzed using content and descriptive analysis methods. As a result; it was determined that while all applications touched upon structures such as the understandability of propositions, having a clear answer, and measuring single information, some applications ignored negative expressions. It was concluded that the applications gave more appropriate feedback for items when they were given criteria in terms of assessment principles, that there was a language difference in Turkish-English analysis, and that the applications gave more appropriate feedback for English correspondence.

 Araştırmada, doğru-yanlış önermesi yazmada dikkat edilecek noktaları oluşturma ve yazılan önermeleri ölçme ve değerlendirme ilkeleri açısından gözden geçirmede ChatGPT, Google Gemini ve WriteSonic yapay zekâ uygulamalarının kullanılabilirliğini incelemek amaçlanmaktadır. Araştırma, nitel araştırma yöntemlerinden durum çalışması olup 2023-2024 eğitim öğretim yılı bir devlet üniversitesinin farklı bölümlerde okuyan 3. sınıf öğrencilerinin Eğitimde Ölçme ve Değerlendirme dersi kapsamında hazırladığı doğru-yanlış önermelerinden seçilenlerle yürütülmüştür. Araştırma kapsamında belirlenen üç yapay zekâ uygulamasından doğru-yanlış önermeleri hazırlamada dikkat edilecek kuralları içeren kriterler oluşturması ve ele alınan önermeleri hem kendi oluşturduğu hem de uzmanlar tarafından verilen kriterlerle incelemesi istenmiştir. Bu doğrultuda elde edilen veriler içerik analizi ve betimsel analiz yöntemleriyle incelenmiştir. Sonuç olarak; üç yapay zekâ uygulaması da önermelerin anlaşılırlığı, net cevap olması, tek bilgi ölçülmesi gibi yapılara değinirken olumsuz ifade kullanımı, doğrudan kaynaktan bilgi alma gibi özellikleri bazı uygulamaların göz ardı ettiği saptanmıştır. Uygulamaların ölçme değerlendirme ilkeleri bakımından kendilerine kriterler verildiğinde önermeler için daha uygun geri bildirimler verdiği, Türkçe-İngilizce incelemede dil farklılığının olduğu, uygulamaların İngilizce yazışmalar için daha uygun geri bildirimler verdiği sonuçlarına ulaşılmıştır.

Makale detayları

Comparison of Different Artificial Intelligence Applications in Question Revision: An Application on True-False Items

Yazarlar:

Bedri Nejat Yüzüak | Funda Nalbantoğlu Yılmaz

Yayıncı:

Dokuz Eylul University

Ana Başlıklar:

Sınıfiçi Ölçme Uygulamaları | Eğitimde Ölçme ve Değerlendirme (Diğer)

Dergi:

Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi Issue 63, pp.500-520

Belge Tipi:

Makale

Yayın Tarihi:

3/2025

Belge Dili:

Türkçe

Document ID (Org No.):

2001344212

pISSN:

2602-2850

artifical intelligent

true-false item

item revisionyapay zeka

maddelerin gözden geçirilmesi

doğru-yanlış önermeleri

Sayı

Makale detayları

Comparison of Different Artificial Intelligence Applications in Question Revision: An Application on True-False Items

Yazarlar: Bedri Nejat Yüzüak | Funda Nalbantoğlu Yılmaz

Yayıncı: Dokuz Eylul University

Ana Başlıklar: Sınıfiçi Ölçme Uygulamaları | Eğitimde Ölçme ve Değerlendirme (Diğer)

Dergi: Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi Issue 63, pp.500-520

Belge Tipi: Makale

Yayın Tarihi: 3/2025

Belge Dili: Türkçe

Document ID (Org No.): 2001344212

pISSN: 2602-2850

artifical intelligent

true-false item

item revisionyapay zeka

maddelerin gözden geçirilmesi

doğru-yanlış önermeleri

Sayı

Yazarlar:

Bedri Nejat Yüzüak | Funda Nalbantoğlu Yılmaz

Yayıncı:

Dokuz Eylul University

Ana Başlıklar:

Sınıfiçi Ölçme Uygulamaları | Eğitimde Ölçme ve Değerlendirme (Diğer)

Dergi:

Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi Issue 63, pp.500-520

Belge Tipi:

Makale

Yayın Tarihi:

3/2025

Belge Dili:

Türkçe

Document ID (Org No.):

2001344212

pISSN:

2602-2850