An analysis of scoring via analytic rubric and general impression in peer assessment

Nagihan BOZTUNÇ ÖZTÜRK; Melek Gülşah ŞAHİN; Mustafa İLHAN

doi:https://doi.org/10.19128/turje.609073

Makale detayları

An analysis of scoring via analytic rubric and general impression in peer assessment

Yazarlar:

Nagihan BOZTUNÇ ÖZTÜRK | Melek Gülşah ŞAHİN | Mustafa İLHAN

Yayıncı:

Mehmet TEKEREK

Ana Başlıklar:

Eğitim

Dergi:

Turkish Journal of Education 2019 Vol.8 Issue 4, pp.258-275

Belge Tipi:

Makale

Yayın Tarihi:

10/2019

Belge Dili:

İngilizce

Document ID (Org No.):

2000633472

Sıklık:

Üç Aylık

eISSN:

2147-2858

DOI:

https://doi.org/10.19128/turje.609073

Özet:

 


The aim of this research
was to analyze and compare analytic rubric and general impression scoring in
peer assessment. A total of 66 university students participated in the study
and six of them were chosen as peer raters on a voluntary basis. In the
research, students were supposed to prepare a sample study within the scope of
scientific research methods course and were also expected to present their
studies in class. While the students were giving a presentation, their course
instructor and peer raters conducted scoring, firstly by using the analytic
rubric and subsequently by using general impressions. Collected data were
analyzed using the Rasch model. Consequently, it was found that students were
distinguished from one another at a highly reliable rate using both scoring
methods. Additionally, it was discovered that the differences between students’
ability levels were better revealed when analytic rubric was used. It was
ascertained that there was a high level positive correlation between the
ability estimations obtained from the scores performed by the peers and the
instructor, regardless of the scoring method used. Finally, it was determined
that ability estimations, corresponding peer raters’ analytic rubric and
general impression scoring, held a positive and highly strong relation.

.

 


Bu araştırmada, akran
değerlendirmede analitik rubrikle ve genel izlenimle yapılan puanlamaların
karşılaştırmalı olarak incelenmesi amaçlanmıştır. Araştırma 66 üniversite
öğrencisi üzerinde yürütülmüş ve bu öğrencilerden gönüllülük esasına dayalı
olarak seçilen altısı, çalışmada akran değerlendirici olarak görev almıştır.
Çalışmada, öğrencilerden bilimsel araştırma yöntemleri dersi kapsamında örnek
bir çalışma hazırlamaları ve hazırladıkları çalışmayı sınıf ortamında sunmaları
istenmiştir. Öğrenciler sunum yaparken dersin sorumlu öğretim elemanı ile akran
değerlendiriciler, çalışmaları önce analitik rubriğe göre ve ardından genel
izlenimle puanlamıştır. Puanlamadan elde edilen veriler, Rasch modeline göre
analiz edilmiştir. Araştırmada, her iki puanlama yönteminde de bireylerin
yüksek güvenirlikte birbirinden ayırt edildiği belirlenmiştir. Bununla
birlikte, analitik rubrik kullanıldığında bireylerin yetenek düzeyleri
arasındaki farklılıkların daha hassas bir biçimde ortaya konulduğu
saptanmıştır. Hem analitik rubrikle hem de genel izlenimle yapılan
değerlendirmede; akranlar ile öğretim elemanının verdiği puanlar üzerinden
hesaplanan yetenek kestirimleri arasında, pozitif yönlü yüksek korelasyonlar
bulunmuştur. Akranların analitik rubrikle ve genel izlenimle yaptıkları
puanlamalara karşılık gelen yetenek kestirimlerinin pozitif yönlü güçlü bir
ilişki içerisinde olduğu sonucuna varılmıştır.

.

Makale detayları

An analysis of scoring via analytic rubric and general impression in peer assessment

Yazarlar: Nagihan BOZTUNÇ ÖZTÜRK | Melek Gülşah ŞAHİN | Mustafa İLHAN

Yayıncı: Mehmet TEKEREK

Ana Başlıklar: Eğitim

Dergi: Turkish Journal of Education 2019 Vol.8 Issue 4, pp.258-275

Belge Tipi: Makale

Yayın Tarihi: 10/2019

Belge Dili: İngilizce

Document ID (Org No.): 2000633472

Sıklık: Üç Aylık

eISSN: 2147-2858

DOI: https://doi.org/10.19128/turje.609073

Sayı

Yazarlar:

Nagihan BOZTUNÇ ÖZTÜRK | Melek Gülşah ŞAHİN | Mustafa İLHAN

Yayıncı:

Mehmet TEKEREK

Ana Başlıklar:

Eğitim

Dergi:

Turkish Journal of Education 2019 Vol.8 Issue 4, pp.258-275

Belge Tipi:

Makale

Yayın Tarihi:

10/2019

Belge Dili:

İngilizce

Document ID (Org No.):

2000633472

Sıklık:

Üç Aylık

eISSN:

2147-2858

DOI:

https://doi.org/10.19128/turje.609073