RELIABILITY OF RATERS FOR WRITING ASSESSMENT: ANALYTIC - HOLISTIC, ANALYTIC - ANALYTIC, HOLISTIC – HOLISTIC

Yakup Çetin

Makale detayları

RELIABILITY OF RATERS FOR WRITING ASSESSMENT: ANALYTIC - HOLISTIC, ANALYTIC - ANALYTIC, HOLISTIC – HOLISTIC

Yazarlar:

Yakup Çetin

Yayıncı:

Hatay Mustafa Kemal University

Ana Başlıklar:

Sosyoloji & antropoloji

Dergi:

Mustafa Kemal University Journal of Social Sciences Institute 2011 Vol.8 Issue 16, pp.471-486

Belge Tipi:

Makale

Yayın Tarihi:

12/2013

Belge Dili:

İngilizce

Document ID (Org No.):

2000596304

Sıklık:

Aylık

eISSN:

2791-7789

Özet:

 


One of the main concerns in writing assessment is the choice of reliable and valid rating criteria to decide on students’ writing proficiency levels. For this purpose, holistic and analytic rubrics have been employed most commonly by EFL/ESL programs and specialists as essay scoring instruments. In this present study, based on their actual use of rubric types, 31 novice Turkish teachers of English who were responsible for rating 344 student essays were randomly appointed as either holistic raters or analytic raters. Given that there were two rater pairs per essay, three different conditions and approaches to essay scoring were realized and these were used for this correlational study: holistic versus holistic, holistic versus analytic, and analytic versus analytic. Interrater reliability was determined through the study of these three types of scoring conditions to find the amount of correlation between raters’ scores. Results determined that the highest correlation occurred most strongly between two holistic raters followed respectively by two analytic raters. The study also revealed that inter-rater reliability is rather low in a condition when two different rater types – holistic versus analytic – score the same student essay.

.

 


Öğrencilerin kompozisyonlarını değerlendirmede temel sorunlardan bir tanesi güvenilir ve geçerli bir değerlendirme kriterine karar vermektir. Bu amaçla analitik ve holistik değerlendirme kriterleri yabancı dil programlarında uzmanlarca yaygınca kullanılmaktadır. Bu çalışmada, değerlendirme kriter ve tercihlerine göre – analitik veya holistik - 31 tane yabancı dil öğretmeni 344 öğrenci kompozisyonu değerlendirmek üzere rast gele seçilerek görevlendirildi. Her bir öğrenci kompozisyonu iki öğretmen tarafından değerlendirildiği için kullanılan farklı kriterlerden – holistik/holistik, holistik/analitik, analitik/analitik dolayı oluşan farklı değerlerin korelasyonları incelendi. Üç farklı durum dikkate alınarak öğretmenlerin kompozisyonlara verdikleri puanların korelasyonları hesap edilerek değerlendiriciler arasındaki güvenirlik tespit edildi. Sonuçlara göre en yüksek korelasyon aynı kompozisyonu holistik kritere göre değerlendiren öğretmenler arasında ortaya çıktı. Bu çalışmada en düşük korelasyon aynı kompozisyonu farkı kriterlere – analitik veya holistik – göre değerlendiren öğretmenler arasında saptanmıştır.

.

Makale detayları

RELIABILITY OF RATERS FOR WRITING ASSESSMENT: ANALYTIC - HOLISTIC, ANALYTIC - ANALYTIC, HOLISTIC – HOLISTIC

Yazarlar: Yakup Çetin

Yayıncı: Hatay Mustafa Kemal University

Ana Başlıklar: Sosyoloji & antropoloji

Dergi: Mustafa Kemal University Journal of Social Sciences Institute 2011 Vol.8 Issue 16, pp.471-486

Belge Tipi: Makale

Yayın Tarihi: 12/2013

Belge Dili: İngilizce

Document ID (Org No.): 2000596304

Sıklık: Aylık

eISSN: 2791-7789

Sayı

Yazarlar:

Yakup Çetin

Yayıncı:

Hatay Mustafa Kemal University

Ana Başlıklar:

Sosyoloji & antropoloji

Dergi:

Mustafa Kemal University Journal of Social Sciences Institute 2011 Vol.8 Issue 16, pp.471-486

Belge Tipi:

Makale

Yayın Tarihi:

12/2013

Belge Dili:

İngilizce

Document ID (Org No.):

2000596304

Sıklık:

Aylık

eISSN:

2791-7789