The main goal of this study is to compare the results of G studies that were obtained by groups formed by three groups of raters in using scoring rubric in the process of written performance assessment.Students that were chosen with purposive sampling from the prep-class of a private university in Ankara in 2015-2016 academic year and instructors that teach the students constitute the study group. In this study, three separate G studies were carried out for (s:r)xi design (s: student, i: item, r:rater) by three groups of raters in one of which there are raters who have much experience in using scoring rubric; in one of which there are raters who have little experience in using scoring rubric and in one of which there is a rater with much experience and one with little experience in evaluating students using scoring rubric in accordance with 6 criteria.Based on the findings, the results of G studies were compared. It is observed that variance rates that were estimated for variables in three groups, G and Phi coefficients, absolute and relative error variances are parallel to each other. Therefore, it is found that there is no difference between raters with different experience years in using scoring rubric in terms of reliability. After the analysis of data, an interview form was applied to 6 instructors who work at the university where data of the G studies were collected to find out their point of views and practice upon rubric use in testing and evaluation of written skills of students. Data derived from the interview was evaluated with content analysis. Interviewees passed positive remarks on scoring rubric using in written skill evaluation and they emphasized high rater reliability. In addition to this, they expressed difficulties they experienced during the use of scoring rubric which are the pressure of time, the crowd of the classrooms to be scored and fatigue impact. Views of instructors on scoring rubric are expected to help propose solutions to the difficulties they experienced during the stage of the application.

Bu araştırmanın temel amacı; İngilizce yazılı anlatım becerisi puanlamada, dereceli puanlama anahtarı (Rubrik) kullanmaya ilişkin üç grup puanlayıcıdan toplanan verilerin G çalışmaları sonuçlarını karşılaştırmaktır.2015- 2016 öğretim yılında, Ankara'da bulunan bir vakıf üniversitesinin hazırlık okuluna devam eden ve amaçlı örneklem ile seçilen öğrenciler ve bu öğrencilere eğitim veren okutmanlar araştırmanın çalışma grubunu oluşturmaktadır. Araştırma, dereceli puanlama anahtarı kullanmaya ilişkin deneyimi az, dereceli puanlama anahtarı kullanmaya ilişkin deneyimi çok ve son olarak dereceli puanlama anahtarı kullanmaya ilişkin deneyimi az ve çok olan puanlayıcıların aynı grupta yer alması ile oluşan karışık grup olmak üzere üç ayrı grupta aynı dereceli puanlama anahtarı ile 6 görev doğrultusunda, (b:p)xm deseni ile (b: birey, m: madde,p: puanlayıcı) öğrencileri değerlendirdiği G çalışmaları yapılmıştır. Araştırmada yapılan G çalışmaları sonuçları karşılaştırılmıştır. Elde edilen sonuçlara göre her üç durumda da değişkenler için hesaplanan varyans değerlerinin, G ve Phi katsayılarının, mutlak ve bağıl hata varyanslarının birbirleriyle paralellik gösterdiği görülmüştür. Böylece nitelikli bir derece puanlama anahtarı kullanarak yapılan güvenirliği yüksek değerlendirmelerde, dereceli puanlama anahtarı kullanmaya ilişkin deneyim yılının etkili olmadığı anlaşılmıştır.Verilerin analizinden sonra verilerin toplandığı üniversitede görev yapan 6 okutmanla, dereceli puanlama anahtarı hakkındaki görüşlerini toplamak amacıyla görüşmeler yapılmıştır. Görüşmeler sonucunda elde edilen veriler, içerik analizi ile analiz edilmiştir. Görüşme yapılan okutmanlar, dereceli puanlama anahtarı kullanarak yazılı anlatım becerisi değerlendirmeye karsı olumlu görüş bildirmişlerdir ve puanlayıcı güvenirliğini artırdığını belirtmişlerdir. Buna ek olarak, dereceli puanlama anahtarı kullanma konusunda yasadıkları zorlukların başında yaşanan zaman sıkıntısı ve kalabalık bir grubu puanlama esnasında yaşanan yorgunluk etkisi olarak belirtmişlerdir. Okutmanların dereceli puanlama anahtarı kullanmaya ilişkin görüşlerinin, uygulama aşamasında karşılaşılan güçlüklere çözüm önerileri getirmelerine yardımcı olacağı düşünülmektedir.Anahtar Sözcükler: Genellenebilirlik Kuramı, İngilizce Yazılı Anlatım Becerisi, Dereceli Puanlama Anahtarı.