ÜDS için Angoff ve madde haritalama yöntemleriyle standart belirleme

Esin BAĞCAN BÜYÜKTURAN; Nükhet DEMİRTAŞLI

Makale detayları

ÜDS için Angoff ve madde haritalama yöntemleriyle standart belirleme

Yazarlar:

Esin BAĞCAN BÜYÜKTURAN | Nükhet DEMİRTAŞLI

Yayıncı:

Kocaeli University

Ana Başlıklar:

Eğitim

Dergi:

Kocaeli University Journal of Education 2020 Vol.3 Issue 2, pp.97-115

Belge Tipi:

Makale

Yayın Tarihi:

11/2020

Belge Dili:

Türkçe

Document ID (Org No.):

2000528647

Sıklık:

Aylık

eISSN:

2636-8846

Özet:

 

This study aims to compare the cutoff scores determined by Angoff and Item Response Theory (IRT) based Item Mapping methods. Archive data of UDS, which was made by ÖSYM was used in the study. Seven judges worked on the implementation of both methods. It has been found that the cutoff scores determined according to the two methods are significantly different for the level of "assignment to faculty members other than assistant professors, associate professors and professors", but similar for the levels of "applying for Associate Professorship" and "applying for English lecturer". In order to establish a proof of validity for the MTK based determinations, the items were re-mapped according to the item parameters obtained from the data of the respondent sample and a second item mapping study was conducted with the judges. The coherence of the decisions taken as a result of these two conduction are accepted as evidence for the validity of the applications. Consistency between judges was investigated in determining three different cut-off points with Angoff and MTK-based Item Mapping methods. Consistency between judges in determining three different cut-off points with Angoff and MTK-based Item Mapping methods was investigated. It was observed that judges made consistent decisions with each other in the Item Mapping method based on MTK, and the decisions made by the judges for the Angoff method were not consistent with each other.

 

Bu çalışmada Angoff ve Madde Tepki Kuramına (MTK) dayalı Madde Haritalama yöntemleri ile belirlenen kesme puanlarının karşılaştırması amaçlanmıştır. Çalışma için ÖSYM tarafından 2000-2012 yılları arasında, yılda iki kez yapılan ve akademik kadrolara atanma aşamasında puanları ön koşul olarak kabul edilen ÜDS’nin 2005 yılı Sosyal Bilimler İngilizce testi arşiv verileri kullanılmıştır. Her iki yöntemin yürütülmesinde de yedi yargıcı ile çalışılmış ve bu yöntemlerle belirlenecek 3 kesme puanına ilişkin yeterlik düzeylerinin sınırında kalan adayların dil yeterlikleri Avrupa dil portfolyosu çerçevesi esas alınarak 15 kişilik bir uzman grubunun görüşleri doğrultusunda tanımlanmıştır. İki yönteme göre belirlenen kesme puanlarının “öğretim üyesi dışındaki öğretim elemanı kadrolarına atanabilme” düzeyi için anlamlı derecede farklı olduğu ancak “Doçentlik başvurusu yapabilme” ve “ İngilizce okutmanlığı başvurusu yapabilme” düzeyleri için benzer olduğu bulunmuştur.  MTK’ya dayalı belirlemelere bir geçerlik kanıtı oluşturmak amacıyla yanıtlayıcı örneklemine ait verilerden elde edilen madde parametrelerine göre maddeler yeniden haritalanmış ve yargıcılarla ikinci bir madde haritalama çalışması yürütülmüştür. Bu iki uygulamada verilen kararların birbirleri ile uyumlu olması, yapılan işlemin geçerliği için kanıt olarak kabul edilmiştir. Angoff ve MTK’ya dayalı Madde Haritalama yöntemleri ile üç ayrı kesme puanının belirlenmesinde yargıcılar arası uyum araştırılmıştır. MTK’ya dayalı Madde Haritalama yönteminde yargıcıların birbirleri ile uyumlu kararlar verdikleri, Angoff yöntemi için yargıcılar tarafından verilen kararların birbirleri ile uyumlu olmadığı görülmüştür. Yargıcıların iş yükünü azaltma ve onlara ortak standardı yakalama konusunda yol göstererek daha tutarlı sonuçlar elde etmeyi sağlama gibi avantajları sebebiyle MTK’ya dayalı Madde Haritalama Yöntemi’nin daha güvenilir ve kullanışlı olduğu görülmüştür.

Makale detayları

ÜDS için Angoff ve madde haritalama yöntemleriyle standart belirleme

Yazarlar: Esin BAĞCAN BÜYÜKTURAN | Nükhet DEMİRTAŞLI

Yayıncı: Kocaeli University

Ana Başlıklar: Eğitim

Dergi: Kocaeli University Journal of Education 2020 Vol.3 Issue 2, pp.97-115

Belge Tipi: Makale

Yayın Tarihi: 11/2020

Belge Dili: Türkçe

Document ID (Org No.): 2000528647

Sıklık: Aylık

eISSN: 2636-8846

Sayı

Yazarlar:

Esin BAĞCAN BÜYÜKTURAN | Nükhet DEMİRTAŞLI

Yayıncı:

Kocaeli University

Ana Başlıklar:

Eğitim

Dergi:

Kocaeli University Journal of Education 2020 Vol.3 Issue 2, pp.97-115

Belge Tipi:

Makale

Yayın Tarihi:

11/2020

Belge Dili:

Türkçe

Document ID (Org No.):

2000528647

Sıklık:

Aylık

eISSN:

2636-8846