A Comparison of Difficulty Indices Calculated for Open-Ended Items According to Classical Test Theory and Many Facet Rasch Model

Mustafa ILHAN; Nese GULER

Makale detayları

A Comparison of Difficulty Indices Calculated for Open-Ended Items According to Classical Test Theory and Many Facet Rasch Model

Yazarlar:

Mustafa ILHAN | Nese GULER

Yayıncı:

Anı Yayıncılık

Dergi:

Eurasian Journal of Educational Research 2018 Vol.18 Issue 75, pp.99-114

Belge Tipi:

Makale

Yayın Tarihi:

5/2018

Belge Dili:

İngilizce

Document ID (Org No.):

2000706466

Sıklık:

İki Aylık

eISSN:

2528-8911

pISSN:

1302-597X

Özet:

 


Purpose: This study aimed to compare difficulty indices calculated for open-ended items in accordance with the classical test theory (CTT) and the Many-Facet Rasch Model (MFRM). Although theoretical differences between CTT and MFRM occupy much space in the literature, the number of studies empirically

comparing the two theories is quite limited.Therefore, this study is expected to be a substantial contribution to the literature.

.

 


Problem Durumu: Klasik test kuramı (KTK) ve çok yüzeyli Rasch modeli (ÇYRM) arasındaki kuramsal farklılıklar alanyazında geniş bir yer tutmasına rağmen bu iki kuramı ampirik açıdan karşılaştıran araştırmaların oldukça sınırlı olduğu görülmektedir. KTK ve ÇYRM’nin karşılaştırılmasına yönelik çalışmalarda üzerinde en fazla durulan konu iki kurama göre hesaplanan güvenirlik değerlerinin ne derece tutarlı olduğudur. Daha yakın zamanda yapılan araştırmalarda ise iki kuramının yetenek kestirimleri ile madde güçlük parametreleri açısından karşılaştırıldığı anlaşılmaktadır. KTK ve ÇYRM’de rapor edilen güvenirlik değerlerinin

112 Mustafa Ilhan - Nese GULER

Eurasian Journal of Educational Research 75 (2018) 99-114

karşılaştırıldığı araştırmalar incelendiğinde, bu çalışmaların kullanılan desen açısından farklılık gösterdiği saptanmıştır. Çalışmaların bir kısmında açık uçlu maddelere verilen öğrenci cevaplarının tamamının aynı puanlayıcı grubu tarafından değerlendirildiği çapraz bir desen kullanılmıştır. Bazılarında ise değerlendirme sürecinde birbirinden farklı puanlayıcı gruplarının görev aldığı yuvalanmış bir desen tercih edilmiştir. Dolayısıyla, konu ile ilgili alanyazındaki mevcut çalışmalar iki kurama göre hesaplanan güvenirlik değerlerinin ne derece tutarlı olduğuna ilişkin kapsamlı bir bilgi sunabilmektedir. Ancak aynı şeyi KTK ile ÇYRM’de hesaplanan madde güçlük indekslerinin karşılaştırılmasına yönelik araştırmalar için söylemek güçtür. Çünkü alanyazında KTK ve ÇYRM’de hesaplanan madde güçlüklerinin karşılaştırıldığı yalnızca bir araştırmaya rastlanmış ve bu çalışmada yuvalanmış bir desenin kullanıldığı belirlenmiştir. İki kurama göre hesaplanan madde güçlüklerinin çapraz bir deseninin kullanıldığı ölçme koşulları altında karşılaştırıldığı bir çalışmaya ise alanyazında rastlanmamıştır. Ayrıca alanyazındaki sözü edilen araştırmada, KTK’ya dayalı madde güçlükleri %25’lik alt ve üst gruba ait ölçümler esas alınarak kestirilirken; ÇYRM’ye ilişkin madde güçlük kestiriminde tüm bireylere ait ölçümler kullanılmıştır. Böylesi bir farkın iki kurama göre hesaplanan madde güçlüklerinin karşılaştırıldığı bir çalışma için önemli olabileceği düşünülmektedir. Bu anlamda, ölçme koşulları açısından alanyazındaki bahsi geçen araştırmadan farklılık gösteren bir çalışma ile KTK ve ÇYRM’de hesaplanan madde güçlüklerinin karşılaştırılması önemli görülmektedir.

Araştırmanın Amacı: Bu araştırmada, açık uçlu maddelerde klasik test kuramı (KTK) ile çok yüzeyli Rasch modeline (ÇYRM) göre hesaplanan güçlük indekslerinin karşılaştırılması amaçlanmıştır.

Araştırmanın Yöntemi: Araştırmanın verileri, sekizinci sınıfa devam eden 375 öğrencinin açık uçlu 10 maddeye verdiği cevabın üç öğretmen tarafından puanlanmasıyla elde edilmiştir. Puanlamalarda dörtlü derecelemeye sahip bütüncül bir rubrik kullanılmıştır. KTK’ya dayalı madde güçlüklerinin hesaplanmasındaki ilk adım, öğrencilerin her bir maddeye verdikleri cevaplar için farklı puanlayıcılar tarafından atanan puanların ortalamasının alınması olmuştur. İkinci adımda tüm maddeler için ayrı ayrı olmak üzere, öğrencilerin maddelerden aldıkların puanların toplamı çalışmadaki katılımcı sayısına bölünmüş ve bu şekilde maddelere ilişkin puan ortalamaları hesaplanmıştır. Daha sonra her bir madde için, ilgili maddeden alınan puanların ortalaması ile maddeden alınabilecek en düşük puan arasındaki fark bulunmuştur. Bulunan bu farkın madde puan ranjına bölünmesiyle KTK dayalı madde güçlük parametrelerine ulaşılmıştır. Madde güçlüklerinin KTK’ya göre hesaplanmasında Microsoft Excel’den yararlanılmıştır. KTK’ya ilişkin analizlerin ardından ÇYRM’ye yönelik analizlere geçilmiştir. Bu kapsamda, FACETS paket programı kullanılarak puanlayıcı, madde ve öğrenci şeklinde üç yüzeyli bir desen ile Rasch analizi gerçekleştirilmiştir. Analiz çıktılarında, madde yüzeyine ilişkin ölçüm raporları incelenerek ÇYRM’ye dayalı madde güçlük parametreleri elde edilmiştir. Madde güçlük indekslerinin KTK ve ÇYRM’ye göre hesaplanmasını takiben, iki kurama göre kestirilen güçlük değerleri arasındaki tutarlılığa bakılmıştır.

Araştırmanın Bulguları: Araştırmadan elde edilen bulgular, iki kurama göre kestirilen güçlük indeksleri arasında yüksek bir tutarlılık olduğunu göstermiştir. Maddeler güçlük düzeyleri açısından bir sıralamaya tabi tutulduğunda KTK ile ÇYRM’de

Mustafa Ilhan - Nese GULER

Eurasian Journal of Educational Research 75 (2018) 99-114

113

ulaşılan sıralamaların özdeş olduğu saptanmış ve iki kurama göre kestirilen güçlük indeksleri arasında pozitif yönde, güçlü ve anlamlı bir korelasyonun (r=.999, p<.001) bulunduğu belirlenmiştir. Her iki kurama göre de başarı testindeki 10 maddenin kolaydan zora doğru; M2, M3, M1, M4, M7, M6=M8, M10, M5 ve M9 şeklinde sıralandığı sonucuna ulaşılmıştır.

Araştırmanın Sonuç ve Önerileri: Araştırma sonuçlarından hareketle, açık uçlu maddeler içeren bir başarı testi geliştirme sürecinde, madde güçlüklerinin KTK veya ÇYRM’ye göre kestirilmiş olmasının teste alınacak ya da test dışında tutulacak maddeler ile ilgili bir farklılık yaratmayacağı söylenebilir. Dolayısıyla açık uçlu maddelerin bulunduğu bir başarı testi geliştirirken KTK ile ÇYRM’den hangisinin tercih edilmesi gerektiğine dair verilecek kararlarda kullanım kolaylığı ve rapor edilen sonuçların ne derece ayrıntılı olduğu gibi kuramlara ilişkin diğer özelliklerin ön plana çıkacağı düşünülmektedir. Örneğin, KTK’nın birçok kişinin daha aşina olduğu bir kuram olması ve bu kurama ilişkin madde analizlerinin Microsoft Excel’de kolaylıkla gerçekleştirilebilmesi araştırmacıların/uygulayıcıların açık uçlu test geliştirme sürecinde KTK’yı daha pratik bir yol olarak görmesine sebep olabilir. KTK’yı ÇYRM’ye göre daha kullanışlı hale getiren bu özelliklerine karşın ÇYRM’nin de KTK’ya kıyasla daha avatanjlı olduğu bazı yönleri bulunmaktadır. Ölçümlerin geçerliği ile güvenirliğinin, madde güçlüklerinin, bireylerinin yetenek düzeylerinin ve puanlayıcıların katılık/cömertliklerinin eş zamanlı olarak hesaplanması, analizde işlem gören tüm yüzeylerin ortak bir metrik (logit) üzerine yerleştirilerek birbiriyle karşılaştırılabilmesi ve analiz çıktıları arasında KTK’da karşılığı olmayan test bilgi fonksiyonunun, kategori istatistiklerinin ve beklenmedik yanıtların yer alması madde güçlük indeksleri açısından benzer sonuçlar üretmesine rağmen ÇYRM’yi KTK’ya göre daha tercih edilebilir bir model haline getirebilecek özelliklerdir.

.

Makale detayları

A Comparison of Difficulty Indices Calculated for Open-Ended Items According to Classical Test Theory and Many Facet Rasch Model

Yazarlar: Mustafa ILHAN | Nese GULER

Yayıncı: Anı Yayıncılık

Dergi: Eurasian Journal of Educational Research 2018 Vol.18 Issue 75, pp.99-114

Belge Tipi: Makale

Yayın Tarihi: 5/2018

Belge Dili: İngilizce

Document ID (Org No.): 2000706466

Sıklık: İki Aylık

eISSN: 2528-8911

pISSN: 1302-597X

Sayı

Yazarlar:

Mustafa ILHAN | Nese GULER

Yayıncı:

Anı Yayıncılık

Dergi:

Eurasian Journal of Educational Research 2018 Vol.18 Issue 75, pp.99-114

Belge Tipi:

Makale

Yayın Tarihi:

5/2018

Belge Dili:

İngilizce

Document ID (Org No.):

2000706466

Sıklık:

İki Aylık

eISSN:

2528-8911

pISSN:

1302-597X