Determining Differential Item Functioning with the Mixture Item Response Theory

Seher YALCIN

Makale detayları

Determining Differential Item Functioning with the Mixture Item Response Theory

Yazarlar:

Seher YALCIN

Yayıncı:

Anı Yayıncılık

Dergi:

Eurasian Journal of Educational Research 2018 Vol.18 Issue 74, pp.187-206

Belge Tipi:

Makale

Yayın Tarihi:

3/2018

Belge Dili:

İngilizce

Document ID (Org No.):

2000706518

Sıklık:

İki Aylık

eISSN:

2528-8911

pISSN:

1302-597X

Özet:

 


Purpose: Studies in the literature have generally demonstrated that the causes of differential item functioning (DIF) are complex and not directly related to defined groups. The purpose of this study is to determine the DIF according to the mixture item response theory (MixIRT) model, based on the latent group approach, as well as the Mantel-Haenszel method, based on the observed group approach, compare the results, and determine the possible causes of the DIF. Research Methods: As this study is contributing to the production of information to develop the theory, it is considered basic research. In accordance with the purposive sampling method, the research sample consisted of 1166 fourth-grade level students from Singapore, Kuwait, and Turkey who participated in the Trends in International Mathematics and Science Study mathematics application and took the sixth booklet. During the data analysis, the model that adapted the data according to MixIRT was determined. Then, the status of the items displaying DIF was determined according to the adaptive model. Findings: According to the MixIRT, the two latent class models fit best to the data. No significant difference by gender was observed in either class or any country. This finding suggests that the gender variable, which is frequently used as the observed group in DIF studies, should not be dealt with alone. Implications for Research and Practice: Since it is difficult to state whether an item is advantageous for a subgroup when DIF is determined in accordance with known groups, it is recommended to employ the latent class approach to determine DIF.

.

 


Problem Durumu: Farklılaşan madde fonksiyonu (FMF), aynı yetenek düzeyinde ya da yetenek düzeyine göre bireyler eşleştirildikten sonra farklı gruplardaki bireylerin bir maddeyi doğru yanıtlama olasılığının farklı olmasıdır. FMF’nin ortaya çıkarılmasında pek çok yöntem [Mantel-Haenszel (MH), Lojistik Regresyon vb.] önerilmektedir. Bu FMF yöntemleri, bir maddenin bilinen veya gözlenen gruplar arasındaki fonksiyonlaşma durumunu kıyaslamaktadır. Gözlenen grupların ise genellikle cinsiyet (kadın ve erkek) ya da etnik gruplar gibi homojen alt grupları temsil ettiği ve FMF’nin kaynağıyla da ilişkili olduğu varsayılmaktadır. Ancak bilinen/gözlenen gruplar, grup homojenliği varsayımını her zaman sağlayamamaktadır. Ayrıca, FMF alanında yapılan son çalışmalar, FMF'nin nedenlerinin genellikle karmaşık olduğunu ve tanımlanmış gruplarla doğrudan ilişkili olmadığını göstermiştir. Bu bağlamda, FMF’nin gizil (bilinmeyen) gruplar arasında incelenmesi gerektiği vurgulanmaktadır.

Araştırmanın Amacı: Bu çalışmanın amacı gizil grup yaklaşımına dayalı Karma Madde Tepki Kuramı (KMTK) modeline ve gözlenen grup yaklaşımına dayalı MH yöntemine göre FMF’nin belirlenmesi, sonuçların karşılaştırılması ve FMF’nin olası nedenlerini belirlemektir.

Araştırmanın Yöntemi: Bu çalışmada, KMTK modeline ve MH yöntemine göre FMF’nin belirlenmesi, sonuçların karşılaştırılması ve FMF’nin olası nedenlerinin belirlenmesi amaçlandığından, yani kuramı geliştirmeye yönelik bilgi üretimine katkıda bulunduğundan temel bir araştırmadır. Bu çalışmada, amaçlı örnekleme yöntemi kullanılmıştır. FMF testinden kullanılan asıl model (KMTK), Madde Tepki Kuramı’na (MTK) dayalı olduğundan MTK modellerine göre geliştirilen Uluslararası Matematik ve Fen Eğilimleri Araştırması (TIMSS) maddelerinin kullanılmasının uygun olduğu

204 Seher YALCIN / Eurasian Journal of Educational Research 74 (2018) 187-206

düşünülmüştür. TIMSS 2015 dördüncü sınıf matematik alt testi maddeleri incelenmiş, sadece ikili (1-0) puanlanan maddelerden oluşan altıncı kitapçık üzerinden analizler gerçekleştirilmiştir. İkili puanlanan maddelerin seçilmesinin nedeni, hem KMTK hem de MH yöntemine uygun olmasıdır. Ayrıca KMTK modelleri, verilerdeki homojen gizil sınıfları belirlediğinden heterojen bir veri seti oluşturmak için üç ülke çalışmaya dâhil edilmiştir. Ülkelerin seçiminde TIMSS 2015 dördüncü sınıf matematik başarı ortalamaları dikkate alınmıştır. TIMSS 2015 dördüncü sınıf matematik uygulamasında, en yüksek başarı puanına (618) sahip olan ülke Singapur iken en düşük başarı puanına (353) sahip olan ülke Kuveyt’tir. Türkiye ise 483 ortalama puanıyla orta düzeyde kalmaktadır. Heterojen bir veri seti yaratmak amacıyla bu üç ülkeden dördüncü sınıf düzeyinde TIMSS matematik uygulamasına katılıp altıncı kitapçığı alan 1166 öğrenci bu araştırmanın çalışma grubunu oluşturmuştur. TIMSS uygulamasında, 14 farklı kitapçık kullanılarak öğrencilerin cevapları alınmaktadır. Verilerin analiz edilmeden önce maddeler arası korelasyonlar ve verilerin tek boyutlu olma durumu incelenmiştir. Dört madde, maddeler arası korelasyonu yüksek olduğu için analizden çıkarılmıştır. Analizler 25 madde üzerinden yapılmıştır. Tek boyutluluk analizi sonucu, model uyum istatistikleri değerlendirildiğinde, maddelerin tek boyutlu bir yapı gösterdiği görülmüştür. Veriler analiz edilirken öncelikle KMTK’na göre veriye uyum sağlayan model belirlenmiştir. Oluşan sınıflarda bilinen ve alan yazında sıkça kullanılan cinsiyet, ülke gibi özelliklerin dağılımı incelenmiştir. Ardından gizil sınıflara göre oluşan gruplarda maddelerin tek boyutlu bir yapı gösterme durumu incelenmiş, beş maddenin aynı yapıyı ölçmediği görülerek analizden çıkarılmıştır. Kalan 20 maddenin KMTK’ya göre gizil sınıflar arasında FMF gösterme durumu tespit edilmiştir. Ayrıca, gözlenen grup yaklaşımlarından sıklıkla kullanılan MH yöntemine göre gizil sınıflar arasında FMF gösteren maddeler belirlenmiştir. KMTK’na dayalı uygun modelin ve FMF’nin belirlenmesinde Mplus 8 paket programı kullanılmıştır (Muthén & Muthén, 2017). FMF’nin MH yöntemine göre belirlenmesinde R yazılım dilinde “difR" paketi kullanılmıştır.

Araştırmanın Bulguları, Sonuçları ve Öneriler: KMTK’na göre iki gizil sınıflı model veriye en iyi uyum sağlamıştır. Belirlenen iki gizil sınıftaki bireyler ayrı ayrı incelendiğinde, her iki sınıfta da tüm ülkelerde cinsiyete göre dikkat çeken bir ayrım söz konusu değildir. Cohen ve Bolt (2005), bir başarı testinde yanlı maddeleri tanımlamak için Karma Rasch modelini kullandığı çalışmada, bu çalışmanın sonuçlarına benzer olarak cinsiyetin gizil sınıflarla zayıf bir ilişki içinde olduğunu tespit etmişlerdir. Bu durum, FMF çalışmalarında gözlenen grup olarak sıklıkla kullanılan cinsiyet değişkeninin tek başına ele alınmaması gerektiğini göstermektedir. Gizil sınıflar, ülkelere göre incelendiğinde, ilk gizil sınıfın büyük çoğunluğu Singapur’dan uygulamaya katılan öğrencilerken ikinci gizil sınıf daha çok Kuveyt ve Türkiye’den katılan öğrencilerden oluşmaktadır. Cohen ve Bolt (2005) da yaptıkları çalışmada, etnik köken ile gizil sınıflar arasında ilişkiler olduğunu görmüşlerdir. Öğrencilerin maddelere verdikleri tepkiler incelendiğinde, Gizil sınıf-1’deki bireyler için maddelerin oldukça kolay, gizil sınıf-2 için de maddelerin orta güçlükte olduğu görülmüştür. Bir diğer deyişle, Sınıf-1’deki bireyler, Sınıf-2’dekilerden daha yüksek başarıya sahiptir. KMTK’na göre FMF incelendiğinde, dört madde öğrencilerin gizil yeteneği kontrol edildikten sonra gizil sınıflar arasında FMF göstermektedir. FMF olarak belirlenen maddeler; konu alanı,

Seher YALCIN / Eurasian Journal of Educational Research 74 (2018) 187-206 205

bilişsel düzey veya madde türü açısından incelenmiş ve bir örüntü olduğu görülmüştür. Cohen ve Bolt (2005) yaptıkları çalışmada, bu çalışmanın bulgularına paralel olarak konu alanları (cebir, geometri vb) ile gizil sınıflar arasında ilişkiler olduğunu tespit etmiştir. MH yöntemine göre yapılan FMF analizi sonucu, 10 madde gizil sınıflar arasında FMF göstermektedir. Bu maddelerden yedisi referans grup olan gizil sınıf-1’in lehinedir. Bu maddelerden ikisi, KMTK’na dayalı çıkan sonuçlar ile tutarlıdır. MH yöntemine göre üç madde ise odak grup olan gizil sınıf-2’nin lehinedir. Maij-de Meij ve diğerleri (2010) çalışmalarında, gözlenen gruba dayalı FMF belirleme yöntemlerinden Lord’un ki-kare istatistiğinden, gizil sınıflar arasında FMF’yi belirlemek için ise Karma Rasch modelini kullanmışlardır. Çalışma sonucunda, gizil sınıflara göre belirlenen FMF’nin daha etkili olduğu, gerçek veriye dayalı sonuçlar ise gizil sınıf ve gözlenen grup yöntemlerinin birbirine yakın sonuç verdiğini göstermiştir. Bu çalışmada ise MH yöntemiyle KMTK sonuçlarının düşük düzeyde tutarlı olduğu ifade edilebilir. Yapılan analiz sonuçları genel olarak değerlendirildiğinde, bilinen gruplara göre FMF tespit edildiğinde o alt gruptaki tüm bireyler için maddenin avantajlı ya da dezavantajlı olduğunu ifade etmek zor olduğundan gizil sınıf yaklaşımının, FMF belirlemede kullanılması önerilmektedir.

.

Makale detayları

Determining Differential Item Functioning with the Mixture Item Response Theory

Yazarlar: Seher YALCIN

Yayıncı: Anı Yayıncılık

Dergi: Eurasian Journal of Educational Research 2018 Vol.18 Issue 74, pp.187-206

Belge Tipi: Makale

Yayın Tarihi: 3/2018

Belge Dili: İngilizce

Document ID (Org No.): 2000706518

Sıklık: İki Aylık

eISSN: 2528-8911

pISSN: 1302-597X

Sayı

Yazarlar:

Seher YALCIN

Yayıncı:

Anı Yayıncılık

Dergi:

Eurasian Journal of Educational Research 2018 Vol.18 Issue 74, pp.187-206

Belge Tipi:

Makale

Yayın Tarihi:

3/2018

Belge Dili:

İngilizce

Document ID (Org No.):

2000706518

Sıklık:

İki Aylık

eISSN:

2528-8911

pISSN:

1302-597X