Investigation of Group Invariance in Test Equating Under Different Simulation Conditions

Hatice INAL; Duygu ANIL

Makale detayları

Investigation of Group Invariance in Test Equating Under Different Simulation Conditions

Yazarlar:

Hatice INAL | Duygu ANIL

Yayıncı:

Anı Yayıncılık

Dergi:

Eurasian Journal of Educational Research 2018 Vol.18 Issue 78, pp.67-86

Belge Tipi:

Makale

Yayın Tarihi:

11/2018

Belge Dili:

İngilizce

Document ID (Org No.):

2000706354

Sıklık:

İki Aylık

eISSN:

2528-8911

pISSN:

1302-597X

Özet:

 


Purpose: This study aimed to examine the impact of differential item functioning
in anchor items on the group invariance in test equating for different sample
sizes. Within this scope, the factors chosen to investigate the group
invariance in test equating were sample size, frequency of sample size of
subgroups, differential form of differential item functioning (DIF), frequency
of items in the anchor test with differential item functioning, directionality
of differential item functioning and mean differences in subpopulation ability
levels. 




Research Methods: The current study was conducted by using item
response theory true score equating under equivalent groups anchor test design.
REMSD index was used for investigating group invariance in test equating. This
study was designed as a comparison of equating results on 96 simulation
conditions. The R language and SPSS software was utilized for analysis and 100
replications were performed for each condition. The effect of the conditions
held in the study on group invariance in test equating was evaluated by taking
average of REMSD. Also, ANOVA was performed to determine significant effect of
each factor on group invariance in test equating. Findings: The findings of the study showed that differential form DIF
was the factor that had the most prominent impact on group invariance in test equating.
Implications for Research and Practice:
Within the scope of the results of the study, group invariance affected by
factors of DIF were only in instances in which DIF in anchor items was
differential across test forms.

.

 


Problem Durumu: Psikometride, bir testin farklı formlarından elde
edilen puanların karşılaştırılabilmesini ve birbiri yerine kullanılabilmesini
sağlayan puanları dönüştürme süreci eşitleme olarak adlandırılmaktadır.
Eşitleme işlemin hatasız olması, gerçekleştirilen test uygulamalarının daha
adil olması ve bireylerin geleceği ile ilgili doğru kararlar alınmasında kritik
önem arz etmektedir. Başarılı bir eşitleme, bir testin daha kolay formuna alan
bireylerin testin daha zor formuna giren bireylere göre haksız bir avantajı olmadığı
ve bir testin farklı formlarını alan bireylerin puanlarındaki farklılığın,
bireylerin başarı düzeyindeki farklılıktan kaynaklandığı anlamına gelmektedir.
Eşitleme sürecinin başarılı bir şekilde yürütülmesi için, başka bir değişle
eşitleme süreci yardımı ile farklı formlardan alınan puanların birbiri yerine
kullanılabilmesi için eşitlemenin, grup değişmezliği şartının da yer aldığı
birtakım şartları karşılanması gerekmektedir. Eşitlemenin grup değişmezliği,
farklı ölçekler üzerindeki puanları eşitlemek için kullanılan fonksiyonun alt
gruplara bağlı olmamasıyla sağlanır. 

Diğer yandan, bir testte yer alan bir maddeye ait
performansın farklı alt gruplarda nasıl değiştiğini incelemek için Değişen
Madde Fonksiyonu (DMF) kullanılmaktadır. Bundan dolayı parametre kestirimi ya
da test eşitleme çalışmasına başlanmadan önce DMF gösteren maddeleri belirlemek
ve gerekirse silmek için DMF analizi yürütmek gerekmektedir. Ancak bazı
koşullarda iyi yapılandırılmış bir test çok sayıda DMF gösteren madde içerse de
testten DMF gösteren maddelerin silinmesi testin yapı geçerliliğinin düşmesine
ve yetenek parametre kestirimlerindeki hatanın artmasına neden olur. Ayrıca DMF
gösteren maddelerin silinmesi durumunda testin geçersiz olacağı durumlar
oluşabilir. Bu nedenle, eşitleme sırasında DMF gösteren maddelerin varlığında
da eşitlemeye olan etkisini en aza indirebilecek koşulların incelenmesi
önemlidir. 

Araştırmanın Amacı: Bu çalışmanın amacı ortak maddelere dayalı olarak
yapılan eşitlemelerde, ortak maddelerin DMF göstermesi durumunda; DMF ve
örneklem büyüklüğünden oluşturulan çeşitli koşullara göre grup değişmezliği
indislerini belirlemek ve elde edilen sonuçları karşılaştırmaktır. Araştırmanın
amacı doğrultusunda; ortak maddeler yardımıyla eşitlenmede, DMF ve örneklem büyüklüğü
faktörleri altında simülasyon yardımıyla eşitleme açısından en optimum durum
belirlenmeye çalışılmıştır. Çalışmada kullanılan simülasyon faktörleri;
örneklem büyüklüğü, örneklem büyüklüğü oranı, DMF gösteren maddelerin bulunduğu
form, DMF gösteren madde oranı, DMF yönü ve gruplar arası ortalama yetenek
farkıdır.

Araştırmanın
Yöntemi: Bu araştırmada,
belirlenen koşullara göre üretilen simülasyon veriyi kullanarak farklı eşitleme
tasarımlarının karşılaştırılması amaçlanmaktadır. Böylece belirlenen koşullar
altında eşitleme tasarımı için optimum koşullar incelendiği bu araştırmanın bir
simülasyon çalışması niteliği taşımakta olduğu söylenebilir.

Bu araştırmada iki test formunu eşitleyebilmek için
“denk gruplarda ortak madde/test deseni” kullanılmıştır. Ortak maddeler, F0 ve
F1 arasındaki eşitleme ilişkisini kurmak için kullanılmıştır. Eşitlenecek her
bir form %25’si yani 10 tanesi ortak madde olmak üzere ikili puanlanmış 40
maddeden oluşmaktadır. 

Verilerin üretilmesinde R programından
yararlanılmıştır. Bu çalışmada sonuçların tutarlı ve genellenebilir olabilmesi
için her veri seti 100 defa türetilmiştir. Çalışma kapsamında bazı ortak test
maddelerinde DMF tanımlamak gerekmektedir. Bu nedenle eşitlenecek olan F0 ve F1
formlarının uygulandığı gruplar, odak grup ve referans grup olarak ikiye
ayrılmıştır. 

Verilerin analizinde R programı ve SPSS programından
yararlanılmıştır. Veri analizinin ilk aşamasında eşitleme süreci yürütülmüştür.
Daha sonra eşitleme sürecinden elde edilen sonuçlara dayalı olarak eşitlemenin
doğruluğunu değerlendirmek amacıyla eşitlemede grup değişmezliği indisleri elde
edilmiştir. Son olarak da elde edilen grup değişmezliği indislerinin çalışmada
ele alınan faktörlere göre varyans analizi yapılmıştır.

Çalışmanın amacı doğrultusunda F0 ve F1 formlarını
eşitleme süreci toplam gruplar, odak gruplar ve referans gruplar üzerinde ayrı
ayrı yürütülmüştür. Eşitleme süreci her bir grup için üç aşamada
gerçekleştirilmiştir. İlk olarak R da batch edilen BILOG kodlarıyla madde
kalibrasyonu işlemi yapılmıştır. Daha sonra eşitlenecek formlara ait
parametreler ortalama sigma yöntemiyle aynı metrik üzerine ölçeklenmiştir.
Ölçeklemenin akabinde, MTK gerçek puan eşitlemesi yapılarak F1 formuna ait
eşitlenmiş gerçek puanlar elde edilmiştir. Eşitleme süreci çalışma kapsamındaki
96 koşul için 100’er kere gerçekleştirilmiştir. Her bir eşitleme süreci
tamamlandıktan sonra; her bir puanın toplam grupların eşitlenmesi sonucunda
elde edilen eşitlenmiş puanının, referans grupların eşitlenmesi sonucunda elde
edilen eşitlenmiş puanının ve odak grupların eşitlenmesi sonucunda elde edilen
eşitlenmiş puanının yer aldığı eşitleme tabloları oluşturulmuştur. 

Bu çalışmada eşitlemenin doğruluğunu grup değişmezliği
açısından değerlendirilmiştir. Eşitlemede grup değişmezliğin belirlenmesinde
çeşitli yöntemler kullanılmaktadır. Bu çalışmada Dorans ve Holland (2000)
tarafından test eşitlemede grup değişmezliğini belirlemek amacıyla geliştirilen
REMSD indisinden yararlanılmıştır. Tekrar sayısı 100 olduğu için her bir
koşulda grup değişmezliği indisleri tekrarlardan elden edilen hesaplamaların
ortalamaları alınarak raporlanmıştır. 

Eşitlemede grup değişmezliğinin değerlendirilmesinde,
Dorans ve diğerlerinin (2003) ve Dorans’ ın (2004) önerdiği ham puan biriminin
yarısı olarak alınan DTM (Difference That Matters) kriterinden
yararlanılmaktadır. DTM= 0.50 kriteri alınarak bir puanın toplam gruptaki bir
eşitlenmiş puan ile alt grup(lar)daki eşitlenmiş puan(lar) arasındaki
farklılığın 0.50’den daha az olmasının yok sayılabilir; 0.50’den daha fazla
olmasının ise manidar olduğu kabul edilerek yorumlar yapılmaktadır.

Araştırmanın
Bulguları: REMSD grup
değişmezliğinin çalışmada ele alınan tüm değişkenlere göre manidar farklılık
gösterdiği görülmektedir. Çalışma grubu büyüklüğü arttıkça REMSD grup
değişmezliği indisinin manidar olarak azaldığı görülmektedir. Ayrıca, DMF
gösteren ortak madde oranı arttıkça ise manidar şekilde REMSD grup değişmezliği
indisi de artmaktadır. REMSD grup değişmezliği indisinin DMF gösteren ortak
madde oranına göre gösterdiği manidar farklılığın hangi alt gruplar arasında
olduğunu belirlemek için yapılan Post Hoc testine göre ise DMF gösteren ortak
madde oranı değişkeninin tüm ikili alt grup karşılaştırmalarında manidar fark
olduğu belirlenmiştir. REMSD grup değişmezliği, tek yönlü DMF’nin söz konusu
olduğu koşullarda iki yönlü DMF’nin söz konusu olduğu koşullara göre manidar
olarak daha büyük değer aldığı görülmektedir. Ayrıca gruplar arası yetenek
farkının 0 olduğu koşullar, gruplar arası yetenek farkının 1 olduğu koşullara
göre daha küçük REMSD değerleri hesaplanmıştır.
























Araştırmanın Sonuç
ve Önerileri: Bu çalışmada veriler 3
parametreli lojistik modele göre üretilerek eşitleme yapılmıştır. Farklı
modellere göre veri üretip farklı çalışmalar oluşturulabilir. Ayrıca, farklı
eşitleme desenlerinde ortak maddelerde ya da eşitlenecek testte DMF gösteren
maddelerin yer alması durumunda da test eşitlemede grup değişmezliğinin nasıl
değiştiği incelenebilir.  Diğer yandan,
farklı örneklem büyüklükleri için farklı test uzunluklarında farklı eşitleme
yöntemleri kullanılarak test eşitlemenin grup değişmezliği araştırılabilir. Bu
çalışmada DMF gösteren ortak maddelerin test eşitlemenin grup değişmezliğine
etkisi simülasyon verisi kullanılarak gerçekleştirilmiştir.  Benzer şekilde gerçek bir veri setinde ya da
simülasyon çalışması ile birlikte gerçek veri seti kullanılarak ortak
maddelerde DMF görülmesi durumunda test eşitlemenin grup değişmezliğini nasıl
etkilediği hususunda bir çalışma yapılması önerilebilir.  

.

Makale detayları

Investigation of Group Invariance in Test Equating Under Different Simulation Conditions

Yazarlar: Hatice INAL | Duygu ANIL

Yayıncı: Anı Yayıncılık

Dergi: Eurasian Journal of Educational Research 2018 Vol.18 Issue 78, pp.67-86

Belge Tipi: Makale

Yayın Tarihi: 11/2018

Belge Dili: İngilizce

Document ID (Org No.): 2000706354

Sıklık: İki Aylık

eISSN: 2528-8911

pISSN: 1302-597X

Sayı

Yazarlar:

Hatice INAL | Duygu ANIL

Yayıncı:

Anı Yayıncılık

Dergi:

Eurasian Journal of Educational Research 2018 Vol.18 Issue 78, pp.67-86

Belge Tipi:

Makale

Yayın Tarihi:

11/2018

Belge Dili:

İngilizce

Document ID (Org No.):

2000706354

Sıklık:

İki Aylık

eISSN:

2528-8911

pISSN:

1302-597X