Cross-group Equivalence of Interest and Motivation Items in PISA 2012 Turkey Sample

Elif Ozlem ARDIC; Selahattin GELBAL

Makale detayları

Cross-group Equivalence of Interest and Motivation Items in PISA 2012 Turkey Sample

Yazarlar:

Elif Ozlem ARDIC | Selahattin GELBAL

Yayıncı:

Anı Yayıncılık

Dergi:

Eurasian Journal of Educational Research 2017 Vol.17 Issue 68, pp.221-238

Belge Tipi:

Makale

Yayın Tarihi:

3/2017

Belge Dili:

İngilizce

Document ID (Org No.):

2000706732

Sıklık:

İki Aylık

eISSN:

2528-8911

pISSN:

1302-597X

Özet:

 


Purpose: The aim of this study was to examine
measurement invariance of the interest and motivation related items contained
in the PISA 2012 student survey with regard to gender school type and
statistical regions and to identify the items that show differential item
functioning (DIF) across groups.  Research Methods: Multiple-group
confirmatory factor analysis was conducted to examine measurement invariance.
When the invariance with regard

to gender was being investigated,
potential item biases were examined, as the criteria used in the model fit
evaluation were not met. Mantel-Haenszel, poly-SIBTEST, and item response
theory likelihood ratio (IRT-LR) techniques were employed to identify which
items displayed DIF. Findings:
Results of the invariance test conducted based on the school type and
statistical regions demonstrated that the models satisfied all invariance
conditions. Failure to achieve measurement invariance according to gender
indicates that at least one of the items in the scale displayed DIF. When the
results of DIF according to gender were examined, MH identified DIF in six
items at A level, poly-SIBTEST identified DIF in one item at A level, two items
at B level, and three items at C level, IRT-LR identified DIF in two items at C
level. Implications
for Research and Practice: Further studies could determine which techniques would be more suitable
for 






which situations by conducting
simulation studies along with real data, and explore the possible reasons why
the items display DIF.  

.

 


Problem Durumu: Grup karşılaştırmaların geçerliği, ilgili ölçümlerin
kabul edilebilir düzeyde psikometrik niteliklere sahip olmasına bağlıdır. Ancak
klasik test kuramında, geçerlik ve güvenirlik çalışmaları kapsamında hesaplanan
test ve madde istatistikleri, araştırma grubunun özelliklerini yansıtmaktadır.
Büyük ölçekli sınavların kullanımının yaygınlaşması ise aynı düzeydeki
bireylere farklı test formlarının uygulanmasına ve aynı test formlarının farklı
özelliklere sahip gruplarda uygulanmasına yol açmıştır. Bu bağlamda ulusal ve
uluslararası test uygulamalarında dikkat edilmesi gereken bir durum, farklı
demografik gruplara ait olmanın ölçme sonuçları üzerindeki etkisidir.
Bireylerin demografik özelliklerinin etkisinin arındırılmadığı ölçme
araçlarının kullanılması ve bunlardan elde edilen sonuçların karşılaştırılmalı
olarak yorumlanması ise ölçme aracının geçerliğini düşürerek, bireyler hakkında
yanlış kararlar alınmasına neden olacaktır. Bu nedenle ölçme sonuçlarına dayalı
olarak verilecek kararların isabetliliği açısından ölçme değişmezliğinin
sağlanması ve maddelerin olası yanlılık şüphesine karşı sınanması
gerekmektedir. Bu koşullar sağlanmadan yapılan karşılaştırmalarda görülen
farklılığın gerçek durumdan mı yoksa ölçülen yapının gruplarda farklılık göstermesinden
mi kaynaklandığı bilinemeyecektir. Dolayısıyla yapılan karşılaştırma sonuçları
tartışmalı olabilecektir.

Araştırmanın Amacı: Bu çalışmanın amacı; PISA 2012 öğrenci anketinde yer
alan ilgi ve motivasyonla ilgili maddelerin cinsiyet, okul türü ve istatistikî
bölgelere göre ölçme değişmezliğini incelemek ve gruplar arası DMF gösteren
maddeleri tespit etmektir.

Araştırmanın Yöntemi: PISA 2012 uygulamasında Türkiye, 15 yaş grubu
yaklaşık sayısı 1.266.638 öğrenciyi temsilen 4848 öğrenci ile yer
almıştır.  Veri setinin kayıp ve aykırı
değerler açısından incelenmesi sonrasında bu araştırma, Türkiye örneklemindeki
3124 öğrenci (1553 kız ve 1571 erkek) ile yürütülmüştür. PISA öğrenci anketi
matematik öğretimi alt boyutunda yer alan ST29Q01-ST29Q08 maddelerinin ilgi ve
motivasyon modelini oluşturup oluşturmadığına ilişkin kanıtlar elde etmek
üzere, doğrulayıcı faktör analizi uygulanmıştır. Ölçeğin 8 maddelik Türkçe
formunun faktör yapısına ilişkin tanımlanan temel modelin faktör yapısının her
bir grup içinde geçerli olup olmadığını incelemek için model uyumu
birleştirilmiş veri ve her bir grup verisi için ayrı ayrı değerlendirilmiştir.
Model test etme sürecinde, hangi parametre kestirim yönteminin kullanılacağını
belirlemek için ilgili veri setinin dağılım özellikleri incelenmiştir. Veri
seti çok değişkenli normal dağılım sergilemediği ve örneklem sayısı büyük
olduğu için parametre kestiriminde ağırlıklandırılmış en küçük kareler yöntemi
kullanılmıştır. Ölçme değişmezliğini incelemek üzere çoklu grup doğrulayıcı
faktör analizi uygulanmıştır. Değişmezlik testleri dört aşamada yürütülmüştür.
Daha fazla sınırlama konulan bir model ile daha az sınırlama konulan bir
modelin araştırma verisine uyum düzeylerini karşılaştırmak üzere χ2’ler için
ölçeklendirilmiş fark testi uygulanmıştır. Cinsiyete göre ölçme değişmezliğinin
incelenmesi sürecinde, model uyumunun değerlendirilmesinde kullanılan ölçütler
karşılanmadığı için olası madde yanlılıkları incelenmiştir. DMF gösteren
maddelerin belirlenmesi amacıyla Mantel-Haenszel, poly-SIBTEST ve MTK-OO
teknikleri kullanılmıştır.

Araştırmanın Bulguları: Ölçeğin 8 maddelik Türkçe formunun faktör yapısına
ilişkin tanımlanan temel modelin kız öğrenci, ilköğretim ve Batı Marmara
grupları dışındaki tüm alt grup verilerine yeterli düzeyde uyum sergilediğini
göstermiştir. Modele uyumunu sağlamayan gruplar, analiz dışında
bırakılmıştır.  Okul türü ve istatistiki
bölgelere dayalı olarak yapılan değişmezlik testi sonuçları, modellerin tüm
değişmezlik koşullarını yerine getirdiğini göstermiştir. Cinsiyete göre ölçme
değişmezliğinin sağlanmaması, ölçekte yer alan maddelerden en az bir tanesinin
cinsiyete göre DMF sergilediğine işaret etmektedir.  Bu bağlamda, cinsiyete göre DMF sonuçları
incelendiğinde MH tekniğine göre 6 maddede A düzeyinde; poly-SIBTEST tekniğine
göre 1 maddede A, 2 maddede B ve 3 maddede C düzeyinde; MTK-OO tekniğine göre 2
maddede C düzeyinde DMF’ye rastlanmıştır.










Araştırmanın Sonuç ve Önerileri: Yapılan analizler tanımlanan modelin, okul türü ve
istatistiki bölgelere göre karşılaştırılmasının anlamlı olduğunu ortaya
koymuştur. Bu durum, ilgi ve motivasyonla ilgili tüm maddelerden elde edilen
ölçümlerin okul grupları ve istatistiki bölgeler arasında genellenebileceğine,
öğrencilerin ilgi ve motivasyonlarını belirlemede geçerli ve güvenilir ölçümler
sağlayabileceğine işaret etmektedir. Bu doğrultuda okul ve bölge grupları
arasında yapılan karşılaştırmalarda görülen farklılığın gerçek durumdan
kaynaklandığı söylenebilir. Yapılan ulusal düzeydeki test uygulamaları, DMF’nin
nedenleri arasında cinsiyet ve okul türü gibi değişkenleri göstermektedir.
Nitekim bu çalışmanın sonuçları da cinsiyet farklılıklarının maddelerin DMF
göstermesinde etkili olduğunu göstermiştir. DMF belirleme teknikleri genel
olarak belli ölçüde benzer sonuçlar verse de, farklı eşitleme kriterleri ile
farklı algoritmalar ve kategorilendirmelerde farklı kesme noktaları
kullandıkları için tam bir uyum içinde değildir Çalışmadan elde edilen sonuçlar
incelendiğinde, kullanılan tekniklere göre DMF gösteren madde sayıları ve DMF
miktarları arasındaki benzerliğin düşük düzeyde olduğunu gözlenmiştir. Bu
çalışma kapsamında PISA 2012 uygulaması matematik öğretimi bölümünde yer alan
ilgi ve motivasyonla ilgili maddeler incelenmiştir. Gelecek çalışmalar, farklı
dil ve kültür grupları üzerinde ölçme değişmezliği çalışmaları yapabilir. DMF
belirlemede gerçek veri ile birlikte simülasyon çalışmaları yaparak, hangi
tekniğin hangi durumlar için daha uygun olduğunu belirleyebilir ve DMF gösteren
maddelerin olası nedenlerini araştırabilir.

.

Makale detayları

Cross-group Equivalence of Interest and Motivation Items in PISA 2012 Turkey Sample

Yazarlar: Elif Ozlem ARDIC | Selahattin GELBAL

Yayıncı: Anı Yayıncılık

Dergi: Eurasian Journal of Educational Research 2017 Vol.17 Issue 68, pp.221-238

Belge Tipi: Makale

Yayın Tarihi: 3/2017

Belge Dili: İngilizce

Document ID (Org No.): 2000706732

Sıklık: İki Aylık

eISSN: 2528-8911

pISSN: 1302-597X

Sayı

Yazarlar:

Elif Ozlem ARDIC | Selahattin GELBAL

Yayıncı:

Anı Yayıncılık

Dergi:

Eurasian Journal of Educational Research 2017 Vol.17 Issue 68, pp.221-238

Belge Tipi:

Makale

Yayın Tarihi:

3/2017

Belge Dili:

İngilizce

Document ID (Org No.):

2000706732

Sıklık:

İki Aylık

eISSN:

2528-8911

pISSN:

1302-597X