Examination of the TIMSS 2011 Fourth Grade Mathematics Test in Terms of Cross-Cultural Measurement Invariance

Betul KARAKOC ALATLI; Cansu AYAN; Betul POLAT DEMIR; Gulcin UZUN

Makale detayları

Examination of the TIMSS 2011 Fourth Grade Mathematics Test in Terms of Cross-Cultural Measurement Invariance

Yazarlar:

Betul KARAKOC ALATLI | Cansu AYAN | Betul POLAT DEMIR | Gulcin UZUN

Yayıncı:

Anı Yayıncılık

Dergi:

Eurasian Journal of Educational Research 2016 Vol.16 Issue 66, pp.389-406

Belge Tipi:

Makale

Yayın Tarihi:

12/2016

Belge Dili:

İngilizce

Document ID (Org No.):

2000706859

Sıklık:

İki Aylık

eISSN:

2528-8911

pISSN:

1302-597X

Özet:

 


Problem
Statement:
Student achievement is considered an indicator of the quality of education, and
achievement tests are applied to assess student achievement. International
tests are adapted into different languages and cultures with the aim of
assessing student achievement on an international level and comparing the
achievements of different countries. In our country, a number of tests at the national
and international levels are conducted to assess student achievement. One of the
tests conducted in our country is called Trends in International Mathematics
and Science Study (TIMSS). Countries structure their curricula and education
policies based on the results of these studies. However, in order for these
comparisons to be meaningful, the constructs measured by the tests should be
equivalent. When the relevant literature was examined, it was observed that the
number of studies on cross-cultural invariance in Turkey was low and that these
studies did not involve TIMSS 2011.

Purpose
of the Study: The
purpose of this study was to examine the measurement invariance of TIMSS 2011
mathematics test in terms of different cultures.

Method:
Aiming at
examining the intercultural measurement invariance of the TIMSS 2011
mathematics test, this is a survey model that tries to describe an existing
situation as it is. The study sample was composed of 1,987 fourth graders from
Turkey, England, Japan and the USA. This study was conducted on the data
obtained from the TIMSS 2011 mathematics test. Model invariance was examined
through multi-group confirmatory factor analysis. LISREL 8.80 for Windows
software was used for performance of data analysis.

Findings and
Results: The
study of measurement invariance was conducted in four steps. It was found that
the proposed model was confirmed for all countries, and configural invariance
was ensured in the first step, while metric invariance was not ensured in the
second step. Therefore, we did not start the scalar invariance or strict
invariance analyses. After this step, metric invariance was tested through
binary and trilateral combinations in order to determine in which country the
invariance was collapsed. It was found that the reason why the metric
invariance wasn’t ensured was that it was not sourced from only one country. 








Conclusions and
Recommendations: According to the
findings, the invariance across four countries was ensured only in the configural
invariance step. Therefore, the items causing the model not to
have measurement invariance can be determined, as well as whether the items
demonstrated DIF across groups. The items determined to demonstrate DIF can be
examined in terms of bias of sources, depending on the expert opinions

.

 


Problem
Durumu: Eğitim; bir yandan yeni ve eski değerleri bağdaştırarak kültürel aktarımla
toplumsal devamlılığı sağlarken; diğer yandan toplumun yaşamasını ve
kalkınmasını devam ettirebilecek ölçüde ve nitelikte değer üreterek, kültürel
mirasa yeni kazanımlar ekleyecek insan gücünü yetiştirerek aynı toplumu bir
adım ileriye götürmesini sağlamaktadır. Eğitim sonucunda ise öğrenci başarısı,
eğitimin niteliğinin bir göstergesi olarak ele alınmakta ve öğrenci başarısının
değerlendirilmesinde de başarı testleri uygulanmaktadır. Bu testler ulusal ve
uluslararası düzeyde olabilmektedir. Uluslararası düzeyde öğrenci başarılarını
değerlendirmek ve farklı ülkelerin başarılarını karşılaştırmak amacıyla
hazırlanan uluslararası düzeydeki testler ise farklı dillere ve kültürlere
uyarlanmaktadır.

Türkiye’de de
öğrenci başarısının değerlendirilmesinde ulusal ve uluslararası düzeyde testler
uygulanmaktadır. Uygulanan uluslararası testlerden biri de merkezi Hollanda’da
bulunan Uluslararası Eğitim Başarılarını Değerlendirme Kuruluşu tarafından
düzenlenen  Uluslararası Matematik ve Fen
Eğilimleri Araştırması (TIMSS)’dır. Öğrencilerin matematik ve fen bilimleri
alanlarındaki kazandıkları bilgi ve becerilerini değerlendirmek, eğitimi ve
öğretimi geliştirmek amacıyla ülkelerin eğitim sistemleri hakkında
karşılaştırmalı veri toplamak TIMSS’in amaçları arasında yer almaktadır. Bu
karşılaştırmanın anlamlı olabilmesi için testlerin ölçtüğü yapıların eşdeğer
olması yani kullanılan testlerin ölçme değişmezliği/eşdeğerliğinin sağlanmış
olması gerekir. Bu bağlamda testlerin, psikometrik bir özellik olarak ölçme
değişmezliğine sahip olması, kültürlerarası karşılaştırmalarda, temel bir
varsayımdır. 

Bir testin ölçme
değişmezliğini karşılayabilmesi için, farklı gruplardan gelen fakat benzer
yapıları ölçülen bireylerin, belirli bir puanı alma olasılığı eşit olmalıdır.
Başka bir deyişle ölçme değişmezliğinin sağlanabilmesi için bir ölçme modelinin
birden fazla grupta aynı yapıya sahip olması yani ölçme aracının maddelerinin,
faktör yüklerinin, faktörler arası korelasyonlarının ve hata varyanslarının
aynı olması gerekir. Ölçme eşdeğerliliği ise dört aşamada test edilir.
Bunlar;     

1.       
Yapısal
değişmezlik: Bu aşamada grupların aynı faktör yapısına sahip olup
olmadığı incelenir. Bu modelde kestirilen parametreler üzerinde gruplar arası
değişmezlik sınırlandırması yapılmaz yani grupların farklı parametre değerleri
almalarına izin verilir. 

2.       
Metrik
değişmezlik:  Bu aşamada,
farklı grupların maddelere aynı biçimde cevap verip vermediği incelenir. Bu
modelde faktör yükleri gruplar arasında sınırlandırılır. 

3.       
Skalar
değişmezlik: Bu aşamada özel faktör ortalamalarının yani grupların
faktör puanı sıfır olduğunda elde edilen regresyon sabitinin gruplar arasında
benzer olup olmadığı incelenir. Bu modelde faktör yükleri sınırlandırmasının
yanında sabit değer/katsayı sınırlamasına gidilir. 

4.       
Tam değişmezlik: Bu son aşamada
hata varyanslarının gruplarda farklılaşıp farklılaşmadığı incelenir. Ölçme
modelindeki katı değişmezlik test edilirken bütün parametre sınırlamaları ile
birlikte hata varyansları sınırlandırılır

Sonuçları ülke
eğitim politikalarına yön vermede ve eğitim programlarının yeniden
yapılandırılmasında büyük öneme sahip uluslararası eğitim araştırmalarına
dayalı olarak karşılaştırmalar yapabilmek için kullanılan testlerin ölçtüğü
yapıların eşdeğer olması gerekmektedir. Literatür incelendiğinde ise
kültürlerarası değişmezliğin incelendiği çalışmaların Türkiye örneklemi için
oldukça az olduğu ve bu yapılan çalışmaların TIMSS 2011 uygulamasını
kapsamadığı görülmüştür. Bu bağlamda hem testlere dayalı yapılan çıkarımların
gerekli ve güvenilir olduğunu belirlemek hem de sorunlar varsa kaynaklarını
bulup gidermek açısından TIMSS 2011 uygulamasında yer alantestlerin farklı
kültürlerdeki ülkeler arasında ölçme değişmezliğinin sağlanıp sağlanmadığının
incelenmesine ihtiyaç duyulmuştur. Bu nedenle TIMSS 2011 Türkiye örnekleminin,
anadili İngilizce olan ve olmayan farklı başarı düzeyinde ülkelerle ölçme
değişmezliği açısından karşılaştırılması, varsa sorunların belirlenmesi ve daha
geçerli güvenilir sonuçlar elde edebilmek ve karşılaştırmalar yapabilmek için
yapılabilecek olası çözüm yollarının tartışılması gerekli görülmektedir.  Bu amaçla çalışmada, TIMSS 2011 kapsamında
yer alan Matematik testinin farklı kültürlerde kültürlerarası ölçme
değişmezliği gösterip göstermediği incelenmiştir.

Araştırmanın Amacı: Bu çalışmanın amacı TIMSS 2011 kapsamında
yer alan Matematik testinin farklı kültürlere göre ölçme değişmezliğinin
incelenmesidir.  Bu genel amaç
doğrultusunda bu çalışmada şu sorulara yanıt aranmıştır;

TIMSS 2011’in kültürler arası;

a) Yapısal değişmezliğine,

b) Metrik değişmezliğine         

c) Skalar değişmezliğine ve

d) Tam değişmezliğine ilişkin kanıt bulunmakta mıdır? 

Araştırmanın
Yöntemi: TIMSS 2011 kapsamında uygulanan matematik testinde yer alan yapıların
kültürlerarası değişmezliğini incelemeyi amaçlayan bu araştırma, var olan bir
durumu olduğu şekliyle araştırma söz konusu olduğundan tarama modelindedir.
Araştırmanın evrenini TIMSS 2011 uygulamasına 4. Sınıf düzeyinde katılan 50
ülke oluşturmaktadır. Araştırmanın örneklemini ise TIMSS 2011 uygulamasına
katılan 50 ülkeden amaçlı örnekleme yöntemi ile belirlenen Türkiye, İngiltere,
Japonya ve Amerika Birleşik Devletleri’nden 1987 4. Sınıf öğrencisi
oluşturmaktadır. Araştırmaya bu ülkelerin alınmasının amacı iki ülkenin
(İngiltere ve Amerika Birleşik Devletleri) anadilinin İngilizce ve diğer iki
ülkenin (Türkiye- Japonya) anadilinin İngilizce olmamasıdır. Kültürlerarası en
önemli farklılıklardan biri olan dil öğesi, araştırmanın amacı doğrultusunda
ülkelerin araştırmaya dahil edilmesinde etkili olmuştur. Araştırma TIMSS 2011
kapsamında uygulanan matematik testi sonuçlarından elde edilen veriler
üzerinden yürütülmüştür. Çalışma için gerekli olan veriler
http://timssandpirls.bc.edu/timss2011/international-database.html adresinden
alınmıştır. TIMMS 2011 Matematik testleri 14 paralel kitapçıktan oluşmaktadır.
Araştırma bir numaralı formda yer alan 21 madde ile yürütülmüştür. Maddelerin
%33’ü bilme, %29’u uygulama, %38’i ise akıl yürütme alt boyutunda yer
almaktadır. Modelin değişmezliği çok gruplu doğrulayıcı faktör analizi ile
incelenmiştir. Verilerden doğru bir sonuç çıkartılabilmesi açısından analizlere
başlamadan önce veri seti, veri yapısı ve verilerin analizlere ilişkin
varsayımları karşılayıp karşılamadığı incelenmiş, varsayımların karşılandığı
sonucuna ulaşılmıştır. 

Araştırmanın
Bulguları: Bu araştırma kapsamında TIMMS 2011 Matematik
maddelerinin bilişsel düzeylerini gösteren modelin Türkiye, Amerika, İngiltere
ve Japonya olmak üzere seçilen dört ülkede ölçme değişmezliğinin sağlanıp
sağlanmadığına ilişkin analizler yürütülmüştür. Bu anlamda ülkeler arasında
hiyerarşik 4 adımdan oluşan değişmezlik kontrolleri yapılmıştır.

1.Yapısal Değişmezlik:
İlk adımda kurulan yapının seçilen dört ülke için de doğrulanıp doğrulanmadığı
test edilmiştir. Kurulan modelin tüm ülkeler için doğrulandığı ve dolayısı ile
değişmezliğin ilk adımı olan yapısal değişmezliğin sağlandığı bulgusuna
ulaşılmıştır.

2. Metrik
Değişmezlik: Bu adımda kurulan modelde faktör yükleri her ülke için sabitlenmiş
ve ilk durum ile yeni modelde elde edilen indeksler arasındaki farkın
manidarlığı test edilmiş ve fark manidar bulunmuştur. Yani, metrik değişmezlik
sağlanmamaktadır bulgusuna ulaşılmıştır. Değişmezlik analizi hiyerarşik bir
yapı gösterdiğinden, metrik değişmezliğin sağlanmadığı adımda analize son
verilmiş, skalar değişmezlik ve tam değişmezlik kontrollerine geçilmemiştir.
Ancak bu adımdan sonra değişmezliğin hangi ülke ile ilgili olarak bozulduğunu
belirleyebilmek adına ülkelerin ikili ve üçlü kombinasyonları arasında metrik
değişmezlik incelenmiş ve sağlanmadığı bulgusuna ulaşılmıştır. 






































Araştırmanın
Sonuç ve Önerileri: Araştırma sonucunda, ülkeler
arası değişmezliğin zayıf değişmezlik seviyesinde olduğu belirlenmiştir. Bu aşamada yapılan
karşılaştırmalarda, gruplar arasındaki farklılıkların ölçme aracından meydana
gelebileceği düşünülebilir. Bu
doğrultuda, ülkeleri karşılaştırmanın çok uygun olmayacağı, kültürel anlamda
sorun çıkarabilecek noktaların tespitinin yapılması gerektiği düşünülmektedir.
Bu çerçevede modelin ölçme değişmezliğinin sağlanmamasına neden olan
maddeler belirlenerek, gruplar arasında maddelerin DMF (değişen madde
fonksiyonu) gösterip göstermediği incelenebilir. DMF gösterdiği tespit edilen
maddelerin uzman görüşü alınarak olası yanlılık kaynakları belirlenebilir. 

.

Makale detayları

Examination of the TIMSS 2011 Fourth Grade Mathematics Test in Terms of Cross-Cultural Measurement Invariance

Yazarlar: Betul KARAKOC ALATLI | Cansu AYAN | Betul POLAT DEMIR | Gulcin UZUN

Yayıncı: Anı Yayıncılık

Dergi: Eurasian Journal of Educational Research 2016 Vol.16 Issue 66, pp.389-406

Belge Tipi: Makale

Yayın Tarihi: 12/2016

Belge Dili: İngilizce

Document ID (Org No.): 2000706859

Sıklık: İki Aylık

eISSN: 2528-8911

pISSN: 1302-597X

Sayı

Yazarlar:

Betul KARAKOC ALATLI | Cansu AYAN | Betul POLAT DEMIR | Gulcin UZUN

Yayıncı:

Anı Yayıncılık

Dergi:

Eurasian Journal of Educational Research 2016 Vol.16 Issue 66, pp.389-406

Belge Tipi:

Makale

Yayın Tarihi:

12/2016

Belge Dili:

İngilizce

Document ID (Org No.):

2000706859

Sıklık:

İki Aylık

eISSN:

2528-8911

pISSN:

1302-597X