An Investigation of Ordering Test Items Differently Depending on Their Difficulty Level by Differential Item Functioning

Ebru BALTA; Secil Omur SUNBUL

Makale detayları

An Investigation of Ordering Test Items Differently Depending on Their Difficulty Level by Differential Item Functioning

Yazarlar:

Ebru BALTA | Secil Omur SUNBUL

Yayıncı:

Anı Yayıncılık

Dergi:

Eurasian Journal of Educational Research 2017 Vol.17 Issue 72, pp.23-42

Belge Tipi:

Makale

Yayın Tarihi:

11/2017

Belge Dili:

İngilizce

Document ID (Org No.):

2000706558

Sıklık:

İki Aylık

eISSN:

2528-8911

pISSN:

1302-597X

Özet:

 


Purpose : Position effects may influence examinees’ test performances in several ways and trigger other psychometric issues, such as Differential Item Functioning (DIF) .This study aims to supply test forms in which items in the test are ordered differently, depending on their difficulty level (from easy to difficult or difficult to easy), to determine whether the items in the test form result in DIF and whether a consistency exists between the methods for detecting DIF. Research Methods: Methods of Mantel Haenszel (MH) and Logistic Regression (LR) have been taken into consideration to identify whether the items in the tests involve DIF.The data of the work includes the answers of 300 students in the focal group and the reference group, who sat for three mathematics achievement tests. The data obtained from the tests have been statistically analyzed by using the R- 3.2.0. software program. Findings: Results of this study can be summarized with the following findings: “ordering the items differently, depending on their difficulty level, affects the probability of individuals in various groups answering the items correctly; also, LR and MH methods produce different results with respect to the items with DIF, which they have identified similar in terms of magnitude order in the amount of DIF. Implications for Research and Practice: In further test-developing studies, in order to identify if DIF emerges when giving the test form which has a different ordering of items, with regard to subjects and cognitive difficulty levels.

.

 


Problem Durumu: Bireylerin maddelere verdiği tepki davranışlarının, maddenin, test içerisindeki sırasından beklenmedik şekilde etkilenmesi sıra etkisi (position effect) olarak tanımlanmaktadır. Sıra etkisi bireyin test performansını çeşitli şekillerde etkilemektedir. Madde güçlüğü açısından kolay ve zor maddelerin testin başında ya da sonunda yer almasına bağlı olarak öğrencilerin test boyunca motivasyonları artıp ya da azalmakta ve böylece test puanları etkilenmektedir. Ayrıca, maddelerin güçlük düzeylerine göre kolaydan zora doğru sıralandığı, yani madde güçlüğü açısından zor maddenin testin sonlarına doğru yer aldığı durumlarda pratik ya da öğrenme etkisi (learning effect), madde güçlüğü açısından kolay maddelerin testin sonlarına doğru yer aldığı durumlarda ise yorgunluk etkisi (fatique effect) gözlenmekte ve böylece maddelerin güçlük düzeyleri farklı değerler alabilmektedir. Literatür incelendiğinde madde sıra etkisinin göz önünde bulundurulması test geçerliğini değerlendirmede önemli olduğu görülmektedir.

Araştırmanın Amacı ve Önemi: Bu çalışmada, maddelerin güçlük düzeylerine göre test içerisinde farklı sıralarda (kolaydan zora ve zordan kolaya) yerleştirildiği farklı test formlarının verilmesinin, testte yer alan maddelerde DMF oluşturup

40 Ebru BALTA – Secil OMUR SUNBUL / Eurasian Journal of Educational Research 72 (2017) 23-42

oluşturmadığının ve kullanılan DMF belirleme yöntemleri arasındaki uyumun belirlenmesi amaçlanmıştır. Çoktan seçmeli bir testte yer alan maddelerin güçlük düzeylerine göre sıralanmasının maddelerde Değişen Madde Fonksiyonu (DMF) yaratıp yaratmadığına ilişkin yurtdışında çok az çalışmaya rastlanmış olup yurtiçinde ise doğrudan bir çalışmaya rastlanamamıştır. Bu açıdan, bu çalışmanın alan yazına katkı sunacağı ve bu tarz çalışmalara ve geniş çapta yapılan sınavlara da ışık tutacağı düşünülmektedir.

Araştırmanın Yöntemi: Araştırmada, araştırmacı tarafından ikisi paralel olmak üzere toplamda üç adet Matematik Başarı Testi kullanılmıştır. Testlerden biri, odak ve referans gruplarının oluşturulması için, öğrencilerin Temel Matematik dersindeki bilgi ve becerileri açısından yetenek düzeylerinin belirlenmesinde ve paralel olan diğer iki test ise, maddelerin güçlük düzeylerine göre kolaydan-zora ve zordan-kolaya sıralanarak verilmesi durumunun DMF yaratıp yaratmadığının tespit edilmesinde kullanılmıştır. Öğrencilerin testlerdeki maddeleri, testlerde yer alan sıraya göre cevapladıklarından emin olmak için testler, bilgisayar ortamında Moodle açık kaynak kodlu uzaktan eğitim sistemi kullanılarak uygulanmıştır. Araştırmanın çalışma grubunu, amaçlı örnekleme yöntemiyle seçilen, araştırmanın tekrarlı ölçümlere dayanmasından kaynaklı olarak yapılan eşleştirme ve veri ön izleme süreçlerinin ardından belirlenen, toplamda 300 (odak grup (150 öğrenci) ve referans grup (150 öğrenci )) öğrenci oluşturmaktadır. Uygulamaya katılan öğrencilerin üç test formunu da alması sağlanmıştır. Karşıt dengelenmiş desen kullanılarak testlerdeki sıra etkisi ortadan kaldırılmıştır. Testlerde yer alan maddelerin DMF içerip içermediği Mantel-Haenszel (MH) ve Lojistik Regresyon(LR) yöntemleriyle odak grubunun KZ (maddelerin kolaydan zora doğru sıralandığı test formu), referans grubunun ZK (maddelerin zordan kolaya doğru sıralandığı test formu) test formunu alması (birinci durum) ve odak grubunun ZK, referans grubunun KZ test formunu alması durumuna (ikinci durum) göre belirlenmiştir. Bu testlerden elde edilen veriler R-3.2.0 ve “difR” paketi kullanılarak analiz edilmiştir.

Araştırmanın Bulguları: Birinci duruma göre, MH yöntemiyle yapılan analiz sonuçlarına göre DMF gösteren maddelerden, dört tanesinin orta düzeyde (B), bir tanesinin de yüksek düzeyde (C) DMF gösterdiği belirlenmiştir. B düzeyinde DMF gösteren maddelerden bir tanesinin orta güçlükte madde, bir tanesinin ise zor madde ve KZ test formunu alan öğrencilerin (odak grup) lehine olduğu ve diğer iki tanesinin ise zor madde ve ZK test formunu alan öğrencilerin (referans grup) lehine olduğu görülmektedir. C düzeyinde DMF içeren maddenin ise, orta güçlükte bir madde olduğu ve ZK test formunu alan öğrencilerin lehine olduğu görülmektedir. LR yöntemiyle hem TB DMF hem de TBO DMFyi belirlemek için yapılan analizlerde ise, orta düzeyde (B) ve yüksek düzeyde (C) DMF gösteren maddenin bulunmadığı görülmektedir. İkinci duruma göre, MH yöntemiyle yapılan analiz sonuçlarına göre, bir maddenin orta düzeyde (B), beş maddenin de yüksek düzeyde (C) DMF gösterdiği belirlenmiştir. B düzeyinde DMF içeren maddenin zor madde olduğu ve KZ test formunu alan öğrencilerin lehine olduğu, C düzeyinde DMF gösteren iki maddeden bir tanesinin kolay madde, bir tanesinin ise orta güçlükte madde ve ZK test formunu alan öğrencilerin lehine olduğu ve üç maddeden iki tanesinin orta

Ebru BALTA – Secil OMUR SUNBUL / Eurasian Journal of Educational Research 72 (2017) 23-42 41

güçlükte madde ve bir tanesinin ise zor madde olduğu ve KZ test formunu alan öğrencilerin lehine olduğu görülmektedir. LR yöntemi ile TB DMF’yi belirlemek için yapılan analiz sonucuna göre iki maddenin orta düzeyde (B) DMF gösterdiği belirlenmiştir. Orta düzeyde (B) DMF gösterdiği belirlenen iki maddenin de orta güçlükte madde olduğu ve maddelerden bir tanesinin ZK test formunu alan öğrencilerin lehine diğerinin ise KZ test formunu alan öğrencilerin lehine işlediği görülmektedir. Yöntemlerin maddelerdeki DMF miktarlarının büyüklük sıralaması bakımından benzerliklerinin belirlenebilmesi için, test maddelerinin TB DMF gösterip göstermediğini belirleyebilmek için yapılan LR ve MH yöntemlerine göre elde edilen ki-kare değerleri arasında Spearman sıra farkları korelasyon katsayısı hesaplanmıştır. Hesaplamalar sonucunda her iki durum için de, iki yöntemin DMF büyüklük sıralamaları arasında istatistiksel olarak manidar bir ilişkinin bulunduğu görülmektedir ( r1 = .90, r2 = .92; p< .01).

Araştırmanın Sonuçları ve Önerileri: Araştırmanın bulguları, güçlük düzeyi düşük olan maddeler açısından incelendiğinde, kolay maddeleri sonra alan grubun, maddeleri doğru cevaplama olasılıklarında artışların olduğu söylenebilir. Orta güçlükte yer alan maddelerin, her iki uygulamada da hem odak hem de referans grubunun lehine işlediği görülmektedir. Bu durumda, orta güçlükteki maddelerin kolay ya da zor maddeden sonra gelmesinin maddenin doğru cevaplama olasılığını etkilediği söylenebilir. Güçlük düzeyi yüksek olan maddeler (zor maddeler) açısından, her iki analize dair bulgular incelendiğinde, zor maddelerin hem testin başında yer aldığı durumda hem de testin sonunda yer aldığı durumda, maddelerin doğru cevaplandırılma olasılığını etkilediği söylenebilir. Böylece bu çalışmada, maddelerin güçlük düzeylerine göre farklı şekilde sıralanmasının farklı gruplarda yer alan bireylerin, maddelere, doğru cevap verme olasılıklarını etkilediği sonucuna ulaşılmıştır. Ayrıca, zor maddelerin test formunun sonunda yer alması, maddelerin cevaplanma olasılığındaki farklılığın artmasına neden olmaktadır. Ayrıca yapılan her iki analizde kullanılan LR ve MH yöntemlerinin, DMF miktarlarındaki büyüklük sıralamalarında benzer, DMF’li maddeler bakımından farklı sonuçlar ürettiği sonucuna ulaşılmıştır. DMF içeren madde sayısı bakımından, MH yönteminin LR yönteminden, daha duyarlı olduğu görülmektedir. Bu araştırma kapsamında, DMF’nin belirlenmesinde, Klasik Test Kuramı’na dayalı yöntemlerden MH ve LR yöntemleri kullanılmıştır. Daha sonraki yapılacak olan çalışmalarda, KTK’ya dayalı diğer yöntemler ve IRT’ye dayalı yöntemlerle DMF belirlenebilir. Farklı yöntemlerden elde edilecek sonuçlar karşılaştırılabilir

.

Makale detayları

An Investigation of Ordering Test Items Differently Depending on Their Difficulty Level by Differential Item Functioning

Yazarlar: Ebru BALTA | Secil Omur SUNBUL

Yayıncı: Anı Yayıncılık

Dergi: Eurasian Journal of Educational Research 2017 Vol.17 Issue 72, pp.23-42

Belge Tipi: Makale

Yayın Tarihi: 11/2017

Belge Dili: İngilizce

Document ID (Org No.): 2000706558

Sıklık: İki Aylık

eISSN: 2528-8911

pISSN: 1302-597X

Sayı

Yazarlar:

Ebru BALTA | Secil Omur SUNBUL

Yayıncı:

Anı Yayıncılık

Dergi:

Eurasian Journal of Educational Research 2017 Vol.17 Issue 72, pp.23-42

Belge Tipi:

Makale

Yayın Tarihi:

11/2017

Belge Dili:

İngilizce

Document ID (Org No.):

2000706558

Sıklık:

İki Aylık

eISSN:

2528-8911

pISSN:

1302-597X