"The Trends in International Mathematics and Science Study (TIMSS) aims to provide a broad perspective for
evaluating and improving education. This assessment also ranks the participant countries based on their performance
and makes inferences about factors affecting achievement and learning. However, the study may not function as it was
expected because of differences in curricular, cultural, or language settings among countries. Consequently, this
challenges assumptions about measurement equivalency. The present study aims to assess the equivalency of
mathematics items on the TIMSS (2007) study across Australian and Indonesia. Students’ responses were subjected to
Rasch analysis to determine DIF items. The results revealed that many items of mathematics tests are problematic
because they showed significant bias. The study also found that Australian students performed better and found
mathematics items on the test easier than their Indonesian counterparts did. Several factors such as curricular
differences, methods used to solve mathematics problems, availability of textbooks and teachers’ quality might explain
the existence of DIF between the countries. These findings indicate that serious limitations of using TIMSS results in
comparing the performance of students across countries. Thus, further empirical evidence is needed before TIMSS 2007
results can be meaningfully used in research.
The Trends in International Mathematics and Science Study (TIMSS) bertujuan menyediakan perspektif yang luas
dalam mengevaluasi dan meningkatkan mutu pendidikan. TIMSS juga merangking negara-negara peserta studi
berdasarkan kemampuan serta membuat prediksi tentang faktor-faktor yang memengaruhi capaian belajar siswa
mereka. Akan tetapi, karena perbedaan kurikulum, budaya atau bahasa dari negara-negara tersebut, TIMSS ini tidak
berfungsi sebagaimana yang diharapkan. Akibatnya, kondisi ini menantang asumsi-asumsi tentang pengukuran yang
ekuivalen. Penelitian ini bertujuan untuk menguji keekuivalenan soal-soal matematika dari studi TIMSS 2007 dengan
menggunakan jawaban siswa Australia dan Indonesia. Rasch analisis digunakan untuk menemukan soal-soal yang bias.
Hasil analisis menujukkan bahwa banyak soal matematika dalam studi TIMSS 2007 bermasalah karena soal tersebut
memperlihatkan bias yang signifikan. Penelitian ini juga menemukan bahwa kemampuan siswa Australia lebih baik dari
siswa Indonesia. Soal matematika terlihat lebih mudah bagi siswa Australia dibandingkan bagi siswa Indonesia.
Perbedaan kurikulum sekolah, metode dalam pemecahan masalah dan ketersediaan buku dan kualitas guru diduga
sebagai faktor penyebab munculnya DIF item. Temuan-temuan dalam penelitian ini mengindikasikan adanya
keterbatasan yang serius dalam menggunakan hasil studi TIMSS untuk membandingkan negara-negara peserta studi.
Oleh karena itu, bukti-bukti empiris lainnya sangat diperlukan sebelum hasil studi TIMSS 2007 dapat digunakan
dengan bermakna sebagai dasar penelitian."
STKIP Bina Bangsa Getsempena. Mathematics Department, 2014
