PENGHASILAN DAN PENILAIAN SATU PERISIAN PENJANA UJIAN
SINOPSIS
PENDAHULUAN
Potensi komputer dalam pendidikan tidak harus terhad kepada pengunaannya sebagai alat untuk membantu pengajaran guru-guru di sekolah. Komputer harus digunakan secara inovatif dalam setiap aspek pendidikan termasuk membantu tugas-tugas yang melibatkan pengajaran khususnya dalam pengujian dan penilaian. Pada Januari 1989, Jawatankuasa Bersama Kementerian Pendidikan Malaysia (KPM)-Institut Sistem Mikroelektronik Malaysia (MIMOS) bagi penggunaan komputer dalam pendidikan, telah mencadangkan supaya sebuah polisi dibentuk untuk meningkatkan proses pengajaran dan pembelajaran dengan memperkenalkan komputer sebagai satu alat bantuan mengajar di sekolah. Jawatankuasa ini juga menekankan tentang penggunaan komputer dalam mengendalikan maklumat dengan lebih berkesan supaya kualiti pendidikan di Malaysia dapat dipertingkat. Ini bermakna selain dari menggunakan komputer sebagai alat pengajaran, komputer juga seharusnya dimanfaatkan untuk mengorganisasi dan menguruskan pengajaran di bilik darjah (New Strait Times, 12 Jan, 1989). Menurut Percival dan Ellington (1984), komputer boleh digunakan untuk tujuan pentadbiran dan pengurusan. Ini termasuk membantu keseluruhan sistem pentadbiran, kawalan kewangan serta pengurusan dalam proses pengajaran dan pembelajaran. Peranan ini dikenali sebagai Pembelajaran Diuruskan Komputer. Dalam Sistem Diuruskan Komputer, komputer boleh digunakan sebagai alat untuk menyimpan satu set item atau soalan dan menyediakan ujian dari item-item tersebut. Dengan lain perkataan, komputer juga boleh berfungsi sebagai satu bank yang menyimpan item-item ujian dan sebagai alat yang boleh menjanakan ujian-ujian dari simpanan item-item tersebut. Sehubungan dengan itu, satu perisian penjana ujian telah direkabentuk berdasarkan kepada tinjauan kepada ciri-ciri yang sesuai untuk kegunaan guru-guru sekolah di Malaysia. Perisian yang telah dihasilkan juga dinilai untuk memastikan ia telah mencapai matlamatnya dalam menjalankan fungsi-fungsi yang dikehendaki. Kewujudan satu perisian penjana ujian diharapkan dapat membantu para guru menyediakan ujian dengan pantas dan berkesan. Ia juga dijangka dapat mengubah sikap dan amalan para guru dalam proses penilaian.
PERNYATAAN MASALAH
Dalam pengurusan pengajaran, proses penilaian selalunya memerlukan para guru untuk menyediakan ujian. Walau bagaimanapun, tugas menulis item-item ujian adalah sukar dan memakan masa. Oleh yang demikian, satu item yang telah dihasilkan haruslah disimpan untuk kegunaan pada masa akan datang dan tidak digunakan hanya sekali. Penggunaan komputer sebagai satu alat untuk menyimpan item adalah sesuai untuk membina satu Bank Item yang boleh digunakan bagi tahun-tahun yang berikutnya. Maka, pernyataan masalah kajian yang dinyatakan di sini ialah untuk menghasilkan dan menilai suatu perisian komputer yang boleh membantu guru menyediakan ujian.
REKABENTUK PERISIAN PENJANA UJIAN
Beberapa komponen atau modul utama bagi satu perisian yang menjalankan penjanaan ujian telah dikenalpasti dari tinjauan bahan-bahan bacaan. Modul-modul tersebut ialah: (a) Modul Bank Item, (b) Modul Penjana Ujian, dan (c) Modul Utiliti.
Modul Bank Item
Modul Bank Item perlu disediakan terlebih dahulu kerana koleksi besar item-item ujian dapat dikendalikan dengan lebih cekap dan pantas. Bank item yang disediakan juga harus mampu menyimpan satu koleksi besar item-item dari pelbagai jenis sama ada yang berbentuk aneka pilihan, aneka pelengkap, berstruktur mahupun item jenis esei. Item-item yang disimpan dalam Bank Item juga perlu diklasifikasikan supaya tugas mencari dan memilih item-item dapat dijalankan dengan mudah. Bagi perisian yang dihasilkan, klasifikasi item disediakan dengan dua prosedur iaitu secara kategori tetap dan secara katakunci seperti yang dinyatakan oleh Millman dan Arter (1984). Mengikut skim kategori tetap, item-item dibahagikan kepada bidang mata pelajaran, topik-topik serta subtopiknya. Bagi mengklasifikasi item mengikut jenis dan taksonominya, skim katakunci digunakan. Kod-kod yang berupa huruf tertentu digunakan untuk menentukan jenis dan taksonomi bagi item yang disimpan.
Modul Penjana Ujian
Fungsi utama perisian ini dikendalikan oleh modul Penjana Ujian. Rekabentuk modul ini adalah berdasarkan kepada rekabentuk perisian yang dihasilkan oleh Nitko dan Hsu (1984). Dengan modul ini pengguna boleh mencari dan memilih item-item yang memenuhi kriteria tertentu dengan menggunakan klasifikasi item yang disediakan. Item-item dari topik, subtopik, jenis dan taksonomi yang berlainan boleh dicari dengan pantas dengan modul ini. Kaedah penjanaan ujian yang digunakan juga adalah hampir sama dengan kaedah yang digunakan oleh Nitko dan Hsu (1984). Ujian boleh dihasilkan dengan mencetak terus item-item yang telah dipilih oleh pengguna, atau menyimpan item-item tersebut ke dalam fail ujian yang berasingan. Fail ujian tersebut boleh diedit dan dicetak kemudiannya. Tiga kaedah penjanaan ujian yang telah disediakan ialah:
1. Penjanaan ujian secara mencetak terus item-item yang dipilih oleh pengguna 2. Penjanaan fail ujian dari item-item yang ditanda oleh pengguna 3. Penjanaan fail ujian secara terus dari item yang dipilih oleh pengguna.
Modul Utiliti
Cadangan Simpson (1984) telah diambilkira untuk mewujudkan modul ini. Ini adalah kerana modul ini dapat membantu pengguna menjalankan beberapa tugas penting dalam menyusun sistem perisian tersebut. Tiga tugas utama yang dikendalikan oleh modul utiliti ialah: 1. Menukar kata-laluan bagi penggunaan sistem. 2. Mengklasifikasi item mengikut matapelajaran, topik dan subtopik. 3. Mengendalikan fail sokongan bagi fail pangkalan data.
Tugas-tugas di atas harus dijalankan oleh pengguna supaya sistem perisian tersebut memenuhi keperluan perkakasan dan kerja pengguna.
Ciri Ramah Bagi Perisian
Cadangan dari Nitko dan Hsu (1984) serta Simpson (1985) telah diambilkira untuk menghasilkan perisian yang mudah digunakan. Perisian tersebut direkabentuk supaya pengguna terlibat sama dalam merancang dan menyediakan ujian. Pengguna dikehendaki mencari dan memilih item-item yang diperlukan dengan menggunakan klasifikasi item yang telah disediakan oleh perisian. Untuk menghasilkan perisian yang mudah digunakan, ciri-ciri berikut telah disediakan:
1. Penggunaan menu. Menu utama serta beberapa submenu disediakan dalam perisian supaya pengguna mudah memilih modul-modul yang berlainan dan menjalankan tugas-tugas tertentu. 2. Maklum balas dan pesanan yang sesuai disediakan untuk mengesan dan memperbetulkan kesilapan pengguna.
Rajah 1 menunjukkan struktur umum bagi sistem Pembina Ujian yang ditelah dihasilkan. Tajuk
Isi Kata-Laluan
Menu Utama
Bank Item Penjana Ujian Utiliti Keluar ke Sistem
Pilih Topik Pilih Topik
Rajah 1. Struktur Umum Pembina Ujian
Dokumentasi bagi Perisian
Oleh kerana dokumentasi merupakan salah satu bahagian yang penting bagi sesuatu perisian, ia disertakan bersama perisian yang hasilkan. Ketiadaan dokumentasi menyebabkan pakej perisian tersebut tidak lengkap. Untuk kajian ini dokumentasi perisian yang dihasilkan adalah dalam bentuk tutorial langkah-demi-langkah. Tutorial tersebut mengandungi penerangan mengenai pemasangan bagi perisian serta cara menggunakan ketiga-tiga modul perisian yang disebutkan di atas. Dokumentasi perisian tersebut telah disediakan dengan “Pagemaker”, suatu perisian yang menjalankan tugas penerbitan. PENGHASILAN PERISIAN
Perisian Pembina Ujian telah ditulis dalam Clipper versi 5.0 kerana keupayaannya mengendalikan fail-fail pangkalan data yang banyak digunakan dalam perisian ini. Perisian yang telah disediakan boleh digunakan oleh semua komputer IBM XT/AT dan yang serasi dengannya. Ingatan capaian rawak (RAM) minimum yang diperlukan untuk menjalankan sistem perisian ini ialah 640 KB dengan menggunakan sistem operasi DOS versi 3.4 atau versi yang lebih tinggi.
Batasan Sistem Perisian
Sistem Pembina Ujian mempunyai beberapa batasan seperti berikut:
1. Klasifikasi item tidak boleh ditentukan oleh pengguna. Item diklasifikasikan menurut topik, subtopik, jenis (aneka pilihan, berstruktur, esei), taksonomi (pengetahuan, kefahaman, aplikasi) dan jawapan sebenar (bagi item aneka pilihan sahaja). 2. Data-data yang disimpan dalam Bank Item adalah berasaskan kepada teks. Oleh itu, sebarang gambarajah yang memerlukan kemudahan grafik tidak dapat disediakan. Walau bagaimanapun, bahan grafik yang terhad seperti garis tegak, ufuk, titik serta label yang diperlukan bagi satu gambarajah boleh disimpan sebagai rangka gambarajah tersebut. Rangka gambarajah tersebut boleh dilengkapkan dengan lukisan tangan setelah ianya dicetak.
Penilaian Terhadap Perisian Penilaian terhadap perisian tersebut melibatkan beberapa langkah dari mula ia dihasilkan sehinggalah perisian tersebut disiapkan. Hasil tersebut hendaklah melalui beberapa pemeriksaan serta percubaan dan kemudiannya diubahsuai jika perlu. Penilaian jenis ini dipanggil penilaian formatif. Penilaian tersebut mengikuti kitaran uji-ubahsuai-uji-ubahsuai. Penilaian formatif yang sebenar telah menggunakan kaedah yang dicadangkan oleh Steinberg (1984). Komponen-komponennya ialah:
1. Pemeriksaan oleh pakar. Sekumpulan pakar harus menjalankan pemeriksaan ke atas perisian tersebut untuk menentukan ketepatan kandungan dan kesesuaian rekabentuknya. 2. Percubaan oleh individu. Percubaan oleh seorang pengguna untuk mencari kesilapan teknikal dalam perisian tersebut, kelemahan dalam sistem, dan kesukaran menjalankan fungsi-fungsinya. 3. Pengubahsuaian. Pengubahsuaian terhadap komponen bagi perisian harus dilakukan selepas pengguna menilainya. Pengubahsuaian yang besar merupakan pengubahsuaian yang mesti dilakukan sebelum pengguna yang seterusnya menilai perisian itu. Pengubahsuaian juga harus dilakukan jika cadangan diberikan oleh pengguna. Pengubahsuaian kecil diperlukan apabila terdapat kesilapan kecil yang tidak mengganggu aliran perisian tersebut. 4. Percubaan berkumpulan. Ini jalankan selepas pengubahsuaian besar dan kecil selesai dilakukan. Tujuannya ialah untuk mendapatkan maklumat bagi membuat sebarang pengubahsuaian tambahan yang disebabkan oleh perbezaan dalam populasi pengguna. Bilangan penilai yang harus mengambil bahagian dalam percubaan ini ialah lima atau enam orang.
Semasa penilaian formatif, data dikumpul melalui pemerhatian, soal selidik, dan temubual. Instrumen yang digunakan tertumpu kepada penilaian terhadap kekuatan dan kelemahan perisian, apa yang pengguna suka atau tidak suka, dan prosedur yang berjalan dengan licin atau yang sukar dijalankan (Borg & Gall, 1983). Kaedah penilaian formatif yang mengambilkira saranan daripada Borg, Gall (1983) dan Steinberg (1984) digunakan untuk menilai perisian tersebut. Penilaian tersebut mengandungi tiga peringkat iaitu: (a) peringkat pemeriksaan awal oleh pakar, (b) peringkat percubaan-individu, dan (c) peringkat percubaan-kumpulan-kecil. Setiap peringkat penilaian mengkaji aspek-aspek perisian yang tertentu menggunakan soal selidik dan temubual. Bagi setiap peringkat penilaian. Satu soal selidik yang mengkaji keseluruhan aspek perisian telah diberikan supaya mereka boleh memberi komen dan cadangan yang menyeluruh mengenainya. Aspek-aspek yang telah dikaji ialah (a) struktur dan rekabentuk pakej, (b) keinteraktifan dan kawalan pengguna, (c) teknik persembahan, (d) keteguhan pengaturcaraan, (e) nilai pendidikan (f) dokumentasi, dan (g) tanggapan keseluruhan. Instrumen yang digunakan untuk menilai pakej perisian tersebut telah dihasilkan dan disesuaikan oleh penyelidik berdasarkan kepada instrumen yang telah dicadangkan oleh Zoraini dan Goh (1987). Ringkasan bagi prosedur penilaian yang dijalankan ditunjukkan dalam Rajah 2.
Sampel Penilai Dalam penilaian peringkat pemeriksaan awal oleh pakar, seramai dua orang pensyarah dari Fakulti Pendidikan, Universiti Malaya yang telah dipilih. Pakar yang pertama ialah seorang pensyarah dalam bidang Teknologi Pendidikan. Beliau dipilih kerana beliau boleh menyumbangkan cadangan-cadangan yang bernas mengenai rekabentuk perisian yang dihasilkan. Pakar yang kedua ialah seorang pensyarah dalam bidang Penilaian dan Penyelidikan Dalam Pendidikan. Pengalaman beliau yang luas dalam bidang tersebut diharapkan dapat menyumbangkan ide yang berguna terutama dari segi ketepatan kandungan perisian. Untuk penilaian peringkat-percubaan-individu, seorang guru Sains dari sebuah sekolah menengah di Muar dipilih kerana mempunyai pengalaman dalam pengaturcaraan serta mahir menggunakan pelbagai jenis perisian komputer. Beliau diharapkan dapat memberi pandangan dan komen yang berguna mengenai segala aspek perisian yang dinilai. Lima orang guru dari sekolah yang sama telah dipilih untuk menilai perisian tersebut dalam peringkat percubaan-kumpulan-kecil. Mereka dipilih kerana mempunyai komputer peribadi sendiri dan mengajar matapelajaran yang berlainan seperti Sains, Matematik, Kemahiran Hidup, Bahasa Malaysia dan Bahasa Inggeris. Kumpulan ini dipilih kerana penilaian di peringkat ini perlu mengkaji keberkesanan perisian tersebut apabila digunakan oleh satu populasi sampel penilai.
Dapatan Penilaian
Semasa Pembina Ujian dinilai, para penilai mendapati kebanyakan ciri-ciri yang disediakan adalah sangat berguna dan sesuai. Walau bagaimanapun, terdapat beberapa ciri yang perlu ditambah dan dibaiki untuk mempertingkat keberkesanan perisian tersebut. Dalam penilaian peringkat pemeriksaan awal oleh pakar, ketiadaan skrin-skrin bantuan telah menunjukkan kelemahan yang ketara dalam perisian tersebut walaupun dokumentasi ada menyediakan penerangan untuk mengendalikannya. Skrin bantuan telah didapati perlu untuk memudahkan pengguna mempelajari sesuatu perisian tanpa merujuk kepada dokumentasi. Untuk memperbaiki kelemahan ini, skrin-skrin bantuan telah ditambahkan ke dalam setiap modul utama dan submodulnya untuk memudahkan pengguna mencapai penerangan yang membantu mereka mempelajari perisian tersebut. Modul Utiliti yang disediakan didapati berguna dalam menyediakan kemudahan menyusun keseluruhan sistem perisian. Ciri-ciri seperti menambah topik, subtopik, serta mengedit kata-laluan telah didapati sangat berguna dan perlu bagi perisian seperti ini. Walau bagaimanapun, had minimum bilangan topik untuk membina Bank Item telah ditambah daripada sepuluh kepada 20 topik memandangkan sesetengah matapelajaran mempunyai lebih daripada sepuluh topik. Kewujudan modul Bank Item dalam perisian tersebut telah didapati sebagai ciri yang amat berguna. Selain daripada menyediakan kemudahan menyimpan pelbagai jenis item, ciri-ciri tambahan yang disediakan seperti mengklasifikasi item, mencetak salinan liat item dan menapis item didapati sangat sesuai kerana ia mempercekapkan pengendaliannya. Kelemahan modul Bank Item telah diperbaiki dengan menambah kaedah penyimpanan jawapan bagi item jenis berstruktur dan esei. Dengan itu, kesemua jawapan bagi pelbagai jenis item dapat disimpan bersama. Satu fungsi untuk melihat keseluruhan item terutamanya item-item yang berteks panjang telah juga ditambah untuk memudahkan pengguna melihat item-item berteks panjang. Modul Penjana Ujian yang disediakan juga didapati sebagai satu lagi ciri istimewa bagi perisian tersebut. Dalam menghasilkan ujian, prosedur-prosedur tertentu untuk memilih item-item untuk dijadikan ujian telah direkabentuk. Ketiga-tiga kaedah penjanaan ujian telah didapati sebagai ciri yang agak maju dan amat berguna Walau bagaimanapun, kelemahan dalam kaedah penjanaan ujian secara cetak terus telah diperbaiki supaya semua jenis item boleh dicetak terus dan tidak terhad kepada item berteks pendek sahaja. Ciri-ciri ramah dalam Pembina Ujian telah didapati memuaskan. Ini adalah kerana menu-menu telah disediakan dengan luas dan didapati membantu pengguna mengendalikan kebanyakan tugas dengan mudah. Maklumbalas dan pesanan-pesanan ralat juga didapati telah disediakan untuk membantu pengguna menjalankan sistem dengan mudah. Secara umumnya, para penilai berpendapat Pembina Ujian mudah digunakan. Guru-guru yang menilai perisian tersebut pada peringkat percubaan-kumpulan-kecil telah memberi persepsi yang positif terhadap keberkesanannya. Kesemua guru berpendapat perisian tersebut amat berguna kerana perisian tersebut banyak membantu mengurangkan beban penyediaan ujian yang dipikul oleh para guru selama ini. Ciri-ciri yang terkandung dalam modul Bank Item dan Penjana Ujian ini didapati agak maju dan sesuai dengan tugas-tugas yang terlibat dalam penyediaan ujian. Modul Bank Item didapati mempunyai ciri-ciri yang maju dalam kaedah penyimpanan item manakala modul Penjana Ujian mempunyai ciri-ciri yang sangat sesuai dalam kaedah penyediaan ujian. Mereka juga berpendapat kesemua sekolah, khususnya Panitia Matapelajaran harus mempunyai perisian tersebut dan para guru harus mempelajari menggunakannya kerana ia mampu membantu para guru menyediakan ujian dan peperiksaan dengan cepat dan berkesan. Beberapa orang guru menyatakan perasaan gembira mereka apabila dapat mencuba perisian tersebut kerana mereka telah bertemu dengan perisian yang dinanti-nantikan.
CADANGAN BAGI KAJIAN LANJUTAN
Pembina Ujian telah dihasilkan untuk mempunyai ciri-ciri yang membantu para guru menjalankan tugas penilaian terhadap para pelajar. Dengan menggunakan perisian ini, beberapa kajian lain yang melibatkan penggunaan perisian tersebut dalam proses pengajaran, pembelajaran dan penilaian mungkin dapat dijalankan untuk memperolehi dapatan yang berguna. Sebagai contoh, para penyelidik boleh mengkaji kesan penggunaan perisian tersebut ke atas suasana pengajaran dan pembelajaran dengan menentukan sama ada ujian-ujian yang dihasilkan dengan bantuan perisian tersebut berupaya mengesan kelemahan dan meningkatkan pengajaran para guru. Maklumat yang diperolehi daripada dapatan kajian lanjutan mengenai penggunaan komputer dalam penilaian boleh mempertingkatkan lagi keberkesanannya dalam pendidikan dan seterusnya meningkatkan mutu pendidikan.
BIBLIOGRAFI
Borg, W. R., & Gall, M. D. (1983). Educational Research. An Introduction. New York: Longman. Burke, R. L. (1982). CAI Sourcebook. Englewood Cliffs: Prentice Hall. CIE Policy Proposed. (1989, Jan 12). New Strait Times. (Computimes), p. 1. Millman, J., & Arter. J. A. (1984). Issues in Item Banking. Journal of Educational Measurement, 21(4), 315-330 Nitko, A. J., & Hsu, T. H. (1984). A Comprehensive Microcomputer System for Classroom Testing. Journal of Educational Measurement, 21(4), 377-378. Percival, F., & Ellington, H. (1984). A Handbook of Educational Technology. New York: Nichols Pub. Co. Simpson, H. (1985). Design of user-friendly programs for small computers. New York: Mc Graw-Hill. Steinberg, E. R. (1984). Teaching computers to teach, Hillsdale, N.J., London: Erlbaum. Zoraini Wati Abas & Goh, K. S. (1987). Evaluation of CAI Courseware. EDUCOMP æ87, (pp. 36-38), Kuala Lumpur: Malaysian Council For Computers-In-Education.