ULASAN JURNAL 5: Kesahan dan kebolehpercayaan instrument

2 JURNAL KESAHAN DAN KEBOLEHPERCAYAAN

Bil	Tajuk Jurnal	Tujuan/ Bidang/ Tajuk artikel	Rumusan Keseluruhan Jurnal
1	Meenus, W., Petegem,P.V., Engels,N.2009. Validity and reliability of portfolio assessment in pre-service teacher education. Assessment & Evaluation in Higher Education, 34(4): 401-413.	- Artikel ini menerangkan konsep kesahan dan kebolehpercayaan penilaian portfolio dalam pra-perkhidmatan pendidikan perguruan.  - Tajuk yang dikemukan tidak melebihi 15 patah perkataan iaitu sebanyak 10 p/p. - Topik yang dibincangkan adalah sesuai berdasarkan isi kandungan yang diterangkan mengikut kronologi artikel.	Kesemua tajuk artikel adalah seragam kerana bagi tidak melebihi 15 patah perkataan. Ia  sesuai dengan huraian isi. Tajuk kajian fokus kepada kesahan dan kebolehpercayaan penilaian portfolio serta instrumen. Perbezaannya ialah sasaran kajian. Menghuraikan seluruh kandungan kajian dengan tepat dan jelas.
2	Bunce,D.M., VandenPlas, J.R.,Neiles,K.Y.,& Flens,E.A. 2010. Development of a Valid and Reliable Student- Achievement and Process-Skills Instrument. Journal of College Science Teaching, 39(5):50-55.	- Artikel ini menerangkan mengenai pembangunan instrumen untuk mengukur pencapaian pelajar dalam keperluan perancangan dan kesahan sebelum instrumen tersebut digunakan untuk mengutip data. - Tajuk yang dikemukan tidak melebihi 15 patah perkataan iaitu sebanyak 10 p/p. - Topik yang dibincangkan adalah sesuai berdasarkan isi kandungan yang diterangkan mengikut kronologi artikel.
Bil	Jurnal	Abstrak	Rumusan Keseluruhan Abstrak
1	Validity and reliability of portfolio assessment in pre-service teacher education .	- Ada menceritakan mengenai tujuan kajian ini dijalankan.  Tujuan utama kajian ini dijalankan adalah untuk mendapatkan kesahan dan kebolehpercayaan penilaian terhadap portfolio yang digunakan oleh para guru ketika pra perkhidmatan perguruan mereka. - Ada membincangkan kaedah/ reka bentuk kajian yang digunakan bagi kajian tersebut dan responden/ sampel kajian. - Penulisan abstrak ringkas dan  menjelaskan mengenai dapatan utama kajian ini dalam penilaian kesahan dan kebolehpercayaan portfolio. - Ada menerangkan mengenai dapatan kajian ini merangkumi 3 kategori yang ingin dikaji. - Ada membincangkan implikasi kajian yang merangkumi 3 kategori iaitu kesahan pengajaran, kesahan partnership dan kesahan pembelajaran. - Tidak ada penerangan mengenai cadangan bagi kajian ini. - Tidak menggunakan dwibahasa.	Kekuatan :2 artikel yang dibaca mengemukakan  abstrak. Tetapi tidak semua  abstrak bagi jurnal tersebut ditulis dengan lengkap mengikut keperluan yang perlu ada dalam abstrak. Kelemahan :Tiada terjemahan abstrak dalam Bahasa Melayu Kelemahan :Secara keseluruhannya masih lemah dalam aspek kronologi atau penyusunan penulisan dalam artikel jurnal.  Ada yang menyatakan tujuan kajian, dapatan kajian, implikasi serta kesimpulan dan juga sebaliknya.
2	Development of a Valid and Reliable Student- Achievement and Process-Skills Instrument	-  Ada menceritakan mengenai tujuan kajian ini dijalankan. Tujuan kajian ini adalah untuk mengukur instrumen yang dibangunkan sebelum digunakan untuk mengutip data. Oleh yang demikian kesahan dan kebolehpercayaan instrumen tersebut perlu dibuktikan terlebih dahulu. - Tidak ada membincangkan kaedah yang digunakan dan rumusan kajian.  - Tidak menggunakan dwibahasa. - Penulisan abstrak ringkas tetapi tidak menjelaskan mengenai dapatan utama kajian ini. - Ada menerangkan mengenai keseluruhan kajian ini dilakukan berdasarkan penceritaan langkah yang dilakukan bagi menilai kesahan dan kebolehpercayaan instrumen berkenaan.
Bil	Jurnal	Penghujahan	Rumusan Keseluruhan Penghujahan
1	Validity and reliability of portfolio assessment in pre-service teacher education .	1.Pengenalan Mempunyai penjelasan pengenalan yang sangat panjag mengenai kesahan dan kebolehpercayaan terhadap penilaian portfolio bagi pra perkhidmatan perguruan yang bertujuan untuk melihat sejauh mana portfolio yang mereka buat itu boleh dipakai dan digunakan. 2.Kajian kepustakaan Tidak menceritakan kajian kepustakaan sebagai satu tajuk utama, tetapi dijelaskan di dalam bahagian pengenalan. Kajian kepustakaan yang dibuat adalah sangat banyak dan bersesuaian dengan topik penilaian rubrik. 3.Metodologi Menerangkan dengan jelas dan terperinci mengenai responden yang digunakan. Reka bentuk kajian yang digunakan adalah kajian kualitatif.  Kesahan penilaian portfolio dinilai berdasarkan 3 kategori iaitu kesahan pengajaran, partnership dan pembelajaran.Manakala bagi kebolehpercayaan portfolio adalah berdasarkan:- ● using a common assessment protocol (prior       moderation); ● using a common checklist of assessment criteria; ● holistic marking; ● adequate training of assessors; and ● use of various assessors (retrospective moderation).  Menerangkan juga mengenai prosedur, bagaimana kajian ini dijalankan.Selain daripada itu juga, portfolio assessment ini menilai:- -reporting teaching activity -reflection on the teaching activities -personal learning plan. 4.Dapatan kajian Hasil dapatan dijelaskan dengan terperinci bagi setiap satu portfolio yang dibuat berdasarkan interview dan pemerhatian.  Interpretasi data dilakukan dengan baik dan ditunjukkan dengan jelas dalam jadual selepas penerangan dilakukan. 5.Perbincangan dan rumusan Penerangan mengenai perbincangan ini dilakukan dengan melihat kepada 3 kategori iaitu:- - Assessment of teaching competencies-  validity rendah  -Assessment of partnership competencies -  validity rendah  - Assessment of learning competencies - validity tinggi Ini membuktikan bahawa kapasiti pelajar yang boleh melaksanakan proses pembelajaran kendiri yang boleh diakses dengan tepat menggunakan penilaian portfolio ini. Bagi kebolehpercayaan penilaian portfolio pula adalah kompentensi dalam pendidikan perguruan depends pada apa yang dimukur dan yang pasti untuk dinilai.	Kekuatan :Semua kronologi yang dikemukakan mempunyai kronologi penyelidikan yang berbeza Kelemahan: Kedua-dua jurnal tidak mempunyai kajian kepustakaan sebagai tajuk yang khusus dalam jurnal ini, sebaliknya dimasukkan terus ke dalam setiap isu yang dibincangkan. Kekuatan :Bagi bahagian metodologi diterangkan terus ke dalam isu atau konstruk yang ingin dikaji,  Kelemahan:  Kedua-dua jurnal tidak menerangkan dengan jelas metodologi yang digunakan serta prosedur kajian dijalankan Kekuatan :Dapatan kajian dimasukkan terus ke dalam isu atau konstruk yang ingin dikaji Kelemahan: Penerangan ayat bagi dapatan terlalu panjang dan sukar untuk difahami pembaca luar.
2	Development of a Valid and Reliable Student- Achievement and Process-Skills Instrument	1.   Pengenalan Menerangkan bahagian pengenalan dengan sangat jelas dan panjang lebar mengenai penilaian terhadap instrumen yang dibangunkan sebelum boleh digunakan untuk mengutip data berkenaan sebarang kajian yang dijalankan. Oleh yang demikian tidak dapat dinafikan bahawa penilaian ini merupakan satu topik yang sangat menarik untuk dibincangkan dalam agensi pendidikan. Pembangunan instrumen adalah melibatkan kedua-dua semakan statistik dan bukan statistik bagi kesahan dan kebolehpercayaan  dan merupakan satu bahagian yang penting dalam perancangan kajian untuk mengkaji pengajaran berasaskan pendekatan   Process-Oriented guided Inquiry Learning (POGIL).  2.     Kajian kepustakaan Tidak menceritakan kajian kepustakaan sebagai satu tajuk utama, tetapi dijelaskan di dalam bahagian pengenalan. Kajian kepustakaan yang dibuat adalah sangat banyak dan bersesuaian dengan topik penilaian rubrik. 3.     Metodologi Menerangkan dengan jelas dan terperinci mengenai responden yang digunakan, Instrumen yang digunakan. Menggunakan reka bentuk kajian kuantitatif dan kualitatif. Tetapi disatukan di dalam topik yang berbeza-beza seperti prosedur pembangunan instrumen dimasukkan ke dalam topik ‘planning the assessment instrument’. Responden serta reka bentuk kajian juga turut dijelaskan di dalam topik ini dan juga dalam tajuk ‘ Determining the format and content of the instrument’ seperti ujian dalam bilik darjah yang melibatkan instrumen yang dibangunkan. Dapatan kajian Hasil dapatan dijelaskan dengan terperinci bagi setiap satu instrumen yang digunakan untuk menguji penilaian terhadap proses kesahan dan kebolehpercayaan instrumen yang dibangunkan.  Interpretasi data dilakukan dengan baik dan ditunjukkan dengan jelas menggunakan jadual  berdasarkan proses kemahiran pengajaran Process-Oriented guided Inquiry Learning (POGIL).  4.     Perbincangan dan rumusan Perbincangan dilakukan dengan terperinci termasuklah dengan implikasi terhadap kajian ini, bagaimana penggunaan kesahan dan kebolehpercayaan isntrumen ini dicuba untuk mengakses kesan bagi pengajaran inovasi terhadap pembelajaran pelajar. Implikasi penilaian ini adakah berada pada keupayaan untuk menyakinkan pembaca yang mempunyai pendapat yang berbeza-beza mengenai instrumen yang telah dibina dan telah dibuat pengesahan.
Bil	Jurnal	Penerangan mengenai Penilaian pengukuran	Rumusan Keseluruhan
1	Validity and reliability of portfolio assessment in pre-service teacher education .	Secara keseluruhan bagi jurnal ini adalah menerangkan bagaimana tiga kategori kesahan mempengaruhi penilaian portfolio bagi pra perkkhidmatan pendidikan perguruan.  Penerangan mengenai perbincangan ini dilakukan dengan melihat kepada 3 kategori iaitu:- - Assessment of teaching competencies-  validity rendah  -Assessment of partnership competencies -  validity rendah  - Assessment of learning competencies - validity tinggi Ini membuktikan bahawa kapasiti pelajar yang boleh melaksanakan proses pembelajaran kendiri yang boleh diakses dengan tepat menggunakan penilaian portfolio ini. Bagi kebolehpercayaan penilaian portfolio pula adalah kompentensi dalam pendidikan perguruan depends pada apa yang dimukur dan yang pasti untuk dinilai. Ke semua ini adalah kesimpulan daripada dapatan kajian yang telah diperolehi melalui pemerhatian dan tembual yang dilakukan ke atas guru-guru serta pelajar yang menggunakan portfolio dalam tugasan P&P mereka.	Secara keseluruhannya, apa yang boleh dikatakan di sini adalah kesahan dan kebolehpercayaan ini adalah sangat penting dan ia membantu pengkaji dalam mengesahkan setiap instrumen yang dibangunkan. Bagi modul Gimp ini, walaupan instrumen yang digunakan adalah diadaptasi daripada pengkaji-pengkaji yang lepasm tetapi kesahan dan kebolehpercayaan intrumen turut dijalankan sekali lagi. Ini adalah untuk memantapkan lagi instrumen modul GIMP. Selain daripada, bagi projek modul GIMP, pakar-pakar dalam bidang pengukuran, psikologi, juruteknik komputer, pensyarah komputer akan dijadikan sebagai expert review untuk melihat sejauh mana modul GIMP yang dibangunkan dapat memenuhi teori pembelajaran yang diaplikasikan iaitu teori beban kognitif serta teori minimalis. Begitu juga dengan instrumen yang dibina iaitu mengenai konstruk gaya pembelajaran pelajar, konstruk penggunaan hybrid learning serta kesesuaian modul berdasarkan teori-teori pembelajaran yang ingin dilihat aplikasinya dalam pembinaan modul GIMP.
2	Development of a Valid and Reliable Student- Achievement and Process-Skills Instrument	Bagi jurnal kedua ini pula. secara keseluruhannya adalah untuk melihat sejauh mana kesahan dan kebolehpercayaan instrumen yang dibina yang akan digunakan untuk mengutip data bagi kajian yang ingin dijalankan. Kesahan dan kebolehpercayaan instrumen ini diberikan kepada pakar-pakar dalam bidang pengukuran  dan kepada mana-mana pakar dalam bidang yang berkaitan dengan setiap konstruk dan item yang terdapat dalam instrumen yang dibina.
Tajuk Jurnal		Kekuatan	Kelemahan
Validity and reliability of portfolio assessment in pre-service teacher education .		- Membuat kesimpulan dengan memberikan bukti dengan setiap hasil kajian mengenai kesahan dan kebolehpercayaan portfolio bagi pra perkhidmatan pendidikan perguruan. - Senarai rujukan ditulis di akhir artikel. - Merangkan persekitaran pembelajaran dan penggunaan rubrik dalam menilai penulisan pelajar secara menyeluruh. - Penerangan mengenai kertas konsep bagi penilaian rubrik dengan jelas beserta dengan contohnya.  - Kajian literatur mengenai penilaian pembelajaran dalam talian adalah sangat banyak dan jelas. - Dapatan kajian juga turut diperincikan dengan jelas dalam bentuk jadual.	- Penggunaan laras bahasa yang agak tinggi untuk difahami oleh pembaca yang bukan bidang ini. - Perbincangan yang disampaikan terlalu panjang mengenai  penggunaan rubrik. - Tidak terdapat metodologi sebagai satu tajuk yang khusus dalam jurnal ini - Isi-isi kandungan juga susah untuk difahami secara terus kerana banyak menggunakan perkataan yang sukar difahami maksudnya
Development of a Valid and Reliable Student- Achievement and Process-Skills Instrument		- Membuat kesimpulan keseluruhan bagi setiap kesahan dan kebolehpercayaan instrumen yang dibangunkan - Senarai rujukan ditulis di akhir artikel. - Penerangan mengenai kertas konsep bagi penilaian rubrik dengan jelas beserta dengan contohnya.  - Kajian literatur mengenai penilaian adalah sangat banyak dan jelas beserta contoh yang mudah difahami pembaca tetapi dimasukkan ke dalam bahagian pengenalan. - Dapatan kajian juga turut diperincikan dengan jelas dalam bentuk graf.	- Penggunaan laras bahasa yang agak tinggi untuk difahami oleh pembaca yang bukan bidang ini. - Ia membincangkan mengenai penggunaan rubrik ini terlalu umum kepada semua sekolah, terutamanya sekolah rendah di England - Perbincangan yang disampaikan terlalu panjang mengenai penggunaan rubrik mengikut satu persatu topik. Ini menyukarkan pembaca untuk memahami apa sebenarnya yang ingin dikaji oleh pengkaji bagi kajian ini. - Isi-isi kandungan juga susah untuk difahami secara terus kerana banyak menggunakan perkataan yang sukar difahami maksudnya - Tidak terdapat metodologi sebagai satu tajuk yang khusus dalam jurnal ini

v  Kedua-dua prosiding mengemukakan tajuk yang sesuai dengan isu yang hendak dikaji. Jumlah patah tidak melebihi 15pp

v  Penulisan abstrak yang baik walaupun hanya dalam BI sahaja. Ke semua jurnal menjelaskan kandungan abstrak dengan terperinci.

v  Pendahuluannya dimulakan dengan pendapat penulis dan disokong oleh kajian-kajian terdahulu. Ada kesinambungan dan dapat menarik pembaca untuk terus mendalami nya.

v  Pernyataan masalah/ Persoalan kajian/ Objektif  tidak dikemukakan dengan terperinci.

v  Metodologi kajian dibincangkan tetapi dimasukkan ke dalam isu-isu yang ingin dikaji bukan mengkhususkan satu topik metodologi sahaja seperti kebiasaan jurnal .

v  Terdapat penulisan ayat-ayat yang panjang dalam perbincangan. Sukar untuk difahami dan tiada sokongan kajian lain dinyatakan. Perbincangan dan kesimpulan yang dilakukan adalah sangat bertepatan dengan kajian yang dilakukan dalam jurnal-jurnal berikut.

v  Rujukannya terkini dan ditulis dengan format yang betul. Walau bagaimanapun, masih terdapat beberapa rujukan yang sudah lama juga turut digunakan. (80an, 90an sahaja) dan selebihnya adalah rujukan yang merujuk kepada tahun 2000 ke atas.