Bulan lalu, mantan Menteri Riset, Teknologi dan Pendidikan Tinggi Indonesia Muhammad Nasir mengatakan bahwa pada 2019, Indonesia telah menyalip Malaysia dan Singapura dalam jumlah publikasi ilmiah.
Namun, beberapa akademisi berpendapat bahwa ‘produktivitas’ ini adalah hasil dari suatu sistem pengukuran performa akademik yang kontroversial. Sistem ini dianggap lebih banyak mementingkan jumlah publikasi dan sitasi ketimbang riset yang berkualitas.
Skema evaluasi berbasis output ini telah menyebabkan banyaknya praktik riset yang tidak etis di kalangan peneliti.
Contohnya adalah praktek ‘data dredging’ - memaksakan penambahan ukuran sampel atau memanipulasi model statistik - untuk menghasilkan riset dengan hasil yang membuktikan hipotesis, yang notabene lebih disukai oleh banyak jurnal ilmiah.
Sandersan Onie, kandidat doktor di University of New South Wales, Australia, mengatakan dalam sebuah webinar tentang transparansi penelitian yang diadakan akhir bulan lalu, bahwa praktek-praktek yang tidak jujur seperti ini semakin banyak dilakukan karena banyak peneliti lebih mementingkan peluang artikel diterbitkan di jurnal ilmiah ketimbang akurasi.
“Bisa saja peneliti menjalankan sepuluh macam model statistik, tapi hanya melaporkan satu yang terlihat paling memungkinkan untuk dipublikasikan atau disitasi. Mereka melakukan apa yang disebut ‘selective reporting’,” katanya.
Read more: Manipulasi statistik, mengapa banyak temuan penelitian tak dapat dipercaya
Lebih dari 1.000 peserta dari sekitar 30 institusi bergabung dalam webinar yang berjudul “Advancing Science in Indonesia: Current Global Research Practices” tersebut.
Simine Vazire, seorang profesor psikologi di University of California-Davis, Amerika Serikat, yang merupakan salah satu pembicara di webinar tersebut, mengatakan bahwa walaupun ada banyak cara untuk mempromosikan transparansi, secara umum terdapat tiga strategi yang dapat secara langsung menambah kredibilitas penelitian.
Pre-registrasti eksperimen yang dilakukan
Metode pertama yang disarankan oleh Vazire adalah suatu praktik yang dikenal dengan istilah ‘pre-registrasi’, yaitu menyiapkan dokumen rencana penelitian yang memiliki stempel waktu, bersifat read-only (hanya dapat dibaca, tidak bisa diedit), dan dibuat sebelum penelitian dilakukan.
Dalam pre-registrasi tersebut, seorang peneliti harus menjelaskan riset yang ia rencanakan tersebut sebelum mengumpulkan data. Informasi yang dicantumkan mulai dari hipotesis yang diajukan, hingga model statistik apa yang akan dijalankan untuk menganalisis data.
Dokumen tersebut kemudian akan diarsip di dalam suatu sistem seperti Open Science Framework (OSF), suatu platform manajemen riset yang bersifat open-source.
“Apabila kita mendapatkan suatu hasil penelitian yang menggembirakan, kita tidak bisa kemudian menyembunyikan fakta bahwa kita juga telah melakukan dua belas pengukuran lain yang berbeda,” ungkap Vazire.
“Artinya, kita menyatakan komitmen untuk berapa hasil atau treatment yang kita lakukan, jauh sebelum penelitian dimulai.”
Praktek kedua adalah dengan mengirimkan apa yang disebut sebagai laporan teregistrasi (registered reports). Pada intinya, dokumen ini adalah bentuk yang lebih rinci dan formal dari pre-registrasi.
Penulis mengirimkan suatu manuskrip yang sudah disusun terlebih dahulu, menjelaskan tentang ide penelitian secara mendetail, kepada sebuah jurnal untuk evaluasi tahap awal.
Apabila para editor memutuskan bahwa rancangan penelitian tersebut memenuhi semua kriteria mereka untuk sebuah desain riset yang baik, mereka akan memberikan jaminan bahwa hasil penelitian akan diterima oleh jurnal tersebut, bahkan sebelum peneliti mengumpulkan data.
Jurnal akan mempublikasikan hasil penelitian tersebut apapun hasilnya, sehingga integritas akademik terjaga.
“Yang bagus dari registered report adalah keputusan penerimaan atau penolakan publikasi suatu penelitian tidak didasarkan pada apakah hipotesisnya terbukti, apakah hasilnya signifikan secara statistik atau tidak, atau apakah hasilnya mengguncang atau menggembirakan atau berpotensi mendapatkan banyak sitasi,” kata Vazire.
Kedua praktek pre-registrasi di atas dapat mencegah peneliti melakukan ‘data dredging’ atau bahkan memformulasikan hipotesis setelah hasilnya keluar (HARKing).
Dengan skema tersebut, apabila peneliti melenceng dari metode penelitian yang telah disepakati sebelumnya, mereka harus memberikan penjelasan ilmiah mengapa hal tersebut dilakukan.
Di samping itu, registered reports dapat menyelesaikan masalah lain yaitu kenyataan bahwa penelitian dengan hasil negatif memiliki peluang yang lebih kecil untuk dipublikasikan.
Padahal, hasil yang negatif juga sama pentingnya untuk kemajuan sains, tapi kebanyakan jurnal menganggapnya tidak menarik dan hanya akan mendapatkan sedikit sitasi.
Sebuah riset yang dilakukan tahun 2019 oleh tim peneliti dari Cardiff University misalnya, menunjukkan bahwa sekitar 60% laporan penelitian yang dipublikasikan menggunakan skema registered reports memiliki hasil negatif.
Bandingkan angka tersebut dengan estimasi dari literatur ilmiah secara umum saat ini, di mana hanya sekitar 10% dari penelitian yang dipublikasikan di jurnal memiliki hasil negatif.
Ini adalah indikasi yang kuat bahwa terdapat bias publikasi.
Saat ini, baru sekitar 209 jurnal ilmiah di dunia ini yang menawarkan mekanisme registered reports di dalam proses publikasinya, tidak ada satupun dari Indonesia. Ini merepresentasikan bahkan kurang dari 0,01% dari 24.000 judul jurnal telaah-sejawat yang diindeks di Scopus.
Rizqy Amelia Zein, dosen psikologi di Universitas Airlangga yang juga merupakan salah satu panitia penyelenggara webinar tersebut, sesudah acara tersebut mengatakan bahwa penerbit ilmiah di Indonesia masih cukup tertinggal dalam hal transparansi.
“Jurnal-jurnal Indonesia kebanyakan mengurusi hal-hal kosmetik. Jarang sekali ada yang benar-benar concern dengan kualitas. Yang dikejar tidak lain dan tidak bukan adalah indexing ke Scopus,” katanya.
Mendorong pembukaan data melalui lencana digital
Metode terakhir yang direkomendasikan oleh Vazire adalah penggunaan lencana digital oleh jurnal untuk mendorong peneliti membuka data riset mereka.
Contoh terbaik mungkin berasal dari Association for Psychological Science. Tiga jurnal prestisius mereka, termasuk Psychological Science, menawarkan tanda digital untuk penulis dan manuskrip yang kirimkan untuk menandakan bahwa mereka telah melakukan praktek-praktek sains terbuka.
Terdapat tiga jenis lencana. Satu diberikan karena menyediakan data riset di dalam suatu repositori publik, satu untuk menyediakan material penelitian bebas akses, dan satu lagi bagi mereka yang melakukan praktek pre-registrasi.
Suatu penelitian dari Amerika Serikat yang dilakukan pada 2016 mengkonfirmasi bahwa setelah diterapkannya lencana-lencana tersebut, jumlah artikel riset di Psychological Science yang melakukan praktek data terbuka mengalami peningkatan drastis.
“Saya bahkan melihat efek hilir dari kebijakan ini juga terlihat di jurnal yang lebih kecil,” ungkap Vazire.
“Meskipun mereka tidak menawarkan lencana atau memiliki kebijakan data terbuka, ada tren di mana jauh lebih banyak peneliti yang membagikan data mereka karena memahami bahwa publik lebih percaya pada hasil riset ketika menyantumkan data secara terbuka.”
Penelitian tahun 2017 dari Queensland University of Technology, Australia, mengungkapkan bahwa lencana data terbuka merupakan satu-satunya sistem insentif yang teruji mampu memotivasi peneliti untuk membuka data mereka.
Sandersan mengatakan bahwa praktek-praktek transparansi dan akuntabilitas ini bukanlah solusi sapu jagad, namun merupakan sebuah langkah yang sangat baik menuju tujuan akhir mewujudkan riset yang kredibel dan berkualitas.
“Sangat penting bagi kita untuk tidak hanya membaca laporan penelitian, tapi juga keputusan-keputusan apa yang diambil peneliti dan apa saja pertimbangannya. Dengan menuntut transparansi, para peneliti dapat menunjukkan proses pemikiran mereka secara menyeluruh,” katanya.
“Jika kita hanya menggunakan insentif h-index, jumlah publikasi, dan insentif lain yang umumnya kita pakai sekarang, itu hanya akan berujung menciptakan penelitian yang buruk.”