Belum lama ini, riset dari peneliti ekonomi sains dan inovasi Caroline Fry dan rekan-rekannya di University of Hawaii-Manoa di Amerika Serikat (AS), memicu perdebatan di kalangan akademisi Indonesia.
Studi yang terbit di jurnal Research Policy (2023) ini mengevaluasi dampak sistem yang menilai produktivitas riset peneliti, khususnya platform SINTA di Indonesia.
Fry dan timnya mengolah data sekitar 200.000 peneliti yang tercatat di SINTA beserta rekam jejak publikasi mereka pada jurnal-jurnal terindeks Scopus, suatu basis data riset yang populer.
Mereka menemukan bahwa secara umum, produktivitas riset di Indonesia meningkat hampir 80 ribu publikasi selama 2016-2019, atau periode tiga tahun setelah diumumkannya SINTA.
Bahkan, setelah mempertimbangkan faktor eksternal yang bisa saja memicu tren peningkatan publikasi sebelum adanya SINTA pada 2016 – dari regulasi kewajiban penerbitan artikel jurnal untuk kelulusan hingga aturan publikasi sebagai prasyarat tunjangan profesi dosen – riset ini tetap menemukan kenaikan produktivitas tahunan sebesar 25% ketimbang sampel kontrol yakni peneliti di Thailand dan Filipina.
Dengan temuan ini, Fry dan kawan-kawan merekomendasikan sistem indeks kinerja peneliti seperti SINTA sebagai cara mudah dan murah dalam mendukung produktivitas riset, terutama di negara berkembang.
Namun, kesimpulan ini menuai kritik dari sejumlah akademisi Indonesia.
Meskipun SINTA terbukti meningkatkan produktivitas, sistem yang dibuat, menurut akademisi Indonesia, justru berperan memperkuat budaya penelitian yang mengutamakan kecepatan dan kuantitas di atas kualitas.
Read more: Jalan evolusi bibliometrik Indonesia
Demi “memaksimalkan” skor SINTA mereka, misalnya, peneliti Indonesia menggencarkan jenis publikasi non-jurnal dengan penelaahan sejawat (peer review) yang cenderung lemah dan tidak ketat, seperti prosiding konferensi yang berwujud kumpulan makalah seminar. Bahkan, dalam temuan riset Fry dan kawan-kawan, prosiding konferensi menyumbang porsi terbesar – lebih dari 60% – dari kenaikan publikasi selama 2016 hingga 2019.
“Kenapa mereka kok lebih memilih memperkuat metrik yang berbasis sitasi ini? Sebenarnya pendapat mereka tidak ada yang baru. Mereka juga melupakan pesan yang lebih penting untuk melakukan praktik-praktik sains yang baik,” kata Dasapta Erwin Irawan, dosen geologi di Institut Teknologi Bandung (ITB).
“Ini [..] terkait dengan integritas riset.”
Jago ‘mengakali’ sistem
Dalam risetnya, Fry membedah metode pemeringkatan kinerja riset SINTA dengan rumus:
Dalam tren kenaikan produktivitas riset peneliti Indonesia selama 2016-2019, tim peneliti menemukan bahwa artikel jurnal bereputasi (Q1-Q2) menyumbang komposisi kenaikan paling kecil, yakni 14%.
Penyumbang terbesar justru malah makalah konferensi yang termasuk publikasi non-jurnal terindeks Scopus, yaitu sebesar 62%.
“Secara umum prosiding itu kan karya ilmiah non-peer review sebenarnya. Jadi fungsinya lebih sebagai kumpulan makalah yang diterbitkan dalam konteks konferensi atau lokakarya akademis. Cuma kan di tempat kita itu sering dipakai untuk sarana mempercepat kuantitas publikasi,” kata Ilham Akhsanu Ridlo, dosen kesehatan publik di Universitas Airlangga (Unair), Surabaya.
Menurut sejumlah penulis The Conversation Indonesia, misalnya, praktik yang umumnya terjadi adalah penerbit makalah konferensi asing yang terafiliasi Scopus melakukan peninjauan yang tidak berhubungan dengan substansi – misalnya hanya terkait tata letak dan gaya selingkung.
Terkadang, menurut para penulis, penerbitannya pun tidak melibatkan peer review dan hanya menyerahkan ke penyelenggara acara.
Mengacu pada rumus SINTA, hanya dengan tiga prosiding konferensi terindeks Scopus (berbobot 15), peneliti Indonesia sudah bisa meraih skor lebih tinggi dari artikel jurnal Q1 (peringkat tertinggi dengan bobot 40).
Bahkan di antara jurnal-jurnal paling bereputasi (Q1-Q2), Fry dan kawan-kawan menemukan bahwa peneliti Indonesia mencatat kenaikan lebih tinggi pada publikasi jurnal Q2 ketimbang Q1.
Ini kemungkinan karena dalam rumus skor SINTA, baik jurnal Q1 dan Q2 diberikan skor yang sama, yaitu 40, meski reputasi dan kualitasnya sedikit berbeda. Dengan sistem ini, peneliti kemudian cenderung memilih untuk terbit pada jurnal Q2 saja karena proses penerbitannya relatif tidak seketat jurnal Q1.
Fry dan timnya bahkan mengakui bahwa sistem penilaian ini dapat mengubah perilaku peneliti untuk lebih bisa “memaksimalkan” skor mereka.
Yang masih luput dari bahasan
Ilham berpendapat bahwa sebenarnya SINTA tak sepenuhnya berdampak buruk, dan tetap bisa punya peran penting.
Namun, perannya cukup sebagai alat evaluasi saja bagi akademisi secara pribadi maupun institusi.
“Misalkan sebagai dosen, aku bisa melihat capaian diri. ‘Wah iya, kemarin ini kenapa ya bisa produktif, apa yang perlu ditingkatkan,’ terus kemudian area penelitiannya bisa tahu, aku belum banyak menjangkau area riset ini, siapa sih yang mengutip penelitianku,” kata Ilham.
“Lebih ke fungsi evaluasi yang seperti itu, bukan menjadi alat pembanding antarindividu dan institusi karena kondisi sumber dayanya tidak sama.”
Masalahnya, alih-alih menjadi alat pemantauan dan evaluasi, Erwin melihat SINTA justru dalam praktiknya berevolusi menjadi ‘gatekeeper’ yang sangat mempengaruhi banyak peraturan, proses, dan sistem evaluasi dosen dan institusi akademik di Indonesia. Sebuah karya baru dapat diklaim oleh dosen, hanya kalau tertayang di platform SINTA.
Capaian di SINTA ini berkaitan dengan sejumlah peraturan dan sistem termasuk Penilaian Angka Kredit (PAK) yang berdampak pada kenaikan jabatan dosen, penghitungan Beban Kerja Dosen yang mencerminkan kinerja dosen per semester hingga nantinya tunjangan profesi mereka, hingga Klasterisasi Perguruan Tinggi yang mempengaruhi otonomi institusi untuk melakukan riset.
Akibatnya, menurut Erwin, banyak dosen berujung melakukan praktik yang mengorbankan kualitas riset dan mencari jalan pintas penerbitan – bahkan hingga terjebak penerbit-penerbit yang “predator” – karena terdorong kenyataan bahwa capaian mereka dalam metrik-metrik publikasi sangat mempengaruhi karir, nasib, dan kesejahteraan mereka.
Bahkan, menurut akademisi, iklim publikasi di Indonesia yang banyak fokus pada metrik-metrik publikasi mendorong kemunculan tak hanya industri konferensi yang mendongkrak penerbitan prosiding dengan peer review lemah, tapi juga praktik mengutip karya sendiri untuk menggenjot angka sitasi serta penggunaan calo publikasi.
“Nah itu semua kan untuk urusan promosi, bahkan kelulusan, kemudian juga performa per semester. Ini [telah menjadi komponen] penting dalam beban kerja dosen,” kata Erwin.
“Kenapa sih sistem penilaian itu bisa menjebak atau mendorong peneliti rame-rame ‘mengakali’? Jadi, kalau dilihat sebetulnya kan nggak serta merta di SINTA-nya, tapi lebih di peraturan-peraturan. Nah, itu yang harusnya jadi fokus utama [kritiknya],” pungkas Ilham.