Presiden Joko Widodo kerap kali menyentil kinerja Kementerian Riset, Teknologi dan Pendidikan Tinggi (Kemristekdikti) mengenai daya saing universitas di Indonesia yang dia anggap belum memuaskan.
Terakhir, Oktober lalu, Jokowi heran mengapa hanya tiga perguruan tinggi (PT) yang berhasil masuk 500 universitas top dunia 2018 versi Quacquarelli Symonds (QS). Presiden sampai mempertanyakan soal pengelolaan universitas yang kurang mampu merespons tuntutan global.
Di tengah kebijakan internasionalisasi universitas yang sedang digalakkan, Kementerian Riset baru-baru ini merilis temuan sejumlah pelanggaran etika publikasi yang dilakukan oleh para peneliti, pengelola terbitan berkala ilmiah dan pengelola PTN.
Pelanggaran etika publikasi yang ditemukan meliputi publikasi ganda, sitiran karya sendiri atau self-citation yang tidak wajar, dan kebijakan penerbitan karya ilmiah tanpa proses telaah yang disiplin.
Tim Penilai Angka Kredit (PAK) Kementerian Riset, misalnya, menemukan seorang peneliti bisa menghasilkan 69 karya ilmiah dan 239 sitiran dalam setahun, sehingga ada dugaan peneliti tersebut mengutip karyanya sendiri dengan cara yang tidak wajar.
Pelanggaran ini dilakukan para dosen untuk ‘memoles’ capaian kinerja agar bisa go international.
Melihat kecenderungan ini, saya merasa kebijakan yang selama ini diterapkan oleh Kementerian Riset tentang internasionalisasi universitas perlu dievaluasi kembali.
Sistem pemeringkatan problematik
Pemeringkatan QS sebenarnya hanya salah satu dari beberapa lembaga pemeringkat global yang dijadikan rujukan oleh Kementerian Riset untuk mengevaluasi kinerja PT. Sampai sekarang, saya belum menemukan dokumen kebijakan resmi yang bisa diakses publik mengenai alasan mengapa kementerian ini memilih QS, bukan Academic Ranking of World University (ARWU), Times Higher Education (THE) atau Round University Rankings (RUR), sebagai acuan kinerja.
QS menyusun peringkatnya dengan metode yang sangat kompleks dengan enam indikator penilaian. Dua indikator dengan bobot tertinggi adalah (1) telaah sejawat akademisi (academic peer review) dan (2) jumlah sitiran karya ilmiah (citations per faculty). Indikator lainnya (3) perbandingan jumlah dosen dan mahasiswa, (4) penilaian reputasi dari para pemberi kerja, (5) rasio jumlah mahasiswa asing dan (6) rasio staf pendidik asing.
Meski metode yang diterapkan QS sangat kontroversial sampai mengundang kritik tajam, Kementerian Riset dan beberapa PT menggunakan indikator-indikator ini sebagai landasan untuk menyusun strategi pengembangan pendidikan tinggi.
Telaah sejawat akademisi adalah indikator yang problematik ketika dioperasionalisasikan. Untuk mengukur indikator ini, QS menyurvei reputasi universitas dengan meminta para akademisi menyebutkan 10 PT lokal dan 30 PT internasional yang menurut mereka paling bereputasi dalam disiplin ilmu yang mereka tekuni. Karena itu, QS tak hanya menyusun peringkat PT secara umum, tapi sekaligus menyusun peringkat berdasarkan disiplin ilmu tertentu yang spesifik.
Metode ini sangat meragukan, karena angka non-response yang cukup tinggi. Misalnya, untuk responden akademisi yang berasal dari Asia, Australia, dan Selandia Baru, angka respons (response rate) survei tersebut tak sampai 50%.
Selain itu, dalam memberikan penilaian, responden tidak diberikan informasi apa pun soal PT yang mereka evaluasi, sehingga ada kemungkinan hasil penilaian tersebut terkontaminasi halo effect atau kesan bias dari nama besar universitas tertentu. Lagi-lagi, metode yang bermasalah ini kemungkinan tak memberikan informasi sesungguhnya mengenai mutu pendidikan tinggi, melainkan justru menguatkan dugaan bahwa pengukuran tersebut tercemar bias kognitif.
Tergila-gila dengan Scopus
Yang paling ganjil dari pemeringkatan ini adalah komponen jumlah sitiran karya ilmiah. QS menyedot data jumlah sitiran dari Scopus, basis data pustaka komersial milik Elsevier. Universitas berlomba-lomba menambah jumlah dokumen terindeks dan jumlah sitiran di Scopus sebanyak mungkin agar skor dalam aspek ini bisa optimal. Inilah muasal mengapa akademisi Indonesia menjadi “tergila-gila” dengan Scopus.
Tak cukup di situ, Kementerian Riset juga menciptakan sistem pengukuran kinerja penelitian dan publikasi yang dinamakan skor Science and Technology Index (SINTA). Skor SINTA dihitung dari jumlah dokumen dan sitiran yang direkam oleh Google Scholar dan Scopus, tapi memberikan bobot yang jauh lebih besar pada dokumen dan sitiran yang direkam Scopus.
Berdasarkan skor SINTA, Kementerian Riset menyusun peringkat peneliti (individu), PT, bahkan terbitan berkala ilmiah. Ketergantungan kementerian pada bibliometric seperti h-index (indeks produktivitas dan sitiran) dan skor SINTA dalam jangka panjang justru membuat perkembangan sains dan inovasi menjadi mandeg.
Hal ini dikarenakan sistem ini bukannya malah mendorong peneliti untuk meningkatkan kualitas pekerjaannya, tapi justru mendatangkan obsesi berlebihan dalam mengejar promosi jabatan dan insentif sampai harus mengorbankan integritasnya sendiri.
Tak heran German Science Foundation melarang evaluasi kinerja peneliti berbasis bibliometric bahkan sudah sejak 2013.
Efek kobra dan sitiran tak wajar
Anekdot efek kobra berasal dari cerita pada periode kolonialisasi Inggris di India. Pemerintah kolonial yang saat itu khawatir dengan meningkatnya populasi kobra liar di Delhi menawarkan upah bagi siapa pun yang berhasil memburu kobra. Strategi ini tampak berhasil pada awalnya, karena setelah itu masyarakat berduyun-duyun membawa kobra mati untuk mendapatkan upah.
Namun sesaat setelah pemerintah kolonial mendapati banyak warga yang curang, yang sengaja membiakkan kobra agar mendapatkan upah, sayembara akhirnya dihentikan. Tak lama, populasi kobra liar menanjak drastis, karena tak ada lagi yang mau memburu kobra.
Dalam konteks publikasi ilmiah, efek kobra di atas mirip dengan fenomena citation selfie yang sengaja dilakukan peneliti untuk mengerek h-index. Ini membuat h-index memberikan informasi yang menyesatkan mengenai reputasi peneliti, karena seharusnya sitiran terjadi secara alami.
Kebijakan internasionalisasi memang memberikan ruang yang longgar terjadinya penyalahgunaan kekuasaan. Pengelola terbitan berkala ilmiah akan tergoda mewajibkan penulisnya menyitir naskah yang sebelumnya sudah dipublikasikan di terbitan tersebut. Dosen akan tergoda menekan mahasiswa untuk mencantumkan namanya sebagai penulis artikel ilmiah atau menyitir tulisan-tulisan mereka, agar h-index meningkat.
Meski praktik semacam ini telah dilarang oleh Committee on Publication Ethics (COPE) yang merupakan asosiasi editor dan penerbit terbitan berkala ilmiah terbesar di dunia, nyatanya praktik penyalahgunaan kekuasaan ini kerapkali ditemui di berbagai perguruan tinggi.
Ini bukan persoalan yang khas yang terjadi di Indonesia. Robert J. Sternberg, profesor psikologi perkembangan dari Cornell University, baru-baru ini digugat karena persoalan yang kurang lebih sama. Yang menakjubkan, dalam satu artikelnya, Sternberg menyitir 351 referensi, 161 di antaranya adalah tulisannya sendiri. Beberapa tulisan Sternberg ditarik dari penerbitan, karena ia ketahuan memplagiat karyanya sendiri yang sudah diterbitkan sebelumnya.
Akibatnya, Sternberg terpaksa melepaskan posisinya sebagai pemimpin redaksi Perspective on Psychological Science, jurnal ternama terbitan Association of Psychological Science (APS). Insiden memalukan ini membuatnya kehilangan muka, padahal Sternberg adalah sosok penting di balik teori yang sangat populer yaitu, Segitiga Cinta dan Tiga Aspek Kecerdasan.
Temuan Kementerian Riset tentang sitiran karya sendiri merupakan gejala awal efek kobra dari kebijakan yang mereka terapkan sendiri. Upaya menggenjot jumlah publikasi yang terlalu bergantung pada pengukuran bibliometric dan pemberian insentif, baik berupa promosi jabatan dan tambahan pendapatan, justru menimbulkan peluang terjadinya efek justifikasi berlebihan.
Dalam psikologi sosial, efek justifikasi berlebihan terjadi ketika individu termotivasi oleh penghargaan yang sifatnya ekstrinsik untuk melakukan suatu tugas. Akibatnya, individu akan merespons tugas dengan strategi yang sangat efisien, tapi performa yang dihasilkan cenderung buruk. Untuk mempertahankan motivasi individu untuk terus fokus pada tugas tersebut, insentif harus selalu tersedia. Ketika insentif hilang, minat individu akan ikut hilang.
Kementerian Riset seharusnya tak perlu terlalu terkejut bila PT dan peneliti melakukan segala cara untuk terlihat keren. Terlalu fokus pada pengukuran membuat kita terobsesi pada hal-hal kosmetik, sekaligus lupa pada aspek yang lebih substansial. Integritas dan kemerdekaan akademik, misalnya.
Sains terbuka sebagai solusi
Saya percaya kredibilitas dan nilai informasi dari suatu penelitian terletak pada integritas penelitinya. Integritas akan tampak dari komitmen peneliti untuk menyelenggarakan penelitian secara transparan dan terbuka.
Untuk itu, saya mengusulkan sistem penilaian kinerja peneliti berbasis praktik sains terbuka, suatu praktik yang menghendaki agar peneliti membuat semua material dan temuan penelitiannya menjadi sumber daya milik publik. Center for Open Science (COS), sebuah organisasi nirlaba yang mengadvokasi praktik sains terbuka menerbitkan Transparency and Openness Promotion (TOP) Guidelines bagi peneliti, PT dan pengelola terbitan berkala ilmiah yang ingin mengadopsi prinsip sains terbuka.
Peneliti yang secara terbuka melaporkan potensi terjadinya konflik kepentingan, hasil uji kelayakan etik penelitiannya, asumsi awal termasuk hipotesis penelitian, rencana pengambilan data, perencanaan jumlah sampel sekaligus aturan penghentian pengambilan data, strategi perekrutan partisipan penelitian, data mentah, sampai prosedur analisis data, diberi penghargaan yang lebih baik daripada peneliti yang menolak untuk melakukan hal tersebut di atas.
Kebijakan berbasis sains terbuka saat ini menjadi tren sejak krisis replikasi ramai diperbincangkan pada 2011. Uni Eropa bahkan lebih taktis dengan menyusun Plan S sebagai acuan untuk mengevaluasi penelitian yang mereka sponsori.
Beberapa jurnal dengan faktor dampak tinggi juga memberikan lencana sains terbuka bagi peneliti yang melakukan pra-registrasi, membagikan data mentah dan prosedur analisisnya kepada publik.
Saya percaya agar ekosistem riset di Indonesia menjadi progresif dan dinamis, maka peneliti dan pengelola PT harus mengadopsi prinsip transparansi. Saat ini, pilihan yang tersedia hanya dua - sains terbuka atau menjadi tertinggal sepenuhnya.