Proses telaah sejawat (peer review) punya peran yang sangat penting dalam dunia akademik di era modern. Sebelum sebuah karya riset baru bisa terbit di suatu jurnal akademik, sejumlah dosen dan peneliti lain secara ketat mengevaluasi bukti, metode penelitian, dan temuan serta argumen dalam studi tersebut.
Namun, banyak akademisi, penelaah, dan editor jurnal mengeluhkan beberapa masalah terkait cara kerja sistem peer review modern. Prosesnya bisa lama, tidak transparan, kurang inklusif, dan juga mendayagunakan relawan dari kalangan akademisi yang padahal sudah mengemban beban kerja yang berat di kampus masing-masing.
Read more: Lebih dari sepertiga dosen Indonesia tidak menerbitkan riset: 3 solusi memperbaikinya
Bulan lalu, salah satu dari kami (Kelly-Ann Allen) menyampaikan rasa frustrasi atas sulitnya menemukan jejaring penelaah di Twitter.
Unggahan itu mendapat ratusan respons, dan kini kami punya koleksi melimpah berisi kritik terkait proses peer review dan juga rekomendasi dari netizen akademisi tentang cara-cara untuk memperbaikinya.
Berbagai rekomendasi tersebut menunjukkan masih ada banyak hal yang bisa dilakukan jurnal, penerbit, dan universitas untuk membuat proses peer review lebih akuntabel, adil, dan inklusif. Berikut ringkasan dari temuan lengkap kami.
Tiga tantangan peer review
Kami melihat ada tiga tantangan utama terkait sistem peer review modern.
Pertama, proses peer review bisa berujung eksploitatif.
Banyak perusahaan yang menerbitkan jurnal akademik mendapatkan untung dari langganan maupun penjualan. Sementara, para penulis, editor, dan penelaah umumnya menuangkan energi dan waktu secara sukarela – sehingga pada dasarnya bekerja secara gratis.
Meski peer review sering dianggap sebagai upaya kolektif komunitas akademik, dalam praktiknya, sebagian besar pekerjaan ini dilakukan hanya oleh segelintir akademisi saja. Suatu studi terkait jurnal biomedis menemukan bahwa, pada tahun 2015, hanya 20% peneliti dan dosen saja yang melakukan hingga 94% pekerjaan peer review.
Peer review bisa jadi semacam ‘kotak hitam’
Tantangan kedua adalah minimnya transparansi dalam proses peer review.
Peer review umumnya berjalan secara anonim: peneliti tidak tahu siapa yang mengevaluasi karya mereka, dan penelaah tidak tahu karya siapa yang mereka evaluasi. Ini memang dapat mendorong kejujuran, tapi juga bisa membuat prosesnya lebih tertutup dan tidak akuntabel.
Sifat tertutup ini juga bisa meredam diskusi, melanggengkan bias dalam riset, dan juga menurunkan kualitas evaluasi karya riset.
Cenderung berjalan lamban
Tantangan terakhir terkait dengan kecepatan proses peer review.
Saat seorang peneliti mengirimkan karya akademik ke suatu jurnal, jika mereka lolos tahap seleksi awal, mereka bisa jadi harus menunggu waktu yang sangat lama untuk proses reviu dan pada akhirnya penerbitan. Tidak jarang peneliti harus menunggu lebih dari setahun hingga karyanya diterbitkan.
Penundaan semacam ini buruk untuk semua pihak.
Bagi pembuat kebijakan, pemimpin, maupun publik, ini berarti mereka bisa saja membuat keputusan berdasarkan bukti ilmiah yang tidak terkini. Bagi akademisi, penundaan penerbitan bisa menghambat karir mereka karena mereka harus menunggu publikasi yang mereka butuhkan untuk memproses kenaikan jabatan.
Read more: Jalan evolusi bibliometrik Indonesia
Akademisi mengatakan bahwa penundaan ini muncul akibat keterbatasan jumlah penelaah. Banyak dari mereka mengaku kewalahan dengan beban kerja di kampus sehingga enggan berpartisipasi dalam proses peer review. Ini pun menjadi semakin semenjak pandemi COVID-19 muncul.
Studi juga menemukan bahwa banyak jurnal sangat bergantung pada penelaah dari Amerika Serikat (AS) dan Eropa, sehingga makin membatasi jumlah maupun keberagaman penelaah.
Bisakah kita memperbaiki proses peer review?
Jadi, apa yang bisa kita lakukan?
Sebagian besar saran konstruktif dari netizen akademisi terbagi menjadi tiga jenis rekomendasi:
Pertama, banyak dari mereka menyarankan bahwa harus ada insentif yang lebih baik untuk terlibat dalam peer review.
Misalnya, penerbit bisa membayar para penelaah (jurnal-jurnal dari American Economic Association sudah melakukan hal ini), atau memberi sekian persen keuntungan kepada departemen riset. Jurnal juga bisa memberikan para penelaah langganan gratis, kupon biaya publikasi, atau proses review yang lebih cepat untuk mereka (fast track).
Meski demikian, kita tak bisa memungkiri bahwa jika jurnal menawarkan insentif semacam ini, ada masalah-masalah lain yang bisa muncul.
Saran lain adalah bahwa universitas harus lebih baik lagi mengakomodasi keterlibatan dalam peer review sebagai bagian dari beban kerja akademik, kemudian memberi penghargaan bagi mereka yang memberi kontribusi besar bagi proses peer review.
Beberapa komentar di Twitter berpendapat bahwa profesor tetap (tenured professors) di suatu universitas, wajib mereviu sejumlah artikel riset setiap tahun. Beberapa yang lain menekankan pentingnya mendukung jurnal nirlaba, apalagi mengingat temuan sebuah studi terkini bahwa sekitar 140 jurnal di Australia berhenti beroperasi selama 2011-2021.
Sebagian besar responden sepakat bahwa konflik kepentingan harus dihindari. Beberapa menyarankan basis data berisi pakar di berbagai bidang sehingga memudahkan pencarian penelaah yang relevan.
Strategi rekrutmen penelaah yang lebih inklusif
Banyak responden juga mengatakan bahwa jurnal bisa memperbaiki cara mereka merekrut penelaah dan mekanisme pembagian kerjanya. Penelaah bisa diseleksi atas dasar kepakaran metode atau konten dan diminta fokus ke salah satu saja dalam proses peer review.
Responden juga mengatakan bahwa jurnal harus lebih baik lagi dalam membuat undangan yang menyasar pakar yang sesuai, dengan proses yang lebih sederhana bagi mereka untuk menerima atau menolak tawaran tersebut.
Beberapa akademisi lain merasa bahwa akademisi tidak tetap (non-tenured), peneliti doktoral, orang yang bekerja di industri yang relevan, maupun pakar yang sudah pensiun juga bisa terlibat menjadi penelaah. Ini bisa dimulai dengan lebih banyak melatih mahasiswa pascasarjana dengan kompetensi peer review, serta meningkatkan representasi perempuan dan minoritas.
Merombak sistem reviu anonim (double-blind)?
Respons beberapa akademisi menunjukkan tumbuhnya gerakan untuk membuat proses peer review menjadi terbuka, sehingga bisa jadi membuatnya lebih manusiawi dan transparan. Sebagai contoh, Royal Society Open Science menerbitkan seluruh keputusan, dokumen reviu, dan identitas sukarela dari para penelaah.
Saran lain adalah untuk mempercepat proses penerbitan dengan memprioritaskan riset yang sensitif waktu dan punya urgensi tinggi.
Langkah ke depan
Pesan secara umum dari respons terhadap cuitan kami adalah bahwa ada kebutuhan untuk melakukan perombakan sistemik dalam proses peer review.
Ada banyak sekali ide untuk melakukannya demi kebermanfaatan ilmuwan maupun publik. Namun, pada akhirnya tetap saja ini tergantung pada jurnal, penerbit, dan universitas untuk mempraktikkannya dan menerapkan sistem peer review yang lebih akuntabel, adil, dan inklusif.
Para penulis mengucapkan terima kasih pada Emily Rainsford, David V. Smith, dan Yumin Lu atas kontribusi mereka pada artikel jurnal yang kami terbitkan sebelumnya, berjudul ‘Towards improving peer review: Crowd-sourced insights from Twitter’.