Seorang perempuan memberikan suaranya di Depok, Jawa Barat pada Pemilihan Kepada Daerah (Pilkada) serentak akhir bulan Juni lalu. Mast Irham/EPA

Hasil survei Pilkada tidak akurat, apa yang salah pada lembaga survei?

Enam lembaga survei baru-baru ini dilaporkan ke Badan Reserse Kriminal Markas Besar Kepolisian RI atas tuduhan menyebarkan kebohongan publik. Alasannya, temuan lembaga survei tersebut terkait elektabilitas calon kepala daerah sebelum pemilihan serentak akhir Juni lalu ternyata berbeda jauh dengan hasil perhitungan cepat sesaat setelah waktu pencoblosan ditutup.

Sebelum pemilihan kepala daerah (pilkada), mayoritas survei elektabilitas melaporkan angka keterpilihan pasangan calon gubernur dan wakilnya, Sudrajat- Ahmad Syaikhu, di Jawa Barat konsisten di bawah 10%, padahal hasil perhitungan cepat menunjukkan angka di atas 25%.

Sama halnya dengan pasangan Sudirman Said-Ida Fauziyah, calon gubernur dan wakil gubernur Jawa Tengah, yang sebelumnya diperkirakan ‘hanya’ meraup suara tak lebih 10%, namun hasil perhitungan cepat menunjukkan kisaran 40%.

Menanggapi kritik yang deras mengalir pada studi yang mereka lakukan, lembaga survei berkilah bahwa konteks pemilihan kepala daerah sangat dinamis, sehingga wajar saja ada perbedaan antara survei elektabilitas dan hasil perhitungan suara. Namun, ketika memeriksa lebih teliti metode survei yang digunakan, apakah penyimpangan itu mungkin dapat terjadi sedemikian dramatis?

Kecermatan ilmiah

Saya sering sekali menemukan ketidakcocokan antara teknik analisis data yang digunakan dengan kesimpulan yang ditarik dalam temuan survei. Misalnya, temuan suatu survei menyatakan bahwa pemilih kandidat A adalah 70% perempuan, sedangkan sisanya laki-laki. Dari data tersebut, seringkali lembaga survei menarik kesimpulan bahwa, “pemilih perempuan cenderung memilih kandidat A.”

Kesimpulan ini menyesatkan, karena seolah-olah ada hubungan sebab-akibat antara jenis kelamin responden dengan perilaku memilih, padahal kesimpulan yang benar seharusnya “responden yang memilih kandidat A mayoritas adalah perempuan.”

Menghitung frekuensi, dikenal juga sebagai teknik statistik deskriptif, adalah teknik yang paling sederhana. Tujuannya sangat terbatas, hanya untuk menggambarkan data. Jadi, teknik ini terlalu sederhana kalau digunakan untuk menguji hipotesis, menarik kesimpulan adanya hubungan sebab-akibat, apalagi untuk memprediksi tren. Ini kecerobohan metodologi yang amat fatal.

Selain itu, umumnya lembaga survei biasanya melaporkan parameter elektabilitas dalam bentuk persentase absolut. Meski sudah menyertakan margin error, melaporkan persentase absolut tanpa menyertakan informasi tentang rentang kepercayaan (confidence interval), sangat berisiko menyesatkan orang awam, akibat kandungan margin error yang masih melekat dalam persentase absolut.

Misalnya, bila dalam suatu survei, elektabilitas kandidat A mencapai 40%, kandidat B 35% dan 25% responden menyatakan tidak memilih keduanya. Apabila diketahui margin error sebesar 5%, maka seharusnya lembaga survei melaporkan angka elektabilitas kandidat A sekitar 35-45% (40±5%), serta kandidat B sekitar 30-40% (35±5%). Dalam kasus ini, kita sulit menyimpulkan siapa yang elektabilitasnya sebenarnya lebih tinggi. Dalam kasus yang ekstrim, bisa jadi dukungan untuk kandidat A sebenarnya 35%, sedangkan kandidat B 40%.

Selanjutnya, bertentangan dengan yang diyakini kebanyakan orang, besar sampel sesungguhnya lebih penting peranannya dalam menentukan akurasi temuan survei dibandingkan dengan keterwakilan semua anggota populasi dalam sampel.

Selama ini, umum diyakini bahwa melakukan teknik pengambilan sampel secara acak (random sampling) yang bisa dilakukan dengan berbagai metode adalah harga mati untuk mendapatkan data yang kredibel. Meski random sampling dapat membantu peneliti mengurangi bias, namun pada praktiknya, random sampling tidak selalu menghasilkan data yang kredibel.

Untuk memilih sampel dengan teknik random sampling, umumnya peneliti harus memiliki daftar yang memuat seluruh anggota populasi sebagai dasar untuk mengacak atau dikenal dengan sampling frame. Tanpa sampling frame, mustahil random sampling dapat dilakukan. Pasalnya, tidak jelas apa sampling frame yang digunakan oleh lembaga survei untuk memilih responden.

Sedangkan kalau kita mengasumsikan lembaga survei menggunakan data kependudukan sebagai sampling frame, maka sebenarnya sampling frame sendiri sudah mengandung bias, mengingat betapa amburadulnya data kependudukan kita. Oleh karena itu, menggunakan teknik random sampling tidak akan berimplikasi pada kredibilitas data.

Dalam rumus penghitungan margin error, ukuran populasi tidak dimasukkan. Hal ini mengakibatkan kekuatan estimasi sebuah survei dengan jumlah responden sebanyak 1.000 orang akan setara, baik pada populasi yang ukurannya 100.000, maupun 100 juta orang.

Namun dalam konteks pemilihan kepala daerah yang selisih dukungan antar kandidat sangat tipis, maka agar estimasi survei akurat, jumlah responden harus sangat besar. Hal ini mengapa aspek jumlah responden sangat penting. Hal ini sesuai dengan konsep statistical power dalam statistik. Semakin besar jumlah responden, maka statistical power semakin besar dan memperkecil margin error, sehingga selisih dukungan antar kandidat akan dapat diestimasi secara lebih akurat.

Persoalannya, saya belum pernah menemukan ada lembaga survei yang mempublikasikan statistical power studinya. Terlepas dari dinamisnya konteks survei politik, saya menduga kasus tidak akuratnya survei elektabilitas pilkada Jawa Barat dan Jawa Tengah mungkin disebabkan oleh kurang memadainya statistical power dalam survei-survei tersebut. Tanpa informasi tentang statistical power, publik tidak akan tahu apakah jumlah responden survei sudah cukup memadai untuk mengestimasi selisih elektabilitas kandidat.

Ini belum termasuk pertanyaan tentang kualitas instrumen survei. Belum pernah saya menemukan lembaga survei yang mempublikasikan reliabilitas dan validitas instrumennya. Kalau instrumen yang digunakan tidak valid dan reliabel, bisa dipastikan hasil survei-pun makin tidak akurat, karena angka keterpilihan masih mengandung error pengukuran yang belum diestimasi. Selama ini lembaga survei hanya fokus pada margin error, padahal error dalam teknik sampling hanya satu dari sekian banyak error yang harus dikontrol dalam survei.

Mengingat buruknya praktik metodologi yang diterapkan oleh lembaga survei, seharusnya Perhimpunan Survei Opini Publik Indonesia (Persepi) dan Asosiasi Riset Opini Publik Indonesia (Aropi) menetapkan standar pelaporan, sehingga ada patokan apa saja parameter yang harus dilaporkan dan bagaimana cara melaporkannya dalam bahasa awam. Bila perlu, lembaga survei dibiasakan untuk menjalani proses telaah sejawat (peer review) atas temuan survei yang akan dirilis. Telaah sejawat lazim dilakukan di komunitas akademik dan saya yakin proses ini akan mengembalikan kredibilitas lembaga survei.

Era keterbukaan

Seorang ahli biostatistik John Ioannidis menyebutkan dalam artikelnya yang kontroversial bahwa mayoritas temuan penelitian yang terpublikasi sebenarnya menyesatkan. Hal ini berakar dari kontroversi mengenai isu replikasi dalam beberapa disiplin ilmu, termasuk yang paling problematik yang terjadi dalam ilmu psikologi.

Saat ini, ilmuwan didorong untuk mengadopsi prinsip keterbukaan. Melaporkan secara mendetail metode yang digunakan dan hasil penelitian yang diperoleh, meski temuannya bertentangan dengan harapan peneliti, adalah keharusan. Selain itu, membuka semua data penelitian, instrumen yang digunakan, cara analisis data akan sangat membantu peneliti lainnya untuk replikasi.

Lembaga survei tidak pernah terbuka dalam melakukan surveinya. Hal ini dikarenakan lazim kita temui lembaga survei yang merangkap sebagai penyelenggara jasa konsultan politik, tapi tidak pernah mendeklarasikannya secara terbuka. Padahal, deklarasi atas potensi terjadinya konflik kepentingan merupakan kewajiban peneliti ketika mengkomunikasikan temuannya. Kalau hal ini tidak dilakukan, lembaga survei sebenarnya tidak boleh marah ketika dicurigai masyarakat menyebarkan kebohongan publik.

Sebenarnya yang paling dirugikan dari buruknya kinerja lembaga survei bukan saja masyarakat pemilih, tetapi kandidat yang menjadi klien mereka.

Lembaga survei berfungsi untuk menyediakan suplai informasi mengenai suasana hati para pemilih kepada tim sukses kandidat untuk membentuk strategi kampanye yang tepat. Tapi, ketika praktik riset lembaga survei dipertanyakan kebenarannya, maka temuan dan rekomendasinya tidak akan akurat.

Kandidat juga mengharapkan lembaga survei sebagai instrumen kampanye mereka untuk mempengaruhi perilaku pemilih. Mengingat kredibilitas lembaga survei cenderung negatif karena hasil survei mereka yang dapat disesuaikan sesuai selera kandidat, lembaga survei bukanlah instrumen yang efektif lagi.

Padahal, melakukan survei butuh biaya besar, sehingga menggunakan jasa lembaga survei yang tidak cermat dan transparan bukan strategi yang baik.

Gugatan hukum yang mungkin akan dihadapi oleh enam lembaga survei ini merupakan peringatan agar lembaga survei dan asosiasi lembaga survei segera berbenah. Hal ini amat mendesak untuk segera dilakukan kalau lembaga survei ingin dianggap serius oleh komunitas akademik, dan dianggap kredibel oleh masyarakat awam. Apalagi tahun depan akan digelar pemilihan umum legislatif dan pemilihan presiden secara serentak.