Dulu hanya perusahaan film Hollywood yang berkantong tebal dengan tim artis dan teknisi terampil yang bisa membuat video deepfake – pemalsuan realistis yang menampakkan seseorang melakukan dan mengatakan hal-hal yang tidak pernah mereka lakukan atau katakan.
Sekarang tidak lagi. Perangkat lunak yang tersedia di dunia maya secara gratis memungkinkan siapa saja yang memiliki komputer untuk membuat video palsu yang meyakinkan dalam sekejap.
Apakah itu digunakan untuk dendam pribadi, mempermalukan selebriti, atau untuk mempengaruhi opini publik, deepfake kini membantah aksioma kuno “melihat maka percaya”.
Saya dan tim peneliti di University of Southern California Information Sciences Institute mengembangkan sebuah riset untuk membedakan antara video tiruan yang sangat realistis dan video asli yang benar-benar terjadi.
Penelitian terkini kami menemukan suatu langkah-langkah baru yang lebih akurat untuk mendeteksi video deepfake.
Menemukan cacat
Secara umum, berbagai algoritme deepfake bekerja dengan menggunakan teknik pembelajaran mesin untuk menganalisis gambar dari seorang target, mengidentifikasi elemen kunci dari ekspresi wajah, seperti hidung, sudut mulut, lokasi mata, dan sebagainya.
Algoritme menggunakan informasi ini untuk mensintesis gambar-gambar baru dari wajah orang itu dan menyatukannya untuk membuat video palsu seorang target yang terlihat realistis.
Metode terkini untuk menemukan cacat-cacat kecil dari proses penyatuan gambar dalam sebuah video deepfake adalah dengan melihat masing-masing frame dari video tersebut, baik secara manual maupun menggunakan algoritme.
Jika ada banyak cacat dalam beberapa frame, maka bisa dikatakan video tersebut adalah deepfake.
Namun, para pencipta video deepfake mulai banyak melakukan kompresi gambar dan video dalam jumlah besar untuk menyamarkan cacat.
Lihat rangkaiannya, bukan masing-masing frame
Metode kami berusaha mengatasi strategi ini dengan mengambil pendekatan yang berbeda. Kami mengekstrak semua frame dari video dan mengidentifikasi area yang menunjukkan wajah target. Lalu, kami menumpuk semua gambar wajah di atas satu sama lain, memastikan hidung, mata, dan mulut semuanya selaras di antara setiap frame. Ini menghilangkan efek gerakan kepala atau pergeseran sudut kamera dalam video.
Kemudian, alih-alih melihat masing-masing gambar wajah, kami mencari ketidakkonsistenan pada setiap bagian-bagian wajah yang bergerak dari frame ke frame seiring waktu.
Ini seperti membaca buku flip anak-anak dan kemudian mencari sesuatu yang tidak sesuai dengan urutan. Kami menemukan bahwa metode ini lebih akurat, karena kami dapat mengidentifikasi lebih banyak bukti kepalsuan ketimbang ketika melihat masing-masing frame.
Secara khusus, tingkat akurasi kami dalam mendeteksi deepfake mencapai 96%, bahkan ketika gambar dan video dikompres secara signifikan. Namun akurasi tersebut tercapai hanya saat kami menggunakan kumpulan data skala besar yang tersedia untuk peneliti akademik dalam mengevaluasi teknik deteksi deepfake – data ini disebut FaceForensics ++.
Kumpulan data ini berisi video dari tiga algoritme pembuat deepfake yang paling terkenal, yaitu Face2Face, FaceSwap, dan DeepFake. Namu para pembuat video deepfake ini selalu meningkatkan metode mereka.
Deteksi deepfake adalah perlombaan yang ketat. Para penipu dan pencari kebenaran akan terus memajukan teknologi mereka masing-masing.
Oleh karena itu, upaya untuk membatasi efeknya pada masyarakat secara keseluruhan tidak dapat dilakukan hanya oleh peneliti. Para ahli dan peneliti harus tetap bekerja, tapi butuh upaya lebih.
Saya percaya wadah jejaring sosial juga harus digunakan untuk mengembangkan perangkat lunak dan memperlambat semua jenis penyebaran informasi yang salah – apakah memanipulasi wajah seseorang atau menggerakan seluruh tubuh mereka dengan gerakan-gerakan yang tidak mungkin bisa dilakukan.
Franklin Ronaldo menerjemahkan artikel ini dari bahasa Inggris.