Model kecerdasan buatan atau Artificial Intelligence (AI) generasi baru dapat menghasilkan gambar “kreatif” sesuai permintaan berdasarkan perintah teks. Sistem seperti Imagen, MidJourney, dan DALL-E 2 mulai mengubah cara konten kreatif dibuat dengan implikasi untuk hak cipta dan kekayaan intelektual.
Walaupun keluaran dari model-model ini umumnya menarik perhatian, sulit untuk mengetahui secara pasti cara mereka menghasilkan hasilnya. Baru-baru ini, para peneliti di Amerika Serikat membuat klaim menarik bahwa model DALL-E 2 mungkin telah menemukan bahasa rahasianya sendiri untuk berbicara tentang banyak objek.
Dengan meminta DALL-E 2 untuk membuat gambar yang berisi teks keterangan dan kemudian memasukkan teks (dengan gaya gibberish atau cara bicara merepet) yang dihasilkan kembali ke sistem, para peneliti menyimpulkan bahwa DALL-E 2 menganggap Vicootes berarti “sayuran,” sedangkan Wa ch zod rea mengacu pada “makhluk laut yang mungkin dimakan paus.”
Klaim-klaim ini memang menarik, dan jika benar, dapat memiliki implikasi keamanan dan interpretasi yang penting untuk model AI besar semacam ini. Jadi, apa sebenarnya yang terjadi?
Apakah DALL-E 2 memiliki bahasa rahasia?
DALL-E 2 mungkin tidak memiliki “bahasa rahasia.” Mungkin lebih akurat untuk mengatakan bahwa DALL-E 2 memiliki kosa kata sendiri. Meskipun demikian, kita tidak dapat mengetahui dengan pasti.
Pertama-tama, sangat sulit untuk memverifikasi klaim apapun tentang DALL-E 2 dan model AI besar lainnya pada tahap ini karena hanya ada sedikit peneliti dan praktisi kreatif yang memiliki akses ke sana. Setiap gambar yang dibagikan secara publik (di Twitter misalnya) sebaiknya tidak sepenuhnya dipercaya karena gambar tersebut telah diseleksi oleh manusia dari antara banyak gambar keluaran yang dihasilkan oleh AI.
Bahkan orang-orang yang memiliki akses hanya dapat menggunakan model ini secara terbatas. Misalnya, pengguna DALL-E 2 dapat membuat atau memodifikasi gambar, tetapi tidak (belum) dapat berinteraksi dengan sistem AI lebih dalam, misalnya dengan memodifikasi kode di balik layar. Ini berarti “metode AI yang dapat dijelaskan” untuk memahami cara kerja sistem ini tidak dapat diterapkan. Selain itu, menyelidiki perilaku mereka secara sistematis merupakan sebuah tantangan tersendiri.
Lalu apa yang terjadi?
Satu kemungkinan adalah frasa “gibberish” (cara bicara merepet) terkait dengan kata-kata dari bahasa non-Inggris. Misalnya, Apoploe, yang tampaknya membuat gambar burung, mirip dengan bahasa Latin Apodidae, yang adalah nama binomial dari keluarga spesies burung.
Ini merupakan penjelasan yang cukup masuk akal. Misalnya, DALL-E 2 dilatih tentang berbagai macam data yang diambil dari internet yang mencakup banyak kata non-Inggris.
Hal serupa pernah terjadi sebelumnya: model AI bahasa alami yang besar secara kebetulan belajar menulis kode komputer tanpa pelatihan yang disengaja.
Apakah ini semua tentang token?
Satu hal yang mendukung teori ini adalah fakta bahwa model bahasa AI tidak membaca teks seperti yang kita lakukan. Sebagai gantinya, mereka memecah teks input menjadi “token” sebelum memprosesnya.
Pendekatan “tokenisasi” yang berbeda memiliki hasil yang juga berbeda. Memperlakukan setiap kata sebagai tanda tampak seperti pendekatan intuitif, tetapi ini menyebabkan masalah ketika tanda yang identik memiliki arti yang berbeda, seperti “match” yang berarti hal yang berbeda ketika kita bermain tenis (pertandingan) dan ketika kita menyalakan api (korek api).
Di sisi lain, memperlakukan setiap karakter sebagai token menghasilkan lebih sedikit kemungkinan token, tetapi masing-masing menyampaikan informasi yang tidak cukup bermakna.
DALL-E 2 (dan model lainnya) menggunakan pendekatan di antara yang disebut byte-pair encoding (BPE) atau pengkodean pasangan byte. Memeriksa representasi BPE untuk beberapa kata yang menunjukkan ini dapat menjadi faktor penting dalam memahami “bahasa rahasia.”
Bukan keseluruhan gambar
“Bahasa rahasia” juga dapat menjadi contoh dari prinsip “sampah masuk, sampah keluar.” DALL-E 2 tidak dapat mengatakan “Saya tidak tahu apa yang kamu bicarakan.” Akibatnya, itu akan selalu menghasilkan beberapa jenis gambar dari teks input yang diberikan.
Bagaimanapun juga, tidak satu pun dari opsi ini dapat menjadi penjelasan lengkap tentang apa yang sebenarnya terjadi. Misalnya, menghapus karakter individu dari kata-kata gibberish tampaknya merusak gambar yang dihasilkan dengan cara yang sangat spesifik. Selain itu, tampaknya ini tidak selalu digabungkan untuk menghasilkan gambar majemuk yang koheren (seperti yang akan terjadi jika benar-benar ada “bahasa” rahasia di balik sistem AI).
Mengapa ini penting
Di luar keingintahuan intelektual, kita mungkin bertanya-tanya jika semua ini benar-benar penting.
Jawabannya adalah iya. “Bahasa rahasia” DALL-E adalah contoh “serangan musuh” terhadap sistem pembelajaran mesin: sebuah cara untuk mematahkan perilaku sistem yang dimaksudkan dengan sengaja memilih input yang tidak ditangani dengan baik oleh AI.
Salah satu alasan serangan musuh menjadi mengkhawatirkan adalah karena mereka menantang kepercayaan kita pada model. Jika AI menafsirkan kata-kata gibberish dengan cara yang tidak diinginkan, AI mungkin juga menafsirkan kata-kata yang bermakna dengan cara yang tidak disengaja.
Serangan musuh juga meningkatkan masalah keamanan. DALL-E 2 memfilter teks masukan untuk mencegah pengguna menghasilkan konten yang berbahaya atau kasar, tetapi “bahasa rahasia” dari kata-kata gibberish mungkin memungkinkan pengguna untuk menghindari filter ini.
Penelitian terbaru telah menemukan “frasa pemicu” yang bertentangan untuk beberapa model AI bahasa – frasa gibberish pendek seperti “zoning tapping fiennes” yang dapat dengan andal memicu model untuk memuntahkan konten rasis, berbahaya, atau bias. Penelitian ini adalah bagian dari upaya berkelanjutan untuk memahami dan mengontrol cara sistem pembelajaran mendalam yang kompleks belajar dari data.
Terakhir, fenomena seperti “bahasa rahasia” DALL-E 2 meningkatkan masalah interpretasi. Kami mengharapkan model ini untuk berperilaku seperti yang diharapkan manusia, tetapi melihat keluaran yang terstruktur tersebut sebagai respons terhadap gibberish mengacaukan harapan ini.
Menyoroti kekhawatiran yang ada
Anda mungkin ingat keributan pada tahun 2017 atas beberapa bot obrolan Facebook yang “menciptakan bahasa mereka sendiri.” Situasi yang terjadi saat ini serupa dengan hasil yang sama-sama mengkhawatirkan – tetapi tidak dalam arti “Skynet akan mengambil alih dunia”.
Sebaliknya, “bahasa rahasia” DALL-E 2 menyoroti kekhawatiran yang ada tentang ketahanan, keamanan, dan kemampuan interpretasi sistem pembelajaran mendalam.
Kita tidak akan dapat benar-benar mengetahui apa yang sedang terjadi sampai sistem ini tersedia secara lebih luas – dan khususnya, sampai pengguna dari latar belakang budaya non-Inggris yang lebih luas dapat menggunakannya.
Namun, saat ini, jika kamu ingin mencoba membuat beberapa gambar AI Anda sendiri, kamu dapat melihat model lebih kecil yang tersedia secara gratis, yaitu DALL-E mini. Berhati-hatilah dengan kata-kata yang kamu gunakan (baik Bahasa Inggris atau gibberish – ini adalah pilihan Anda).
Zalfa Imani Trijatna dari Universitas Indonesia menerjemahkan artikel ini dari bahasa Inggris.