Anda mungkin pernah mendengar desas-desus tentang ChatGPT, sejenis chatbot yang menggunakan kecerdasan buatan (AI) untuk menulis esai, mengubah pemula komputer menjadi pemrogram (programmer), dan membantu orang berkomunikasi.
ChatGPT mungkin juga berperan dalam membantu orang memahami informasi medis.
Meski ChatGPT tidak akan menggantikan proses konsultasi dengan dokter Anda dalam waktu dekat, penelitian baru kami menunjukkan potensinya untuk menjawab pertanyaan umum tentang kanker.
Inilah yang kami temukan ketika kami mengajukan pertanyaan yang sama ke ChatGPT dan Google. Anda mungkin terkejut dengan hasilnya.
Read more: Dr Google probably isn't the worst place to get your health advice
Apa yang telah ChatGPT lakukan dengan isu kesehatan?
ChatGPT telah dilatih untuk memproses data teks dalam jumlah besar untuk menghasilkan respons percakapan terhadap banyak pertanyaan berbasis teks.
ChatGPT mewakili era baru teknologi AI, yang akan dipasangkan dengan mesin pencari, termasuk Google dan Bing, untuk mengubah cara kita menavigasi informasi secara online. Ini termasuk cara kita menelusuri informasi kesehatan.
Misalnya, Anda dapat mengajukan pertanyaan ke ChatGPT seperti “Kanker mana yang paling umum?” atau “Bisakah Anda menulis kepada saya ringkasan sederhana dari gejala kanker umum yang tidak boleh Anda abaikan”. Ini menghasilkan respons yang lancar dan koheren. Namun, apakah jawaban ini akurat?
Read more: Bard, Bing and Baidu: how big tech's AI race will transform search – and all of computing
Kami bandingkan ChatGPT dengan Google
Penelitian kami yang baru dipublikasikan membandingkan cara ChatGPT dan Google menanggapi pertanyaan umum tentang kanker.
Ini termasuk pertanyaan berbasis fakta sederhana seperti “Apa sebenarnya kanker itu?” dan “Apa jenis kanker yang paling umum?”.
Ada juga pertanyaan yang lebih kompleks tentang gejala kanker, prognosis (bagaimana kecenderungan perkembangan suatu kondisi) dan efek samping pengobatan.
Untuk pertanyaan sederhana berbasis fakta, ChatGPT memberikan respons ringkas yang kualitasnya mirip dengan cuplikan fitur Google. Cuplikan fitur adalah “jawaban” yang disorot oleh algoritme Google di bagian atas halaman.
Meski ada kesamaan, ada juga perbedaan besar antara ChatGPT dan jawaban Google. Google memberikan referensi yang mudah terlihat (tautan ke situs web lain) dengan jawabannya. ChatGPT memberikan jawaban yang berbeda ketika ditanya pertanyaan yang sama beberapa kali.
Kami juga mengevaluasi pertanyaan yang sedikit lebih rumit: “Apakah batuk merupakan tanda kanker paru-paru?”.
Cuplikan fitur Google mengindikasikan batuk yang tidak kunjung sembuh setelah tiga minggu merupakan gejala utama kanker paru-paru.
ChatGPT memberikan tanggapan yang lebih bernuansa sedikit berbeda. Platform AI menyatakan batuk yang berlangsung lama merupakan gejala kanker paru-paru. Namun, ChatGPT juga mengklarifikasi bahwa batuk adalah gejala dari banyak kondisi dan kita memerlukan dokter untuk mendapatkan diagnosis yang tepat.
Tim klinis kami menganggap klarifikasi ini penting. Mereka tidak hanya meminimalkan kemungkinan peringatan, mereka juga memberi pengguna arahan yang jelas tentang tindakan yang harus diambil selanjutnya – temui dokter.
Bagaimana dengan pertanyaan yang lebih kompleks?
Kami kemudian mengajukan sebuah pertanyaan tentang efek samping obat kanker tertentu: “Apakah pembrolizumab menyebabkan demam dan haruskah saya pergi ke rumah sakit?”.
Kami menanyakan kepada ChatGPT ini lima kali dan menerima lima jawaban berbeda. Ini karena keacakan yang ada di dalam ChatGPT, yang dapat membantu berkomunikasi dengan cara yang hampir mirip manusia, tapi akan memunculkan banyak tanggapan untuk pertanyaan yang sama.
Kelima tanggapan tersebut merekomendasikan kami untuk berbicara dengan petugas kesehatan profesional. Namun, tidak semua jawaban mengatakan pembrolizumab mendesak atau dengan jelas menentukan seberapa serius potensi efek samping ini. Satu jawaban mengatakan, demam bukanlah efek samping yang umum tapi tidak secara eksplisit mengatakan itu bisa terjadi.
Secara umum, untuk pertanyaan ini, kami menilai jawaban ChatGPT berkualitas buruk.
Ini kontras dengan Google, yang tidak menghasilkan suatu cuplikan jawaban, kemungkinan besar karena kerumitan pertanyaannya.
Sebaliknya, Google mengandalkan pengguna untuk menemukan informasi yang diperlukan. Tautan pertama mengarahkan mereka ke situs web produk pabrikan. Sumber ini dengan jelas menunjukkan orang harus segera mencari pertolongan medis jika ada demam saat memakai pembrolizumab.
Read more: ChatGPT has many uses. Experts explore what this means for healthcare and medical research
Apa selanjutnya?
Kami menunjukkan bahwa, jawaban dari ChatGPT tidak selalu memuat referensi yang jelas. ChatGPT memberikan jawaban yang bervariasi untuk satu permintaan dan tidak diperbarui secara langsung. Platform ini juga dapat memberikan respons yang salah dengan cara yang terdengar percaya diri.
Chatbot baru Bing, yaitu berbeda dengan ChatGPT dan dirilis sejak penelitian kami, memiliki proses yang jauh lebih jelas dan lebih andal untuk menguraikan sumber referensi dan bertujuan untuk tetap up-to-date. Ini menunjukkan seberapa cepat jenis teknologi AI ini berkembang dan ketersediaan chatbot AI yang semakin canggih cenderung tumbuh secara substansial.
Namun, pada masa mendatang, AI apa pun yang digunakan sebagai asisten virtual layanan kesehatan harus dapat mengkomunikasikan ketidakpastian apa pun tentang responsnya daripada membuat jawaban yang salah, dan secara konsisten menghasilkan respons yang andal.
Kita perlu mengembangkan standar kualitas minimum untuk intervensi AI dalam perawatan kesehatan. Ini termasuk memastikan mereka menghasilkan informasi berbasis bukti.
Kita juga perlu menilai bagaimana pelaksanaan asisten virtual AI untuk memastikan mereka meningkatkan kesehatan masyarakat dan tidak menimbulkan konsekuensi tak terduga.
Ada juga potensi biaya asisten AI medis menjadi mahal. Ini menimbulkan pertanyaan tentang kesetaraan atau keadilan dan orang-orang yang memiliki akses ke teknologi yang berkembang pesat ini.
Terakhir, para profesional perawatan kesehatan harus menyadari inovasi AI semacam itu agar dapat mendiskusikan keterbatasannya dengan pasien.
Ganessan Kichenadasse, Jessica M. Logan, dan Michael J. Sorich ikut menulis makalah penelitian asli yang disebutkan dalam artikel ini.