Catatan: Artikel ini merupakan opini pribadi penulis dan tidak mencerminkan pandangan Redaksi CNBCIndonesia.com

Melekatkan kata "ancaman", dalam satu kalimat dengan "ledakan kecerdasan" --pada judul di atas-- bukan soal pilihan sikap utopis vs distopis terhadap artificial intelligence (AI). Pilihan dua kutub biner ini, relevan saat menyikapi makin cepatnya perkembangan AI, yang menurut banyak ahli konsekuensinnya kian sulit diprediksi.

Sedangkan perbincangan menyangkut ledakan kecerdasannya, terinspirasi dari buku James Barrat, 2025. Judulnya, "The Intelligence Explosion: When AI Beats Humans at Everything". Ledakan yang digambarkan bakal meluluhlantakkan eksistensi manusia, berikut peradabannya.

Buku ini diterbitkan belum lama berselang, September 2025. Dan dengan mengutip penguinrandomhouse.com, 2025, penulisnya disebut berprofesi sebagai jurnalis sekaligus pembuat film dokumenter. Banyak karyanya yang tersohor, di antaranya: "Facing Suicide", juga "Our Final Invention: Artificial Intelligence and the End of the Human Era". Atas keotentikan ide maupun ketajaman pembahasannya, Majalah Time menobatkan James Barrat sebagai 1 dari 5 orang pemikir AI yang sangat cerdas.

Sikap distopia Barrat --selain ditampakkan sebagai pilihan judul buku maupun film dokumenternya-- juga diungkapkan sebagai argumen eksplisit, di dalam buku terbarunya. Kurang lebih disebutkannya: "Sifat ganda yang dimiliki AI, berpotensi untuk mengatasi tantangan terbesar umat manusia. Namun pada dirinya, juga terdapat kapasitas untuk menimbulkan kerusakan yang belum pernah terjadi sebelumnya".

Titik pijakan argumentasi Barrat adalah: ledakan kecerdasan memang masih merupakan pencapaian hipotetis. Artinya, kebenarannya masih bersifat sementara. Ini lantaran bukti-buktinya belum hadir utuh. Dan ketika mulai utuh, eksistensi manusia telah tergerus. Bahkan berangsur punah. Hipotesisnya terbukti, namun yang dirasakan penyesalan atas kepunahan eksistensinya.

Dalam keadaan hipotetis itu kecerdasan AI makin sempurna, oleh upayanya sendiri. Ini memungkinkan, sebab ketika AI telah memiliki kecerdasan setara manusia akan mampu memperbaiki dirinya sendiri. Tercapai melalui proses self-improving, dengan kecepatan yang terus bertambah. Rapidly self-improving.

Barrat menyebut: kemampuan rapidlyself-improving diciptakan perusahaan-perusahaan seperti OpenAI, Google, Meta, maupun Microsoft, untuk memfasilitasi machinelearning belajar dari data dan pengalamannya secara mandiri. Juga mampu memodifikasi algoritma maupun strategi internalnya, dengan keterlibatan manusia yang minimal. Ketika seluruhnya itu berkelanjutan, terdapat potensi hadirnya kecerdasan yang melampaui batas-batas pemahaman pengembangnya sendiri.

Dalam konteks pemrograman, self improving sering disebut sebagai proses rekursif. Rekursif dengan mengacu pada merriam-webster.com mengindikasikan: terjadinya proses atau prosedur yang berulang-ulang tanpa batas.

Dalam teknis pemrograman, terjadinya proses rekursif diindikasikan sebagai fungsi untuk memanggil dirinya sendiri untuk menyelesaikan masalah-masalah yang kompleks. Karenanya, saat AI melakukan tindakan rekursif, desainnya akan terus mengalami penyempurnaan lewat program-program yang telah dikembangkan padanya

Akibat pengulangan --yang menghasilkan penyempurnaan lebih lanjut-- hitungan penyempurnaanya berlipatganda secara eksponensial. Penyempurnaan berlipat secara eksponensial ini, tak memustahilkan tercapainya kecerdasan super -artificial super intelligence (ASI). Inilah yang bakal mentransformasi peradaban manusia.

Persoalannya, apakah transformasi yang kemudian didorong oleh kehadiran ASI masih merupakan kehendak sadar dan dapat dikendalikan manusia? Terhadap pertanyaan ini, James Barrat menyebut adanya dua risiko.

Pertama, risiko eksistensial. Risiko ini terjadi, ketika ASI menyingkirkan peran manusia. Melalui penyempurnaan mandirinya yang berlipat-lipat secara eksponensial, kecerdasannnya melampaui kecerdasan manusia. ASI mampu mengambil keputusan strategis tanpa keterlibatan manusia. Juga mampu mengembangkan sistem maupun tujuan yang tidak bisa diprediksi oleh manusia. Pada ujungnya, ASI menolak intervensi atau modifikasi dari pengembangnya.

Seluruh deskripsi di atas disebut sebagai risiko eksistensial, sebab ketika ASI tidak bisa lagi dikendalikan manusia, justru posisinya berbalik mengancam kelangsungan manusia. Bagaimana jika ASI --lewat program yang makin tak dipahami manusia-- berinisiatif memusnahkan penciptanya itu? Ini disebut Barrat melalui beberapa ungkapan: "ASI berpotensi menimbulkan kerusakan yang belum pernah ada sebelumnya dalam sejarah umat manusia". Juga disebutnya sebagai "our final invention".

Ini berarti, ketika ASI tidak dapat lagi dikendalikan, akan menjadi teknologi terakhir ciptaan manusia. Karena sejarah manusia juga berakhir. Dan dalam kesempatan lain, Barrat menyebut: ASI memiliki "unprecedented destructive potential", potensi melakukan kerusakan yang belum pernah terjadi sebelumnya.

Kedua, risiko etis. AI yang tidak memiliki konsep kultural maupun historis tentang etika, tidak dapat diharapkan bertindak etis. Walaupun cerdas, AI tak memiliki pemahaman yang terkonstruksi pada dirinya, maupun momentum refleksi kritis untuk mengevaluasi baik-buruknya produk kecerdasan yang dihasilkan.

Ketika AI diberi tujuan sederhana maksimalkan efisiensi misalnya, AI bisa mengorbankan manusia maupun lingkungan. Ini lantaran, seluruh pertimbangan yang dilakukannya disusun berdasar indikator tercapainya target.

Rekomendasinya tak menyertakan pertimbangan terhadap nasib manusia maupun keseimbangan lingkungan. Dalam tujuan penciptaan di atas, parameter AI tunggal: efisiensi. Dan, efisiensi tanpa menyertakan konsekuensi adalah keputusan tak etis.

Sedangkan risiko lainnya, saat AI menjalankan perintah secara literal. AI tak mempertimbangkan konteks sosial atau budaya, di tempatnya digunakan. AI hanya menjalankan fungsinya berdasar operasi statisitk, yang dapat menyebabkan tujuannya tampak netral, namun dinilai sebagai aktivitas yang merusak. Tidak etis. Utamanya ketika perancangan AI tak mempertimbangkan nilai yang selaras dengan manusia.

Dari keadaan berbagai distopia oleh ledakan kecerdasan di atas, sesegera apa ASI bakal mentransformasi peradaban manusia? Beberapa bulan sebelum buku James Barrat diterbitkan, Sarah Hastings-Woodhouse di bulan Maret 2025, menerbitkan tulisannya, berjudul "Are We Close to An Antelligence Explosion?".

Tulisannya dibuka dengan --"AI semakin mendekati ambang batas kritis. Di luar ambang batas ini, terdapat risiko besar, tetapi melewatinya bukanlah sesuatu yang tak mungkin." Uraian lebih lanjutnya: telah lama para ilmuwan memprediksi AI, yang pada akhirnya sampai pada titik rekursif.

Titik rekursif inilah yang mungkin yang dimaksud oleh Woodhouse, sebagai "mendekati ambang kritis". Sebab ketika titik rekursif itu tercapai -dan AI malih menjadi ASI-- akan dilahirkan sistem-sistem di luar pemahaman manusia.

Periode pertumbuhannya pun sangat pesat. Produk ledakan kecerdasan itu, berupa sistem yang setara dengan kemampuan manusia dalam berbagai bidang. Juga dengan karakteristik berkecerdasan super. Indikasi kecerdasannya, jauh melampaui kemampuan kognitif manusia.

Realitas peralihan pengembangan dari AI ke ASI, juga diakui Sam Altman --CEO OpenAI-- lewat tulisan yang dimuat di blog pribadinya 5 Januari 2025, berjudul, "Reflections". Altman menyebut: perusahaannya telah mengetahui cara membangun AGI dan meyakini di tahun 2025, akan terdapat agen AI pertama yang bergabung dalam dunia kerja.

Keberadaannya, secara signifikan akan mengubah hasil perusahaan. Perusahaan yang dipimpin Altman juga mulai mengalihkan pengembangannya menuju superintelijen. Dan tersirat, pencapaiannya memerlukan waktu beberapa tahun lagi, yang diungkapkannya sebagai:

"Kami cukup yakin dalam beberapa tahun ke depan, semua orang akan melihat apa yang kami lihat." Pencapaian kecerdasan super yang masih membutuhkan waktu beberapa tahun lagi itu, juga dinyatakan peneliti-peneliti yang dikutip Woodhouse.

Namun bagi tokoh sekelas Geoffrey Hinton, yang dikenal sebagai "Godfather of AI" maupun ilmuwan perintis pengembangan machine learning dan neuron network. Juga Yoshua Bengio --ilmuwan komputer Kanada yang berkeahlian semacam Geoffrey Hinton-skeptis jika ASI masih butuh waktu lama untuk tercapai.

Ini mengingat, keuntungan besar yang dapat diraih oleh perusahaan-perusahaan pengembang produk kompetitif itu. Karenanya, terjadi perlombaan untuk menjadi yang pertama. Menurut keduanya, ledakan kecerdasan ASI akan terjadi beberapa tahun mendatang. Setidaknya kurang dari lima tahun.

Apa arti skeptisme para ilmuwan terhadap pengakuan masih lamanya pencapaian ASI ini? Ditegaskan Woodhouse: masa depan peradaban menjadi sangat kabur, setelah AI yang jauh lebih canggih dari manusia berhasil dikembangkan.

AI semacam itu, teknologinya yang tidak dapat dikendalikan. Sehingga jadi pintu masuk, bagi punahnnya eksistensi manusia. Manusia bukan lagi pemilik kecerdasan paling unggul, di alam semesta. Terdapat peluang terjadinya persaingan --bahkan peperangan-- dalam menentukan arah peradaban. Perang Human vs Machine. Dan seperti dalam ilustrasi di film-film fiksi pengetahuan, sangat sulit dimenangkan manusia. Dan kalau pun menang, karena kebetulan.

Karenanya, dari buku James Barrat ini: saat ledakan kecerdasan belum sepenuhnya tercapai, masih ada waktu. Waktu untuk serius memahami konsekuensi ASI. Janji-janji efisiensi, kesempurnaan, kemampuan mencegah kecelakaan memang perlu. Namun jadi tak berguna, ketika manusia punah eksistensinya oleh AI yang kecerdasannya super. Pengawasan dan pengaturan diperlukan, kecuali baru menyesal ketika kepunahan itu tiba.