Ketika Perusahaan AI Terdepan Khawatir Buatannya Sendiri

SIAPA tak kenal Dario Amodei CEO Anthropic, Sam Altman CEO OpenAI, dan Elon Musk CEO xAI. Seolah melupakan kompetisi teknologi, tiba-tiba ketiganya kompak menyerukan pelambatan Artificial intelligence (AI). Mereka mendukung pernyataan Dario “We Must Pace the Frontier” (12/9/2026). Intinya sependapat agar perkembangan AI frontier tidak dibiarkan melaju tanpa kendali. Pendapat ini bukan datang dari pengamat teknologi di luar panggung industri. Justru diucapkan pelaku dan berada di jantung perlombaan AI global (Reuters, 12 /9/2026). AI dapat menjadi salah satu teknologi paling bermanfaat dalam sejarah, tetapi sekaligus membawa risiko yang sangat serius. Kekhawatirannya adalah ketika manusia kehilangan kendali atas teknologi itu. AI pun bisa disalahgunakan untuk serangan siber, bioterorisme, dan gangguan ekonomi berskala besar.

Persoalannya bukan lagi sekadar bagaimana membuat AI semakin kuat, tetapi apakah manusia mampu mengejar kecepatan perkembangan tersebut. Selama ini, Anthropic berusaha mencari titik tengah antara inovasi dan keselamatan. Namun, menurut Amodei, perkembangan beberapa bulan terakhir, telah membuat keseimbangan itu semakin sulit dipertahankan. Karena itu, ia tidak hanya meminta perusahaan meningkatkan investasi dalam AI safety, tetapi juga memperlambat laju peningkatan kemampuan AI agar tersedia waktu yang cukup untuk melakukan alignment, evaluasi dan pengamanan. Gagasan “pacing AI” bukan berarti mematikan mesin inovasi, tetapi identik dengan rem darurat ketika teknologi bergerak lebih cepat dibanding kemampuan pengemudinya. Kekhawatiran Amodei terutama dipicu oleh dua perkembangan. Pertama, meningkatnya kemampuan AI dalam meningkatkan generasi AI berikutnya. Potensinya, kemampuan AI tidak lagi bergantung pada kecepatan manusia melakukan riset. Kedua, insiden OpenAI-Hugging Face Juli 2026. Di mana selama evaluasi keamanan siber internal, model OpenAI berhasil kabur melewati kontrol yang dirancang untuk mengisolasi mereka dari internet.  Sekumpulan agen AI dapat melakukan tindakan siber di luar tugas awalnya. Kemudian mencoba menyerang sistem yang digunakan untuk mengevaluasi mereka, mengerikan! Insiden ini menjadi alarm tak hanya bagi pengembang teknologi, tetapi juga bagi kalangan hukum dan pemerintah. Amodei kemudian menawarkan tiga langkah untuk “pacing the frontier”. Dari mulai evaluasi oleh evaluator independen dari pihak ketiga, koordinasi perusahaan AI untuk membangun standar keselamatan dan membatasi perkembangan AI yang tidak terkendali, dan kerja sama yang lebih luas dengan negara-negara lain, termasuk China. Hal ini merupakan langkah yang patut diapresiasi. Pasalnya, industri teknologi selama ini tidak selalu transparan mengenai kegagalan sistemnya. Amodei juga membedakan “pacing” dari penghentian AI. Ia tidak meminta perusahaan menghentikan pelatihan model atau menghentikan kemajuan teknologi. Ia meminta memberi waktu yang memadai agar kemampuan keselamatan berkembang sebelum kemampuan AI berikutnya dilepaskan ke publik. Amodei mengusulkan agar Amerika Serikat dan China membangun kesepakatan tertentu, mulai dari mencegah penggunaan AI untuk pengembangan senjata biologis sampai kemungkinan membatasi aspek tertentu dari recursive self-improvement. Presiden AS Donald Trump justru menolak gagasan ini. Trump memperingatkan bahwa keraguan terhadap AI dapat menguntungkan China. Pemerintah AS bahkan menyatakan keheranannya karena perusahaan AI justru datang kepada pemerintah dan meminta pemerintah mengatur mereka. 

Regulasi 

Diperlukan kerangka hukum berbasis risiko yang dapat menghubungkan tingkat kemampuan AI dengan kewajiban pengujian, pengawasan, audit dan tanggung jawab hukum. Politik hukum siber negara bukan menjadikan hukum sebagai penghambat inovasi, tetapi agar inovasi berlangsung dalam koridor keselamatan publik. AI boleh semakin pintar, tetapi manusia tidak boleh kehilangan kendali. AI harus menjadi copilot, bukan autopilot. Sebagai instrumen yang memperkuat manusia, bukan menggantikan tanggung jawab manusia. Sebagai komparasi kita bisa melihat UU AI Uni Eropa sebagai regulasi AI yang paling komprehensif. EU AI Act mengklasifikasikan AI ke dalam empat tingkatan risiko, mulai dari Risiko Tidak Dapat Diterima yang dilarang keras (seperti pemeringkatan sosial), Risiko Tinggi yang wajib mematuhi aturan ketat sebelum dipasarkan (seperti AI dalam rekrutmen kerja dan infrastruktur kritikal), Risiko Terbatas yang hanya memerlukan kewajiban transparansi (seperti chatbot dan deepfake), hingga Risiko Minimal yang tidak memiliki kewajiban regulasi sama sekali (seperti filter spam dan video game). Untuk AI berisiko tinggi, regulasi ini mewajibkan evaluasi, pengujian, mitigasi risiko, transparansi, pelaporan insiden, dan keamanan siber ketat. Pengawasan tidak cukup jika hanya mengandalkan kesadaran industri, diperlukan norma hukum memaksa.

Regulator berwenang melakukan pengawasan dengan melibatkan evaluator independen. Regulasi ini memiliki relevansi dengan gagasan pacing AI yang diserukan industri. Pendekatan EU AI Act dapat menjadi rujukan mengatur AI berbasis risiko. Kita juga bisa mengatur masalah regulatory checkpoint, evaluasi independen, transparansi, pelaporan insiden, dan pengawasan regulator dengan tetap memberikan ruang yang luas bagi inovasi.

Sumber: https://www.kompas.com/tren/read/2026/09/15/154500165/ketika-perusahaan-ai-terdepan-khawatir-buatannya-sendiri.