◆ Highlights

• Cloudflare mengumumkan perubahan default yang akan memblokir perayap AI campuran di halaman berisi iklan mulai 15 September 2026.
• Lebih dari 50% lalu lintas web kini berasal dari bot dan agen otomatis, bukan manusia.
• Dasbor Attribution Business Insights baru memungkinkan penerbit melacak bagaimana AI mengonsumsi konten mereka.
• Pay Per Use menggantikan Pay Per Crawl — penerbit dibayar saat konten benar-benar menciptakan nilai.
• Kemitraan dengan Ceramic.ai, You.com, beehiiv, Condé Nast, dan Patreon membangun fondasi ekonomi agentik.

Cloudflare, perusahaan cloud konektivitas yang tercatat di NYSE dengan kode NET, mengumumkan serangkaian fitur dan kemitraan baru yang bertujuan menata ulang hubungan antara pemilik situs web dan perusahaan artificial intelligence (AI). Pengumuman ini menandai babak baru dalam evolusi internet, di mana lalu lintas yang dihasilkan oleh bot dan agen otomatis kini mendominasi.

"Karena mayoritas lalu lintas di internet kini bukan berasal dari manusia, kita harus melangkah lebih jauh dan bertindak lebih cepat agar ekosistem yang berkelanjutan dapat muncul," ujar Matthew Prince, salah satu pendiri dan CEO Cloudflare.

Realita Baru: Internet Dikuasai Bot

Cloudflare adalah perusahaan yang mengoperasikan salah satu jaringan terbesar di dunia untuk keamanan dan kinerja situs web. Dengan posisi ini, Cloudflare memiliki data unik tentang pola lalu lintas internet global. Dan data tersebut mengungkapkan fakta yang mengejutkan: lebih dari setengah dari semua permintaan web kini ditangani oleh agen otomatis dan bot, bukan manusia.

Pergeseran ini bukan sekadar statistik teknis. Ia mengubah fundamental cara konten ditemukan, dikonsumsi, dan dimonetisasi di internet. AI menjadi antarmuka baru untuk mengakses informasi dan melakukan perdagangan online, menggeser peran mesin pencari tradisional.

Bagi pemilik situs web, situasi ini menciptakan dilema: mereka ingin konten mereka ditemukan di sistem AI, namun bagi bisnis yang bergantung pada iklan atau langganan, sistem AI yang melatih model menggunakan konten mereka tanpa kompensasi menjadi ancaman nyata terhadap model bisnis.

Perubahan Default 15 September 2026

Respons Cloudflare terhadap dilema ini adalah perubahan pengaturan default yang akan diberlakukan pada 15 September 2026. Perubahan ini menargetkan perayap AI campuran — bot yang mencampurkan pencarian, penggunaan agen, dan pelatihan dalam satu akses tanpa memberikan pemilik situs pilihan untuk memisahkannya.

Secara praktis, perubahan ini berarti:

Untuk situs baru dan pelanggan baru: Pencarian AI tetap diizinkan, tetapi pelatihan dan penggunaan agen akan diblokir di halaman yang berisi iklan. Perayap campuran yang tidak memberikan opsi pemisahan akan diblokir sepenuhnya di halaman beriklan.

Untuk pelanggan gratis: Perubahan yang sama akan diterapkan otomatis pada 15 September 2026 bagi pelanggan yang belum mengubah pengaturan mereka.

Fleksibilitas tetap ada: Pengaturan ini bisa diubah kapan saja oleh pelanggan melalui dasbor Cloudflare.

Tenggat waktu ini diberikan untuk memberikan waktu bagi ekosistem untuk berinteraksi dan memberikan umpan balik. Cloudflare menyatakan akan menjalankan pengujian selama dua bulan ke depan untuk menyempurnakan pengaturan dan klasifikasi baru.

Attribution Business Insights: Transparansi bagi Penerbit

Salah satu fitur baru yang paling signifikan adalah dasbor Attribution Business Insights. Dasbor ini dirancang untuk menghilangkan asimetri informasi yang selama ini membuat penerbit kesulitan bernegosiasi dengan perusahaan AI.

Sebelumnya, pemilik konten hanya bisa melihat data teknis tentang bot mana yang mengakses situs mereka. Dengan dasbor baru ini, para pemangku kepentingan bisnis dapat melihat bagaimana bot AI mengonsumsi konten mereka, berapa banyak lalu lintas manusia yang dikirim kembali oleh perusahaan AI tertentu, serta pola akses dari berbagai model AI.

Transparansi ini menjadi kunci dalam era di mana penerbit perlu memahami nilai konten mereka di mata sistem AI, bukan hanya di mata mesin pencari tradisional.

Answer Engine Optimization (AEO): Disiplin Baru

Cloudflare juga memperkenalkan konsep baru yang disebut Answer Engine Optimization (AEO). Jika SEO adalah disiplin untuk mengoptimalkan konten agar ditemukan di mesin pencari, maka AEO adalah disiplin untuk memahami bagaimana konten dikutip dalam jawaban yang dihasilkan AI.

AEO menjawab pertanyaan: seberapa sering konten Anda dikutip dalam jawaban AI? Seberapa menonjol kutipan tersebut? Dan bagaimana performanya di berbagai model AI yang berbeda?

Pergeseran dari SEO ke AEO mencerminkan perubahan fundamental dalam cara informasi ditemukan — dari model "klik tautan" ke model "mendapat jawaban langsung dari AI".

Dari Pay Per Crawl ke Pay Per Use

Satu tahun yang lalu, Cloudflare meluncurkan fitur Pay Per Crawl yang memungkinkan penerbit mengenakan biaya kepada perusahaan AI untuk merayapi konten mereka. Kini, konsep tersebut berkembang menjadi Pay Per Use — di mana penerbit dibayar saat konten mereka benar-benar menciptakan nilai, bukan hanya saat konten tersebut diambil.

Perbedaan mendasarnya: Pay Per Crawl membayar saat konten di-crawl, sedangkan Pay Per Use membayar saat konten menghasilkan jawaban yang berguna bagi pengguna AI. Model ini memastikan kompensasi yang lebih adil karena membayar berdasarkan nilai yang benar-benar dihasilkan.

Cloudflare bermitra dengan Ceramic.ai dan You.com untuk mewujudkan model ini. Ceramic.ai akan membayar penerbit setiap kali konten mereka muncul dalam hasil pencarian AI, sementara You.com memungkinkan agen AI membayar sesuai permintaan untuk konten premium spesifik.

Kemitraan Strategis: Membangun Ekosistem

Pengumuman Cloudflare ini didukung oleh kemitraan dengan beberapa pemain besar di industri konten dan AI:

beehiiv — Platform newsletter yang akan memberikan kontrol penuh kepada kreator independen untuk mengelola visibilitas mereka di mesin pencari generasi berikutnya.

Condé Nast — Penerbit premium yang menyebut Cloudflare sebagai "mitra strategis" dalam memastikan kompensasi atas konten yang menjadi masukan bagi ekosistem AI.

Patreon — Platform yang memungkinkan kreator memblokir perayap pelatihan AI di tingkat jaringan, sambil tetap mengizinkan perayap yang membantu mereka ditemukan.

Kemitraan-kemitraan ini menunjukkan bahwa industri konten mulai bergerak dari posisi defensif (memblokir AI) ke posisi kolaboratif (mendapatkan kompensasi dari AI).

Dampak bagi Penerbit dan Industri Konten Indonesia

Bagi industri konten Indonesia, pengumuman Cloudflare ini memiliki beberapa implikasi penting:

1. Model bisnis konten perlu beradaptasi — Penerbit yang bergantung pada iklan perlu memahami bahwa konten mereka memiliki nilai di mata AI, bukan hanya di mata pembaca manusia. Pemahaman ini membuka peluang monetisasi baru.

2. Transparansi data menjadi kebutuhan — Dasbor Attribution Business Insights memberikan alat yang dibutuhkan penerbit Indonesia untuk bernegosiasi dengan perusahaan AI, baik lokal maupun global.

3. AEO sebagai disiplin baru — Penerbit Indonesia yang sudah menguasai SEO perlu mulai mempelajari AEO agar konten mereka tetap relevan di era AI.

4. Proteksi konten semakin mudah — Dengan perubahan default Cloudflare, penerbit Indonesia yang menggunakan Cloudflare akan mendapatkan proteksi otomatis terhadap perayap AI yang tidak transparan.

5. Peluang kolaborasi dengan AI — Model Pay Per Use membuka peluang bagi penerbit Indonesia untuk mendapatkan kompensasi dari perusahaan AI yang menggunakan konten mereka.

Internet sedang berubah dari dominasi manusia ke dominasi agen. Cloudflare, dengan infrastruktur jaringannya yang masif, berusaha memastikan bahwa perubahan ini terjadi secara adil — dengan transparansi, kontrol, dan kompensasi yang seimbang bagi semua pihak. Pertanyaannya bukan apakah perubahan ini akan terjadi, melainkan seberapa cepat penerbit Indonesia siap untuk menavigasinya.

Sumber: Siaran pers Cloudflare yang diterima pada 9 Juli 2026.