Cloudflare Luncurkan Opsi Kelola Lalu Lintas AI untuk Semua Pelanggan

Cloudflare mengumumkan opsi baru untuk mengelola lalu lintas AI berdasarkan tiga kategori: Search, Agent, dan Training. Pelanggan Free tier pun bisa mengatur blokir per kategori. Mulai 15 September 2026, secara default Training dan Agent diblokir di halaman beriklan, sementara Search tetap diizinkan. Multi-purpose crawler seperti Googlebot yang menggabungkan Search dan Training akan diblokir jika pelanggan memblokir Training. Cloudflare juga meluncurkan BotBase untuk visibilitas enterprise.

Penjelasan Mendalam

Cloudflare menggunakan taksonomi baru berdasarkan perilaku bot: Search (mengindeks untuk menjawab pertanyaan), Agent (bertindak real-time atas nama manusia), Training (mengambil konten untuk melatih model). Mereka mendorong operator bot untuk memisahkan crawler sesuai fungsi agar website owner lebih transparan. Default baru diterapkan khusus pada halaman dengan iklan sebagai sinyal monetisasi, karena iklan menandakan bahwa konten ditujukan untuk audiens manusia. BotBase adalah database terverifikasi yang dapat dicari di dashboard Cloudflare untuk mengelola bot, dengan filter dan ID deteksi yang bisa digunakan dalam aturan keamanan. Multi-purpose crawler diperlakukan berdasarkan semua perilaku mereka, sehingga Googlebot yang juga melakukan training akan diblokir jika pengaturan pelanggan memblokir training. Pelanggan dapat memilih opt-out jika tidak ingin perubahan default.

Kenapa Ini Penting

Pemilik website Indonesia dapat melindungi konten orisinal dari pelatihan AI tanpa izin, sambil tetap memungkinkan search engine untuk memberi traffic. Ini relevan karena banyak situs Indonesia bergantung pada Google, namun ingin membatasi akses training AI yang tidak memberikan kompensasi.

Untuk Siapa

Pemilik website atau developer yang mengelola situs dengan konten orisinal dan ingin mengontrol akses AI bot, terutama yang menggunakan Cloudflare sebagai CDN atau keamanan.

Contoh Use Case

• Blog berita melarang training AI namun mengizinkan search engine untuk tetap muncul di hasil pencarian.
• Toko online memblokir agent bots yang melakukan scraping real-time untuk membandingkan harga tanpa izin.
• Situs pendidikan membatasi agent AI agar tidak mengambil materi pembelajaran tanpa atribusi atau kompensasi.
• Portal beriklan memblokir semua bot (kecuali search) di halaman yang menampilkan iklan untuk menjaga monetisasi.
• Perusahaan menggunakan BotBase untuk mengidentifikasi dan memblokir bot mencurigakan yang tidak terdaftar.

Cara Mulai

1. Buka dashboard Cloudflare dan masuk ke menu Security > Bot Management (atau pengaturan keamanan umum).
2. Cari opsi 'AI Traffic Management' atau 'Manage AI Bot Traffic' yang baru muncul.
3. Atur kebijakan untuk masing-masing kategori Search, Agent, dan Training: Allow, Block, atau Managed Challenge sesuai kebutuhan.
4. Jika menggunakan Free tier, pengaturan baru tersedia langsung; pastikan untuk mengecek perubahan default sebelum 15 September 2026.
5. Untuk Enterprise, akses BotBase melalui configuration card Bot Management untuk melihat detail bot dan menyalin ID deteksi ke aturan keamanan.

Peran: Anda adalah konsultan keamanan website yang ahli dalam mengelola bot AI.
Konteks: Cloudflare baru saja meluncurkan opsi pengelolaan lalu lintas AI berdasarkan kategori Search, Agent, dan Training. Saya ingin mengatur agar konten saya tidak digunakan untuk training model AI, tetapi tetap bisa diindeks oleh Google.
Tugas: Berikan rekomendasi pengaturan yang tepat di dashboard Cloudflare, termasuk langkah-langkah untuk mengecek apakah Googlebot akan terblokir karena juga melakukan training.
Format Output: Daftar langkah berurutan dengan penjelasan singkat, maksimal 500 karakter.
Batasan: Gunakan Bahasa Indonesia, hindari jargon teknis berlebihan, jelaskan dengan sederhana.

Insight Bisnis

Anda dapat membuka layanan konsultasi pengaturan bot AI untuk pemilik website Indonesia, terutama menjelang perubahan default September 2026. Banyak situs yang membutuhkan bantuan mengkonfigurasi kebijakan agar tetap ramah search engine namun melindungi konten dari training AI.

FAQ