Untuk pemilik situs

PagewiseBot

PagewiseBot mengambil halaman web atas permintaan pelanggan Pagewise, biasanya developer yang AI agent-nya perlu membaca halaman tertentu. PagewiseBot bukan crawler umum: ia hanya membuka URL yang secara eksplisit diminta pelanggan.

Hanya URL yang diminta pelanggan
Dibatasi per domain
Bisa opt-out kapan saja

Cara mengenalinya

Setiap request membawa user agent ini. Kalau halaman butuh JavaScript, halaman bisa dimuat di browser Chromium headless yang mengirim user agent yang sama.

UAHeader User-Agent

PagewiseBot/0.1 (+https://pagewise-drj.pages.dev/bot)

Cara kami membatasi beban

Dibatasi per domain

Request ke satu domain dibatasi untuk gabungan semua pelanggan.

Tanpa aset berat

Gambar, video dan font tidak diunduh saat merender halaman.

Hanya halaman publik

Kami hanya mengambil halaman yang bisa diakses publik. Kami tidak pernah login atau menembus pembatasan akses.

robots.txt

Pelanggan bisa mewajibkan pengecekan robots.txt per request. Untuk memblokir PagewiseBot dalam pengecekan itu, tambahkan ini ke robots.txt Anda:

FILE/robots.txt

User-agent: PagewiseBot
Disallow: /

Opt-out sepenuhnya

Untuk menghentikan semua pengambilan dari domain Anda, kirim email kepada kami dari alamat di domain tersebut, atau sertakan bukti kepemilikan lain. Kami memasukkannya ke daftar blokir, termasuk semua subdomain, biasanya dalam dua hari kerja.

Kirim email