Robots.txt
Pilih user-agent dan aturannya, tentukan path yang ditolak bila perlu, lalu dapatkan isi robots.txt yang siap disimpan di root situs Anda.
100% Free No Ads Privacy
Pengaturan
Cepat
Diproses langsung di perangkat, tanpa menunggu unggahan ke server.
Browser-based
Tanpa instalasi, langsung terbuka di tab browser Anda.
Simpel
Seret, proses, unduh. Tidak ada langkah yang tidak perlu.
Cara pakai
- Masukkan user-agent dan pilih aturannya.
- Isi path yang ditolak bila memakai aturan kustom.
- Tambahkan URL sitemap lalu salin hasilnya.
Format yang didukung
Output: teks robots.txt siap simpan, bisa diunduh sebagai berkas .txt.
Pertanyaan umum
Di mana file robots.txt ditaruh?
Di root situs, misalnya https://contoh.com/robots.txt.
Apa perbedaan Allow dan Disallow?
Allow membuka akses crawler ke path tersebut, sedangkan Disallow menutupnya.
Apakah baris Host dan Sitemap wajib?
Tidak keduanya opsional, isikan hanya bila Anda membutuhkannya.
Tool terkait
Sering dipakai bersama tool ini.
URL Parser Parse URL menjadi komponen: skema, host, port, path, query params (per param), fragment. Input URL atau query string. Web & SEO UTM Builder Bangun URL dengan parameter UTM (source, medium, campaign, content, term) dari URL dasar. Web & SEO UTM Cleaner Bersihkan URL dari parameter tracking (utm_*, fbclid, gclid, msclcid,yclid, igshid, dll), kembalikan URL bersih + daftar yang dihapus. Web & SEO Query String Builder Bangun query string dari pasangan key=value (satu per baris) + URL dasar opsional, output URL lengkap. Web & SEO