Tutorial Setting Robot.txt Blogger Dengan Cara Aman Dan Mudah

Hallo sahabat setia Blogger Indonesia dimanapun berada.

Pada kesempatan kali ini saya akan membahas bagai mana cara setting robot.txt, apa si robot.txt, untuk apa si fungsi robot.txt dan seberapa pentingnya robot.txt?

Mari kita kupas tuntas pembahasan ini. Jangan lupa di simak yaa.

• Robot.txt

Robot.txt adalah sebuah file yang berisi sekumpulan instruksi untuk menjalankan bot mesin pencari. File robots.txt ditujukan untuk mengelola aktivitas bot seperti crawler web karena bot yang buruk tidak akan mengikuti petunjuk atau perintah yang telah diberikan.

• Fungsi Robot.txt

Robot.txt berfungsi untuk mengontrol halaman-halaman tertentu agar tidak terindeks oleh spider mesin pencari, atau situs jaringan media sosial contoh sperti Facebook, Twitter dan lainnya.

• Seberapa Pentingnya Robot.txt

Dengan mengganti aturan bawaan dasar pengaturan Robot.txt, maka hal ini membuat artikel yang sahabat posting menjadi lebih SEO Friendly. Karena dengan mengganti Robot.txt bawaan blogger, sahabat bisa menentukan mana yang boleh diindeks oleh mesin pencari dan mana yang tidak boleh diindeks oleh mesin pencari.

Dari penjelasan diatas ini sahabat sudah paham yaa ?.

Mari kita lanjutkan ke pembahasan selanjutnya.

• Setting Robot.txt

Langkah-langkah yang pertama adalah :

1. Login ke Blogger sahabat terdahulu

2. Klik Setelan >> Crawler dan pengindeksan >> klik Robot.text kustom >> Edit >> Lalu pastekan Robot.txt >> Klik Simpan.

Contoh seperti pada gambar di bawah ini :

Sahabat bisa pilih salah satu dan copy script Robot.txt di bawah ini :

• Setting Robot.txt Default

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://example.com/sitemap.xml

Script Setting Robot.txt di atas ini yang paling aman dan efektif untuk blog sahabat

• Kustom Robot.txt

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://example.com/sitemap.xml

Script Kustom Robot.txt di atas ini memberikan sebuah perintah kepada mesin pencari untuk tidak merayapi halaman About dan halaman Contact pada halaman statis. Inipun sama efektif, hanya saja bedanya menyembunyikan halaman saja.

Note :

Tulisan yang berwarna merah ganti dengan link blog sahabat.

• Keterangan :

User-agent adalah nama robot mesin pencari (web crawler software).

Disallow adalah direktori atau halaman yang tidak diijinkan dirayapi oleh User-agent.

Allow adalah direktori atau halaman yang diijinkan dirayapi oleh User-agent.

Sitemap adalah peta situs blog sahabat.

• Setting Tag Tajuk Robot Khusus

Untuk mengaktifkan Tag Tajuk Robot Khusus, sahabat bisa langsung kemenu >> Setelan >> Crawler dan pengindeksan >> Tag halaman Beranda, Tag arsip dan halaman penelusuran, Tag postingan dan halaman.

Contoh pada gambar di bawah ini :

• Peringatan :

Berhati-hatilah menggunakan Robot.txt, karena penggunaan yang tidak benar dari fitur ini dapat mengakibatkan blog sahabat akan diabaikan oleh mesin pencari.

Cukup penjelasannya sampai sini karna hanya ini yang saya bisa.

Semoga bisa bermanfaat untuk sahabat setia blogger dimanapun berada.

Jika ada pertanyaan sahabat bisa kirim melalui komentar atau pada halaman contact.

Terimakasih.