Cara Setting Robot.txt di Blogger

Table of Contents

Melakukan pengaturan (setting) robot.txt di blogger dapat meningkatkan nilai SEO pada blog dan website. Jika kita melakukannya dengan benar, karena akan memudahkan robot mesin pencari merayapi isi dalam blog, sehingga setiap artikel kita akan mudah terindex mesin pencari google.

Mengkonfigurasikan setelan robot.txt khusus blogger harus dilakukan dengan benar. Agar mesin pencari dapat mengetahui dan membedakan halaman mana yang boleh dirayapi dan yang tidak boleh dirayapi.

Kesalahan dalam melakukan pengaturan robot.txt di blogger dapat mengakibatkan artikel blog akan diabaikan atau hilang di mesin pencari google. Artikel berikut saya akan menjelaskan bagaimana cara melakukan pengaturan robot.txt di blogger.

Memasang robot.txt di blogger

Pada saat pertama kali kita membuat blog, sebenarnya pengaturan robot.txt sudah di aktifkan secara otomatis di blogger. Berikut cara dan pengaturan robot.txt:

• Masuk dashboard Blogger
• Klik Setelan - Pilih Preferensi penelusuran Robot.txt khusus
• Klik Edit pilih YA
• Salin pengaturan robot.txt dibawah ini:

User-agent:*
Allow:/
Disallow:/search
Sitemap:https://www.domain.anda.com/sitemap.xml

Kemudian ubah yang ditandai dengan alamat url domain Anda, klik simpan perubahan.

Keterangan:

• User-agent: Robot mesin pencari (Googlebot, Bing, Yandex).
• Allow: Halaman yang diizinkan dirayapi oleh robot mesin pencari (Crawl).
• Disallow: Halaman yang tidak diizinkan untuk dirayapi oleh robot mesin pencari (No Index).
• Sitemap: (Peta situs) ganti dengan nama alamat url blog atau website Anda.

Jika sudah, periksa apakah pengaturan robot.txt yang Anda setting sudah benar atau tidak, dengan cara di bawah ini: https://www.domain.anda.com/robot.txt

Selain pengaturan diatas, Anda juga bisa menerapkan pengaturan Disallow agar halaman yang bersifat pribadi tidak dirayapi robot mesin pencari, seperti halaman About atau Contact. Anda bisa menggunakan txt khusus dibawah ini:

User-agent:*
Allow:/
Disallow:/search
Disallow:/p/about.html
Disallow:/p/contact.html
Sitemap:
https://www.urldomainanda.com/sitemap.xml

Pengaturan tag tajuk Robot khusus

Masuk dashboard blogger setelan preferensi penelusuran Robot.txt khusus, klik Edit pilih YA. Lihat pengaturan robot.txt gambar berikut ini:

Demikian cara pengaturan robot.txt yang di blogger. Semoga artikel ini bisa membantu dan bermanfaat bagi Anda.