Mengenal Robots.txt Dalam Website

, , Comment closed

Sebuah website disarankan memiliki sebuah robot txt, apalagi jika Anda menggunakan jasa SEO Consultant.  Robot txt adalah file sederhana yang diletakan di server website Anda. File ini diletakan di root folder, contohnya:

www.domainanda.com/robots.txt

Robots.txt memiliki fungsi untuk memberikan intruksi tertentu kepada mesin pencari, contohnya Google. File robots.txt inilah yang pertama akan dibaca oleh robot pencari karena sebelum mereka menjelajahi isi website, mereka membaca terlebih dahulu perintah dari robots.txt ini, misalnya apakah robot pencari boleh menyusuri seluruh isi website? Atau beberapa halaman tidak boleh ditelusuri oleh robot pencari.

Jika Anda ingin semua halaman website terindeks oleh robot pencari, Anda dapat melakuakn 3 hal berikut ini:

  1. Tidak memiliki file robots.txt sama sekali

Jika Anda tidak memiliki file robots.txt, maka mesin pencari akan menjelajahi seluruh isi website Anda

  1. Buat file kosong dan beri nama robots.txt

Hampir sama dengan yang diatas, jika tidak ada perintah apapun dalam file robots.txt, maka robot pencari akan mengindeks seluruh halaman website.

  1. Membuat file robots.txt dan kemudian menulis kode perintah berikut

Anda dapat membuat file robots.txt dan kemudian menuliskan kode berikut ini maka mesin pencari juga akan mengunjungi website anda secara bebas, karena tidak satu kode pun yang memerintahkan untuk tidak mengunjungi bagian tertentu.

Kode tersebut adalah:

User-agent: *

Disallow:

Teks diatas, memiliki arti:

User-agent: merupakan bagian yang digunakan untuk menentukan apa yang dilakukan robot mesin pencari di website anda. Ada 2 cara menggunakan bagian ini

Jika anda ingin menginformasikan semua halaman kepada robot, maka anda bisa menambahkan simbol “*” setelah kata “User-agent”. Lihat kode dibawah ini

User-agent:*

Bagi kode ini mengintruksikan kepada robot mesin pencari untuk menjelajahi seluruh bagian dari website anda. Jika anda ingin lebih spesifik anda bisa menambahkan nama robot dari mesin pencari seperti dibawah ini

User-agent: Googlebot

 

Disallow : digunakan ketika anda ingin menghalangi robot mesin pencari untuk mengcrawler bagian tertentu dari website anda.

Contohnya Anda tidak ingin robot mesin pencari untuk menjelajahi dan mengindeks “contoh gambar” Anda, maka Anda dapat menempatkan contoh-contoh gambar tersebut disalah satu folder dan beri nama “contoh gambar” dan menghalangi mesin pencari untuk menjelajahinya.

Berikut ini adalah tulisan yang bisa anda buat di file robots.txt :

User-agent: *

Disallow: /contohgambar

 

Dengan menggunakan baris kode diatas, anda bisa menghalangi mesin pencari untuk mengunjungi folder anda. “User-agent: *” menginstruksikan bahwa instruksi ini berlaku untuk semua robot.

Petunjuk Khusus untuk Googlebot

Robot yang digunakan untuk menjelajahi dan mengindeks halaman website anda disebut dengan Googlebot.  Ada beberapa instruksi lain terkait dengan robot google ini. Diantaranya adalah:

Allow

Allow berarti memungkinkan mesin pencari untuk menjelajahi dan mengindeks folder atau isi folder yang sebelumnya sudah kita kecualikan untuk tidak di indeks.

Seperti contoh sebelumnya, kita sudah membuat kode yang digunakan supaya mesin pencari tidak mengindeksnya:

User-agent: *

Disallow: /contohGambar

Nah, jika anda ingin mesin pencari bisa mengideks salah satu gambar yang terdapat pada folder Contoh Gambar, anda bisa menggunakan kode berikut ini di file robots.txt berikut ini:

User-agent: *

Disallow: /contohgambar

Allow: /contohgambar/bebek.png

Dengan menggunakan kode diatas, akan memberitahukan kepada mesin pencari untuk mengunjungi “bebek.png”, walaupun sebelumnya folder Gambar sudah dikecualikan untuk tidak di indeks.