Robots.txt , Ini Pengertian Dan Fungsinya, Ga Penting Tapi Bisa Fatal

Sering denger kata robots.txt dalam dunia SEO tapi ga tahu artinya? Setelah baca artikel ini dijamin akan langsung paham. Sebenarnya apa sih fungsi robots.txt apakah penting?

robots.txt adalah sebuah file yang dihosting bersamaan dengan file web anda, dan lokasinya ada pada folder root atau folder yang sama dengan index.html

Semua web besar dan punya banyak direktori biasanya akan mempunyai robots.txt contohnya facebook.com/robots.txt
lalu apa fungsinya?

Fungsi pokok dari robots.txt adalah untuk mengatur dan mengijinkan bot mana yang boleh mengcrawl website kita, bot apa itu? yang dimaksud disini adalah bot search engine seperti google bot, sebelum diindex oleh google maka googlebot akan melakukan creawling di website kamu sambil mengindex nya.

robots.txt juga memberitahu bot search engine mengenai folder mana yang boleh dicrawl dan tidak boleh dicrawl. Lho bukannya dicrawl malah bagus, kok malah tak boleh dicrawl? eitsss tunggu dulu, tidak semua file/url web itu berisi konten yang cukup atau bermanfaay, contohnya url yang digenerate hasil dari search maka hanya akan menampilkan konten spam yang tak pantas diindex oleh bot mesin pencari, disitulah fungsi robots.txt

Selain itu robots.txt juga memberitahukan dimana letak sitemap dari website kita. Karena dengan menggunakan sitemap maka proses crawling akan lebih cepat. Sebagai contoh kamu mau cari kamar yang ada tv nya tanpa perlu mengecek satu persatu karena sudah punya sitemap atau peta letak lokasinya.

Fungsi lain robots.txt adalah memblokir robot jahat, robot jahat adalah robot yang bertujuan mencuri konten website kita secara otomatis, misalnya grabbing harga, grabbing email dsb.

Kesalahan penulisan robots.txt bisa berakibat fatal, misalnya anda memblokir googlebot maka situs anda tidak nakan dicrawlingb oleh googlebot sehingga tidak terindex secara maksimal di google. Hasilnya pengunjung organik website anda menjadi sedikit.

Sekian.


No comments:

Post a Comment