Robots.txt

Apa sih robots.txt itu ??, apa cuman nama file ekstensi .txt aja ???. Tentu bukan, file ini berisi skrip. File ini merupakan hal yang penting bagi sebuah website . Sebenarnya robots.txt ini merupakan file yang digunakan agar web , blog, atu yang lain, bisa diindex dan dicrawl ama si mesin pencari / search engine dari Google. Jadi setiap alamat address yang bisa diindex dan dicrawl ama si Google pasti ada robots.txt nya . Robots.txt ini berfungsi untuk bagaimana si Google akan meng-index dan meng-crawl. Gimana sih caranya melihata adanya si robots.txt itu ??. Mudah saja tiap url address tambahkan Robots.txt ex: http://masyogatolong.blogspot.com/Robots.txt nanti akan muncul sebuah skrip , itulah yang digunakan google untuk mencari web. skrip itulah yang sangat menentukan diindex atau tidaknya sebuah web. Jadi coba liat di URL anda masing2 mungkin blog atau yang lain.
Wrote by Y