Cara mengatasi Url yang dicekal robot.txt

Mungkin ada sebagian bloger yang bingung mengapa postingan mereka tidak terindeks oleh mesin pencari atau seacrh engine, ada berbagai macam penyebab salah satunya yaitu dicekal oleh robot.txt, url artikel milik blog Muezzapers juga terkena cekalan oleh robot.txt, url yang dicekal ini harus segera diperbaiki karena apa? yang pertama adalah trafik blog akan menurun, dan tidak terindex karena diblock.

Mengatasi url yang dicekal oleh robot.txt

Apa itu robot.txt?

Robot.txt adalah file atau artikel yang berada pada dalam situs yang tidak boleh diakses oleh mesin pencari, file atau artikel mengunakan standar pengecualian robot. yang merupakan protokol dengan akses situs berdasarkan bagian dan jenis perayap web tertentu.

Bagaimana cara mengecek url yang diblock robot.txt?

Cara untuk mengetahui Url yang diblock oleh robot.txt adalah masuk kedalam google web master toll, masuk kedalam google index, cek pada index status, pilih advanced maka akan tertampil seperti gambar dibawah ini

Url yang diblock robot.tx

Cara mengatasi url yang dicekal robot.txt

Yang pertama anda masuk kedalam bloger
Lalu masuk pada , setting - search prefrence - custom robot.txt, kemudian pilih edit dan klik yes seperti terlihat digambar berikut:

Cara mengatasi Url yang dicekal oleh robot.txt

Pada kotak diatas silahkan isi dengan scrip berikut, pada tulisan yang berwarna merah silahkan edit dengan blog yang tercekal oleh robot.txt, Nb: hilangkan tanda kutip

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://muezzapers.blogspot.com//feeds/posts/default?orderby=updated