Salah satu cara membuat blog seo friendly adalah dengan setting robots.txt yang terdapat pada setting platfrom blogger. Robots.txt sendiri merupakan pengaturan yang berfungsi untuk memberitahukan pencarian (search engine) seperti google untuk merayapi (crawling) semua halaman yang telah diatur robots.txt blog.
Mengatur robots.txt juga mempengaruhi cepat tidaknya artikel terindex search engine, sebaliknya jika salah mengatur rbots.txt maka blog akan diabaikan oleh mesin pencari yang mengakibatkan blog tidak akan muncul di mesin pencarian. Apalagi sekarang google webmaster memiliki tampilan baru yang mana cara index artikel ke webmaster google pun pasti lebih sulit lagi jika konten artikel tidak menarik dan unik.
Baca juga : Cara daftar 50 lebih search engine sekali klik untuk blog
Fungsi robots.txt sendiri sangat penting untuk mengatur halaman, artikel atau blog apa saja yang bisa tampil di mesin pencarian (diindex). Jika diatur dengan benar maka blog akan tampil di halaman pencarian (diindex).
Lebih jauh lagi jika pengaturan robots.txt dilakukan dengan benar makan rank dan seo blog akan lebih baik dimata mesin pencarian.
Karena itu setting robots.txt dibutuhkan ketelitian dan riset yang baik agar blog tetap sehat dan seo friendly.
Baca :
Cara menulis artikel seo friendly blog
Alat yang digunakan untuk menulis artikel seo
Perlu kalian tahu, sebenarnya robots.txt khusus untuk blogger telah aktif dengan sendirinya sejak pertama kali blog dibuat dan tidak perlu disetting sedemikian rupa. Dan Faktanya konfigurasi default robots.txt blogger adalah yang paling aman untuk blogger.
1. Apa itu robots.txt pada blogger?
Robots.txt adalah sebuah file pengaturan sebuah website yang memiliki fungsi untuk mengatur perayapan (crawl) oleh mesin pencarian atau search engine.
Robots.txt juga dikenal sebagai web spiders, robot crawlers, robot protocol pengecualian, atau web wanderes.
Letak robots.txt ini biasanya secara default berada di header.
2. Halaman/Link yang dikecualikan untuk tampil search engine
Beberapa link pada blog tidak mempunyai "kekuatan" seo friendy. Maksudnya ada beberapa link yang memang tidak berkualitas dan lebih baik tidak ditampilkan atau diindex oleh search engine.
Alasannya karena link tersebut tidak memenuhi syarat sebagai link atau halaman yang seo friendly untuk blogmu. Namun bukan berarti semuanya buruk, masih ada beberapa blogger yang tetap memunculkan link tersebut dan diindex search engine.
Berikut ini beberapa link yang dikecualikkan oleh mesin pencarian :
1. Link Arsip
Link arsip biasanya digunakan oleh platfrom blogger. Link arsip memiliki ciri tahun dan bulan postingan. Lebih jelasnya lihat contoh link arsip dibawah.
https://alamablogmu.blogspot.com/2020/01 --
Selain itu halaman arsip juga merupakan halaman yang tidak seo friendly, jadi lebih baik kita cekal link arsip dengan pengaturan robots.txt.
2. Link Search Label
Link label atau search label juga salah satu link yang tidak seo friendly untuk ditampilkan di search engine, karena itu halaman ini lebih baik di tangguhkan agar tidak diindex. Meskipun banyak yang menggunakan link label sebagai menu navigasi blog. Contoh link label
https://alamatblogmu.blogspot.com/search/label/ ---
Selain dengan robots.txt kalian juga bisa memberitahukan search engine agar link label tidak diindex dengan tag nofollow.
3. Halaman pencarian
Halaman pencarian blog ini juga slaah satu yang kurang bagus untuk diindex search engine. Contoh link pencarian
https://alamatblogmu.blogspot.com/search?cof=---
Itulah 3 link atau halaman yang perlu kalian perhatikan agar search engine tidak mengindex halaman-halaman tersebut.
Ada juga link mati atau halaman mati yang tidak kamu ketahui keberadaanya bisa membuat blogmu terkesan tidak terurus, cobalah periksa artikel atau halaman mati, error di blogmu agar tetap dipandang blog yang baik.
Nah, karena itu mari lakukan langkah pencegahan agar search engine tidak mengindex halaman tersebut. Salah satu langkahnya menggunakan file robots.txt untuk mencegah halaman tertentu diindex google.
3. Cara setting robots.txt blogger
Seperti yang kenny jelaskan diatas "tidak apa-apa jika tidak melakukan konfigurasi tambahan robots.txt karena robots.txt default blogger meruapakn yang terbaik juga". Namun jika kalian inig melakukan setting tambahan atau custom setting robots.txt khusus blogger agar seo friendly, maka ikuti tutorial dibawah.
- Log-in akun blogger.
- Klik menu Setting.
- Scroll kebawah dan temukan Crawler dan pengindeksan atau Crawlers and indexing.
- Klik tombol Aktifkan robots.txt kustom.
- Lalu klik robots.txt kustom.
- Pilihlah salah satu setting robots.txt dibawah.
- User-agent :
- Disallow :
- Allow :
- Sitemap :
- User-agent: *
Allow: /
Disallow: /search - User-agent: Mediapartners-Google
- User-agent: Mediapartners-Google
Disallow: /search
Allow: / - Jika telah memilih robots.txt mana yang ingin digunakan, Klik save untuk menyinpannya.
Robots.txt 1
User-agent: *
Allow: /
Disallow: /search
Sitemap: https://alamatblogmu/sitemap.xml
Penjelasan.
Nama robot mesin pencari (web crawler software)
Halaman, link, atau direktori yang tidak boleh dirayapi (crawl) oleh googebot.
Halaman, link atau direktori yang boleh dirayapi oleh googlebot untuk diindex.
Lokasi sitemap blogmu.
Artinya mengizinkan semua jenis user-agent untuk melakukan perayapan, kecuali halaman search.
Contohnya
https://alamatblogmu.blogspot.com/search
https://alamatblogmu.blogspot.com/search/label/Js
https://alamatblogmu.blogspot.com/search?updated-max=2018-01--
https://alamatblogmu.blogspot.com/search?updated-max=2018-01--
Robots.txt 2
User-agent: Mediapartners-Google
Disallow: /search
Allow: /
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://alamatblogmu/sitemap.xml
Penjelasan.
Nama partner robot crawl. Biasanya setting ini untuk google adsense, di halaman apa saja yang dapat dan tidak dapat ditayangkan iklan.
Artinya adsense boleh menayangkan iklan di seluruh halaman blog kecuali halaman /search. Perhatikan Disallow akan membuat iklan tidak tayang di blog halaman search, sedangkan Allow membuat iklan tayang di semua halaman blog.
Baca Syarat daftar adsense agar blog cepat diterima untuk kalian yang kesulitan mendaftar adsense.
Itulah cara setting custom robots.txt di blogger. Cara diataslah yang kenny gunakan untuk blog ini. Kalian bisa cek robots.txt apakah sudah berubah atau belum dengan mengunjungi file robots.txt blogmu.
https://alamatblogmu.blogspot.com/robots.txt
Selanjutnya kenny akan beritahukan cara mencegah sagar google tidak merayapi halaman tertentu.
4. Cara mencegah halaman tertentu agar tidak dirayapi google
Anda ingin beberapa halaman tidak di crawl karena alasan khusus. Cara berikut ini bisa kalian terapkan.
Cara mencegah agar google tidak merayap halaman tertentu di blog dengan robots.txt ini sangat mudah, kalian hanya harus menambahkan beberapa setting Disallow. Contohnya.
User-agent: *
Allow: /
Disallow: /search
Disallow: /p/admin.html
Disallow: /2020/01/Artikel-terlarang.html
Sitemap : https://alamatblogmu.blogspot.com/sitemap.xml
Penjelasan :
- Disallow: /p/admin.html
Disallow: /2020/01/Artikel-terlarang.html
Artinya halaman admin.html dan artikel-terlarang tidak akan di rayapi.
Untuk menambahkan halaman lainnya cukup membuat setting baru dengan Disallow sebagai pengaturanya.
Akhirnya di penghujung artikel ini kenny harap kamu mengerti pentingnya robots.txt untuk blog. Samapai sini kenny harap artikel Pengertian dan cara pasang robots.txt ini bisa membantu anda.
Terimas kasih.