Mengatasi Masalah Cakupan Indeks robots.txt di Search Console
Mengatasi Masalah Cakupan Indeks robots.txt di Search Console

Akhir-akhir ini Google lagi giat melakukan update secara berkala pada produk-produknya. Bukan hanya tampilan, hal yang berubah pada produknya juga meliputi berbagai aspek, seperti PageSpeed Insights yang update cara kerja.

Perubahan ini juga berdampak bagi kita pengguna Blogger...

Salah satu contohnya ialah beberapa minggu belakangan ini sampai sekarang hampir seluruh pengguna Blogger akan mendapatkan Gmail yang berisi masalah cakupan indeks baru, kurang lebih bentuknya seperti ini:

Gmail Masalah Cakupan Indeks

Yth. pemilik https://www.kodejarwo.com/,

Search Console telah mengidentifikasi bahwa situs Anda terpengaruh oleh 1 masalah baru terkait Cakupan indeks. Artinya, Cakupan indeks dapat terkena dampak negatif di hasil Google Penelusuran. Sebaiknya Anda meninjau dan mempertimbangkan untuk memperbaiki masalah ini.

Masalah baru ditemukan:

Diindeks, meski diblokir oleh robots.txt

Mungkin kurang lebih seperti itu bentuknya. Nah kali ini saya ingin membahas seputar masalah cakupan indeks diatas, dari pengertian hingga solusi alias cara mengatasinya. Mari kita bahas dari pengertiannya terlebih dahulu.

Apa itu Masalah Cakupan Indeks?


Masalah cakupan indeks merupakan masalah terhadap perayapan robot Google saat merayapi halaman di blog anda. Sebagian besar masalah ini disebabkan oleh file robots.txt di blog anda. Untuk mengecek robots.txt yang ada di blog anda, silakan buka link berikut:

http://www.nama-domain-anda.com/robots.txt

Ganti nama-domain-anda dengan url blog anda. Cukup tambahkan /robots.txt di belakangnya saja.

Masalah ini muncul karena bot Google tidak dapat merayapi blog anda. Dengan kata lain blog anda tetap ter indeks dan masuk di mesin pencarian Google, tetapi ada beberapa elemen di artikel yang tidak ter indeks secara maksimal seperti deskripsi. Tentu hal ini mengganggu SEO.

Mengatasi Masalah Cakupan Indeks robots.txt di Search Console


Tidak semua pemilik website mendapatkan Gmail ini. Tetapi bisa saya pastikan 99% pengguna Blogger pasti mendapatkannya. Mengapa demikian?

Karena secara default Blogger menetapkan untuk memblokir robots.txt untuk masuk ke dalamnya dan merayapi hingga mengindeksnya. Coba lihat salah satu contoh robots.txt berikut ini:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.kodejarwo.com/sitemap.xml

Pada kode yang saya mark kuning, disitu terlihat bahwa halaman yang berawalan search akan mendapatkan disallow. Ini berarti halaman search tidak akan bisa terindeks oleh mesin pencari. Halaman search yang saya maksud antara lain halaman post by label, hasil pencarian, dan navigasi ke post lama/baru.

Bukan tanpa beralasan, halaman search memang tidak perlu di indeks, karena kurang baik bagi SEO dan iklan. Untuk lebih jelasnya saya sudah pernah membahas pada artikel ini: Bahaya Halaman Search Yang Terindex oleh Mesin Pencari Bagi SEO & Ads.

Nah inilah yang dimaksud Gmail dari Google Search Console tadi, robot Google tidak dapat merayapi halaman search di blog anda. Hal tersebut tidak apa-apa, tidak berdampak buruk bagi SEO blog anda, justru malah tambah bagus.

Lalu, apa yang harus saya lakukan?


Jadi langkah tepat yang dapat anda lakukan ialah membiarkan saja Gmail tersebut, dan jangan gonta-ganti robots.txt. Biarkan saja default, karena itu sudah bagus. Untuk yang ingin membaca thread nya di Google Forum, silakan cek disini.
Silakan pilih sistem komentar anda ⇛   

Silakan berkomentar dengan sopan. Jangan buang-buang waktu anda hanya untuk melakukan SPAM, Fake Account, dan Flamming disini.

Admin Kode Jarwo
Admin
# 10 September 2018 03.11

walah, terima kasih mbah, iya juga, baru kepikiran kalo semisal ganti robots.txt jadi allow:/search nantinya bakal berdampak buruk.
saya mengkutip kalimat mbah yang : Misal ada seseorang yang jahil sama agan, dia mencari di searchbox blog agan dengan kata-kata yang berbau p*rn0, obat, dsb yang ilegal. Nah kalau direktori /search terindeks, hasil pencarian orang tadi bisa saja terindeks di Google, maka blog agan bisa bahaya terutama pada AdSense yang bisa aja tiba-tiba terkena disabled karena blog mengandung konten illegal / p*rn0... terima kasih mbah

Balas
Cooling Fresh Technical II Kode Jarwo
Cooling Fresh Technical II
# 2 September 2018 21.26

MANTAB MBAH

Balas
Ozik Jarwo Kode Jarwo
Ozik Jarwo author
# 15 Agustus 2018 09.45

Sama sama

Balas
Yonyon rezpector Kode Jarwo
Yonyon rezpector
# 15 Agustus 2018 02.08

yang saya cari dari permasalahan ini sebagian besar bilang abaikan saja , jadi saya sudah merasa lega kalau ternyata peringatan ini tidak bahaya :) terimakasih admin

Balas
Ozik Jarwo Kode Jarwo
Ozik Jarwo author
# 8 Agustus 2018 18.32

Iyap, soalnya memang kalau direktori nda terindeks itu berbahaya, semua post & halaman yang ada di dalam direktori tersebut nda bakalan terindeks, selamanya.

Tapi pada kasus ini direktori yang terblokir indeksnya adalah direktori /search, dimana direktori tersebut memang sangat nda SEO & tidak bagus kalau sampai terindeks si mbah...

Saya kasih gambaran. Misal ada seseorang yang jahil sama agan, dia mencari di searchbox blog agan dengan kata-kata yang berbau p*rn0, obat, dsb yang ilegal. Nah kalau direktori /search terindeks, hasil pencarian orang tadi bisa saja terindeks di Google, maka blog agan bisa bahaya terutama pada AdSense yang bisa aja tiba-tiba terkena disabled karena blog mengandung konten illegal / p*rn0...

Balas
I'm EDNISKANDAR Kode Jarwo
I'm EDNISKANDAR
# 7 Agustus 2018 23.32

Tapi yang jadi menjadi pertanyaan mas , pada isi email tersebut "Sebaiknya Anda meninjau dan mempertimbangkan untuk memperbaiki masalah ini." . Jadi masih bingung harus lakukan perbaikan atau dibiarkan saja. Karena hal ini berpengaruh terhadap hasil pencarian .

Balas
Ozik Jarwo Kode Jarwo
Ozik Jarwo author
# 13 Mei 2018 16.54

Biarkan aja, malah setiap blog yang pakai hosting dari Blogger harus dapat masalah ini. Kalau nda dapat, berarti blognya kurang SEO karena direktori /search nya terindeks Google.

Balas
Ari Nurhansyah Kode Jarwo
Ari Nurhansyah
# 13 Mei 2018 16.46

jadi di biarkan saja mas ? ndak apa apa yah memangnya?

Balas