Mengatasi Masalah Cakupan Indeks robots.txt di Search Console

    Akhir-akhir ini Google lagi giat melakukan update secara berkala pada produk-produknya. Bukan hanya tampilan, hal yang berubah pada produknya juga meliputi berbagai aspek, seperti PageSpeed Insights yang update cara kerja.

    Perubahan ini juga berdampak bagi kita pengguna Blogger...

    Salah satu contohnya ialah beberapa minggu belakangan ini sampai sekarang hampir seluruh pengguna Blogger akan mendapatkan Gmail yang berisi masalah cakupan indeks baru, kurang lebih bentuknya seperti ini:

    Gmail Masalah Cakupan Indeks

    Yth. pemilik https://www.kodejarwo.com/,

    Search Console telah mengidentifikasi bahwa situs Anda terpengaruh oleh 1 masalah baru terkait Cakupan indeks. Artinya, Cakupan indeks dapat terkena dampak negatif di hasil Google Penelusuran. Sebaiknya Anda meninjau dan mempertimbangkan untuk memperbaiki masalah ini.

    Masalah baru ditemukan:

    Diindeks, meski diblokir oleh robots.txt

    Mungkin kurang lebih seperti itu bentuknya. Nah kali ini saya ingin membahas seputar masalah cakupan indeks diatas, dari pengertian hingga solusi alias cara mengatasinya. Mari kita bahas dari pengertiannya terlebih dahulu.

    Apa itu Masalah Cakupan Indeks?


    Masalah cakupan indeks merupakan masalah terhadap perayapan robot Google saat merayapi halaman di blog anda. Sebagian besar masalah ini disebabkan oleh file robots.txt di blog anda. Untuk mengecek robots.txt yang ada di blog anda, silakan buka link berikut:

    http://www.nama-domain-anda.com/robots.txt

    Ganti nama-domain-anda dengan url blog anda. Cukup tambahkan /robots.txt di belakangnya saja.

    Masalah ini muncul karena bot Google tidak dapat merayapi blog anda. Dengan kata lain blog anda tetap ter indeks dan masuk di mesin pencarian Google, tetapi ada beberapa elemen di artikel yang tidak ter indeks secara maksimal seperti deskripsi. Tentu hal ini mengganggu SEO.

    Mengatasi Masalah Cakupan Indeks robots.txt di Search Console


    Tidak semua pemilik website mendapatkan Gmail ini. Tetapi bisa saya pastikan 99% pengguna Blogger pasti mendapatkannya. Mengapa demikian?

    Karena secara default Blogger menetapkan untuk memblokir robots.txt untuk masuk ke dalamnya dan merayapi hingga mengindeksnya. Coba lihat salah satu contoh robots.txt berikut ini:

    User-agent: Mediapartners-Google
    Disallow: 
    
    User-agent: *
    Disallow: /search
    Allow: /
    
    Sitemap: https://www.kodejarwo.com/sitemap.xml

    Pada kode yang saya mark kuning, disitu terlihat bahwa halaman yang berawalan search akan mendapatkan disallow. Ini berarti halaman search tidak akan bisa terindeks oleh mesin pencari. Halaman search yang saya maksud antara lain halaman post by label, hasil pencarian, dan navigasi ke post lama/baru.

    Bukan tanpa beralasan, halaman search memang tidak perlu di indeks, karena kurang baik bagi SEO dan iklan. Untuk lebih jelasnya saya sudah pernah membahas pada artikel ini: Bahaya Halaman Search Yang Terindex oleh Mesin Pencari Bagi SEO & Ads.

    Nah inilah yang dimaksud Gmail dari Google Search Console tadi, robot Google tidak dapat merayapi halaman search di blog anda. Hal tersebut tidak apa-apa, tidak berdampak buruk bagi SEO blog anda, justru malah tambah bagus.

    Lalu, apa yang harus saya lakukan?


    Jadi langkah tepat yang dapat anda lakukan ialah membiarkan saja Gmail tersebut, dan jangan gonta-ganti robots.txt. Biarkan saja default, karena itu sudah bagus. Untuk yang ingin membaca thread nya di Google Forum, silakan cek disini.