Ngebangun website dan bikin halamannya nangkring di mesin pencari itu udah jadi makanan sehari-hari saya selama bertahun-tahun. Saya udah terbiasa sama urusan SEO teknikal, arsitektur situs, sampai optimasi konten. Di proyek-proyek sebelumnya, ngebiarin situs baru di-crawling, di-index, lalu muncul di hasil pencarian Google itu biasanya proses yang simpel dan lumayan lancar.
Tapi beda cerita pas saya megang christechno.com.
Selama dua tahun penuh, domain ini kayak terjebak di neraka Google Search Console. Padahal saya udah rajin publish ratusan artikel teknikal yang ditulis rapi, ngejaga kebersihan struktur situs, dan ngejalanin hampir semua kriteria SEO yang ada di buku panduan, tapi Google tetep kekeuh nggak mau nge-index situs ini. Dari 370 lebih halaman yang ada, cuma satu halaman doang yang berhasil masuk index: homepage. Sisanya? Terjebak bertumpuk-tumpuk di status yang paling bikin frustrasi: “Crawled – currently not indexed.”
Ini cerita gimana saya udah nyobain semua trik SEO klasik tapi tetep gagal, kenapa optimasi performa biasa nggak ngefek, dan gimana akhirnya pindah infrastruktur ke Cloudflare berhasil memecahkan keuntuan selama 24 bulan ini.
Udah Sesuai “Buku Panduan”, Tapi Tetep Nggak Ngaruh
Kalau ada website yang kena masalah indexing, saran umum yang sering kamu denger biasanya: bikin konten lebih bagus, cari backlink, atau benerin tag teknikal. Semua itu udah saya sertain dan eksekusi secara disiplin.
1. Rajin Publish & Sindikasi Konten
Saya ngejaga ritme publish yang lumayan ketat, sampai 4 artikel seminggu. Buat ngebangun social proof dan sinyal entitas penulis, saya cross-post konten ke platform luar sambil tetep masang tag rel="canonical" yang mengarah balik ke domain utama:
- Medium & Dev.to: Saya bagikan artikel software engineering dan teknologi di sini dengan canonical URL buat menumpuk link equity.
- Substack: Tempat nyebarin analisis lanjutan dan newsletter buat ngebangun audiens.
- Infrastruktur E-E-A-T: Masang link profil luar di bagian footer seluruh situs biar bot pencari bisa ngevalidasi identitas penulis dan menghubungkannya langsung ke situs saya.
2. Audit Teknikal Sampai ke Akar
Saya sempet ngecek header HTTP pakai perintah curl langsung di terminal dan ngaudit berkas satu per satu:
- Hierarki Sitemap: Benerin protokol yang beda dari HTTP lama ke HTTPS, beresin masalah parent/child sitemapdi Google Search Console, dan ngehapus header
X-Robots-Tag: noindexyang sempet sembunyi dan ngeblokirsitemap.xml. - Internal Link Equity: Nge-scan situs buat nyari halaman yang terisolasi dan berhasil benerin hampir 100 orphaned pages pakai bantuan internal linking automated pass.
- Migrasi Server: Sempet nemuin spike “Failed Request” di data crawl pas masih di hosting lokal. Saya langsung boyongan mindahin semuanya ke SiteGround, yang bikin failed request langsung drop ke angka nol.
Tapi, biarpun semua ini udah diberesin, angka indeks di Search Console tetep aja flat kayak garis lurus.
Masalah Utamanya: TTFB dan Latensi Node Global
Meskipun skor PageSpeed Insights keliatan lumayan bagus pas dites pakai simulasi desktop, ada satu metrik penting di laporan Crawl Stats Google Search Console yang lama banget saya abaikan: Average Response Time (Waktu Respon Rata-rata).
Waktu respon rata-rata server saya selalu ketahan di kisaran 800 ms sampai 1.300 ms. Nah, kuncinya di sini: kalau saya buka websitenya langsung via browser atau nge-run perintah curl di terminal, nilai TTFB (Time to First Byte) kelihatannya aman-aman aja. Akses lokal rasanya kenceng dan responsif. Tapi laporan GSC ngasih fakta yang beda banget. Googlebot itu nyoba nge-crawl situs saya dari data center yang lokasinya di belahan dunia lain, yang bikin ada jeda latensi sangat besar yang nggak keliatan pas dites secara lokal.
Buat pengunjung manusia yang ngakses dari area lokal, jeda 1 detik mungkin nggak begitu berasa. Tapi buat Googlebot—yang harus memproses miliaran halaman tiap hari—server yang butuh waktu lebih dari sembilan ratus milidetik cuma buat ngerespon satu permintaan itu bikin boros crawl budget. Kalau sebuah situs direspon kelamaan dari nodeinternasional, sistem otomatis Google bakal nurunin prioritas rendering dan indexing halaman-halaman dalamnya demi menghemat sumber daya mereka.
Saya ngetes dan ngulik codebase berminggu-minggu buat ngebenerin ini:
- Ganti plugin performa lama pakai LiteSpeed Cache buat nanganin caching di sisi server.
- Nunda eksekusi JavaScript yang nggak penting biar First Contentful Paint (FCP) dan Total Blocking Time (TBT) jadi lebih bersih.
- Kompres aset, nyalain Gzip, dan masang cron job optimasi gambar lokal.
Tapi mau sebanyak apa pun optimasi yang dibikin, latensi tinggi pas diakses dari luar negeri tetep ada gara-gara jarak geografis dan keterbatasan routing server asal.
Titik Balik: Manfaatin Edge Node Cloudflare
Pas sadar kalau lokasi geografis server asal ngebikin batas bawah latensi buat crawler internasional, saya coba belokin rute domain ini lewat jaringan edge global milik Cloudflare.
Daripada maksa Googlebot buat bolak-balik ke satu server asal di tiap permintaan aset, Cloudflare langsung mendistribusikan situs saya ke ratusan edge data center di seluruh dunia. Begitu bot minta data halaman, responnya langsung dikirim dari edge node paling deket dari posisi mereka.
Dampaknya di statistik Crawl Stats Google Search Console bener-bener instan: waktu respon rata-rata langsung anjlok drastis.
Sebelum Cloudflare: Latensi respon 800ms - 1300ms
Setelah Cloudflare: Respon edge di bawah 200ms secara global
Bikin Burnout Dulu, Baru Dapet Kejutan
Bahkan setelah latensinya udah diperbaiki, efeknya nggak langsung keliatan hari itu juga. Karena udah dua tahun nungguin masalah ini selesai, saya ngarepin ada perubahan instan. Saya pantau Search Console tiap hari selama beberapa minggu. Begitu angkanya nggak gerak juga, saya mulai burnout. Saya sempet lepas tangan dan berenti publish artikel baru selama hampir 3 bulan, karena mikir kalau ngebenerin latensi edge pun ternyata nggak ngefek apa-apa.
Sampai akhirnya, pas lagi iseng buka Search Console beberapa bulan kemudian, saya kaget banget ngeliat grafik di laporan indexing.
Google akhirnya selesai nge-evaluasi ulang domain ini. Grafiknya melonjak dari 1 ke belasan, lalu nembus 180+ halaman ter-index cuma dalam hitungan minggu, lengkap sama grafik impression dan traffic organik yang mulai naik.
Grafik Halaman Ter-index
200 | ┌──────
150 | │
100 | │
50 | │
0 └─────────────────────────────────┴──────
(Terjebak 2 Tahun di Angka 1) (Lonjakan Jul/Agustus)
Pelajaran Penting Buat yang Lagi Ngebangun Website
Kalau kamu lagi ngadepin situs yang ketahan di status “Crawled – currently not indexed” padahal konten kamu udah bagus dan tag teknikalnya bersih, coba inget beberapa poin ini:
- Kecepatan Crawl Itu Krusial: Waktu respon server (TTFB) bukan cuma soal kenyamanan pengunjung, tapi juga penentu batas indexing. Kalau server asal kamu ngerespon di atas 500 ms, Googlebot bakal ngurangin kedalaman crawl jauh sebelum mereka sempat menilai sebagus apa konten yang kamu tulis.
- Edge Caching Itu Wajib: Cuma ngandelin plugin cache lokal sering kali nggak cukup kalau target pengunjung atau crawler pencari ngakses situs kamu dari jaringan internasional. Pake jaringan edge biar situs kamu tetep kenceng diakses dari mana aja.
- Google Butuh Waktu Buat Evaluasi Ulang: Algoritma Google nggak bakal memperbarui skor trust situs kamu secara real-time. Setelah masalah infrastruktur diberesin, butuh waktu sekitar 8 sampai 12 minggu sampai sistem re-indexing Google bener-bener memproses ulang seluruh situs kamu.
- Jangan Cuma Ngandelin Satu Mesin Pencari: Selama dua tahun situs saya bermasalah di Google, Bing Webmaster Tools malah udah nge-index hampir seluruh halaman tanpa kendala sama sekali. Tiap mesin pencari punya toleransi infrastruktur yang beda-beda.
Ngebenerin masalah indexing yang udah berakar jarang banget selesai cuma pakai satu tombol aja. Semua itu hasil tumpukan dari arsitektur internal yang bersih, header yang bener, dan yang paling penting: memastikan server kamu bisa nyajiin data ke Googlebot dalam hitungan milidetik, bukan detik.
Panduan & Studi Kasus Terkait
Buat kamu yang mau tahu lebih lanjut soal cara ngebenerin workflow teknis, optimasi aset, atau bikin proyek digital lainnya, kamu bisa mampir ke beberapa tulisan ini:
- Pelajari cara mempercepat alur kerja di laptop kamu lewat panduan shortcut keyboard untuk screenshot di macOS buat dokumen teknis dan laporan bug.
- Cek berbagai strategi praktis buat dapet penghasilan dari proyek digital di panduan cara menghasilkan uang dari internet secara mudah.
- Baca studi kasus nyata yang ngebahas metrik performa algoritma di analisis hasil trading Bitcoin pakai AI.
