Google İndeksleme (Dizine Ekleme) Nedir?

Google indeksleme, arama motorunun sitenizin sayfalarını crawler ile taradıktan sonra devasa veri tabanına kaydetmesi ve arama sonuçlarında gösterilmeye hazır hale getirmesi işlemidir. Bu olay SEO dünyasında dizine eklenme olarak da bilinir.

Basitçe ifade etmek gerekirse, bir sayfa indekslenmeden Google arama sonuçlarında çıkması mümkün değildir. Süreç kısaca şu şekilde gerçekleşir, öncelikle Googlebot sayfanızı ziyaret eder, sayfanızı içerik kalitesi, arama niyetine uygun olma gibi bir dizi temel kritere göre değerlendirir eğer uygun bulursa dizine ekler yani sayfanız indekslenmiş olur.

Google dizinini devasa bir kütüphaneye benzetebiliriz. Yeni bir kitap geldiğinde kütüphaneci önce kitabı inceler, kategorisini belirler, içindekiler listesini çıkarır ve katalog sistemine kaydeder. Ancak bu işlemden sonra o kitap raftaki yerini alır ve okuyucular tarafından kütüphane içerisinde bulunabilir hale gelir. Google indeksleme (dizine ekleme) de tam olarak bu mantıkla çalışan bir sistem olarak düşünülebilir.

Bir sayfanızın indekslenmesi, Google’ın o sayfayı tanıdığı, ne hakkında olduğunu anladığı ve ilgili aramalarda göstermeye hazır olduğu anlamına gelir. Fakat sayfanın Google dizinine eklenmiş olması sıralanacağı (yani ilk 100 sonuç içinde yer alma) anlamına gelmez. Bu önemli ayrıntıya dikkat edin.

İndeksleme (Dizine Eklenme) Süreci Nasıl İşler?

Googlebot (crawler) sayfanızı ziyaret eder ve HTML kodunu indirir. (Google örümceklerinin web sayfalarını HTML kodu şeklinde gördüğünü biliyor muydunuz?) Sayfanızın ne ile alakalı olduğunu anlamak üzere özellikle şu kısımları inceler.

Title (Başlık etiketi)
Sayfa URL adresi
H1,H2,H3.. başlık yapısı
Paragraf ve diğer metin öğeleri
Listeler (sırasız veya sıralı)
Görsel, video gibi medya öğeleri
Sayfa içindeki bağlamsal linkler

Kullanıcının yapacağı arama sorgusu (anahtar kelime) ile sayfanızın alaka düzeyi değerlendirilir. Tabi bunu yapan çok sayıda farklı algoritma var. Googlebot ilk etapta tüm bu karmaşık değerlendirmeleri yapmadan hızlı bir şekilde sayfanın dizine eklenip eklenmeyeceğine bakıyor diyebiliriz.

Sayfanın dizine eklenmesi yine içeriğin çok kaliteli olduğu anlamına gelmiyor. Kendiniz de internette gezindiğinizde binlerce çöp içeriğin ve uydurulmuş bilginin dolaşımda olduğunu görebilirsiniz. Bu konuda nihai karar verici aslında kullanıcılardır diyebilirim. Google büyük oranda kullanıcının sayfa deneyimini baz alarak sayfa içeriği hakkında zamana yayılan bir değerlendirme yapıyor.

Bu değerlendirmenin bir parçası olarak sadece şunu söyleyebilirim, sayfanız arama sonuçlarında zaman zaman ilk sayfaya çıkarılarak tıklama oranları test ediliyor olabilir. Google böylece sitenizin ve sayfanızın ne kadar güvenilir olduğunu, ayrıca sorgu ile alaka düzeyini kontrol ediyor diyebilirim.

***

İndexleme anında olmaz tabii. Googlebot sayfayı taradıktan sonra bu veriler işlenir, kategorize edilir ve dev veri tabanına kaydedilir. Bu süreç birkaç saatten birkaç güne kadar değişebilir. Yeni siteler için daha uzun sürerken, otoriteli sitelerde çok daha hızlı gerçekleşir.

Tarama ve İndeksleme Arasındaki Fark

Bu ikisi genelde karıştırılan aşamalardır.

Tarama (crawling), Googlebot’un sayfanıza gelmesi ve içeriği okumasıdır.

İndeksleme ise o okunan içeriğin Google’ın veri tabanına kaydedilmesidir. Bir sayfa taranmış ama indekslenmemiş olabilir ki bu son Google güncellemelerinden sonra oldukça yaygın karşılaştığımız bir durum esasen.

Diyelim ki sitenizde 1000 sayfa yayınlanmış olsun. Googlebot bunların hepsini tamamen tarasa da sadece 750 tanesini dizine eklenmeye değer görmüş olabilir.

Geri kalan 250 sayfanın indekslenmemesinin temel nedeni şunlar olabilir,

Düşük kaliteli içerikler (zayıf içerik, toplu içerik üretme vb)
İçerik yinelemesi (duplicate content)
Hatalı olarak noindex meta etiketi kullanımı (sayfayı dizine eklemeye engel olan robot meta direktifi)
robots.txt üzerinde dizine eklemeye engel direktiflerin hatalı olarak eklenmesi veya unutulması vb.

Hangi durumun dizine eklenmeye engel olduğunu görmek için Search Console’da “Coverage” raporunu incelemenizi öneririm.

Tarama olmadan indexleme olmaz elbette. Ama tarama indexlemeyi garanti etmez. Google her taradığı sayfayı körü körüne indexine eklemez, bir kalite kontrolü vardır. Bu yüzden sadece “Googlebot geldi” demek yeterli değil, “geldi ve indexledi” olması gerekiyor.

Hangi Sayfalar İndexlenir, Hangisi İndexlenmez?

Google’ın indexleme kararını etkileyen birçok faktör var. İlk olarak, içerik kalitesi en önemli kriterdir. Orijinal, detaylı, kullanıcılara değer katan içerikler önceliklidir. 200 kelimelik zayıf bir sayfa ile 2000 kelimelik kapsamlı bir rehber arasında fark vardır tabii.

Duplicate content ciddi bir engeldir. Aynı içeriği birden fazla URL’de yayınlarsanız Google hangisini indexleyeceğine karar veremez. Ya birini seçer diğerlerini görmezden gelir, ya da hiçbirini indexlemez. Canonical tag kullanarak hangisinin orijinal olduğunu belirtmelisiniz.

Teknik engeller de indexlemeyi önleyebilir. Robots.txt dosyasında “Disallow” komutuyla Googlebot’u engellemişseniz o sayfa hiç taranmaz, dolayısıyla indexlenemez. Meta robots tag’inde “noindex” varsa Googlebot sayfayı tarar ama indexlemez, bu ayrı bir durum. Bazı siteler yanlışlıkla tüm sitelerini noindex yapıyor, sonra “neden çıkmıyoruz” diye soruyorlar.

Sayfa hızı ve kullanıcı deneyimi de etkilidir artık. Çok yavaş yüklenen, mobile uyumsuz, pop-up’larla dolu sayfalar Google tarafından pek sevilmez. İndexlenir ama düşük öncelikle işlenir, sıralamada da zorlanır.

Sitenizin otoritesi de rol oynar. Yeni bir site kurduysanız ilk başta indexleme yavaş olabilir. Google size güvenmek için zaman ister. Ama backlink kazandıkça, düzenli içerik ürettikçe ve trafik aldıkça indexleme hızlanır. Otoriteli siteler neredeyse anında indexlenir.

Noindex Etiketi Ne Zaman Kullanılır?

Bazı sayfaları kasıtlı olarak indexlemek istemeyebilirsiniz. Örneğin teşekkür sayfaları, admin panelleri, üye profil sayfaları, sepet sayfaları gibi alanların arama sonuçlarında çıkmasını istemezsiniz. İşte bu durumda noindex etiketi kullanırsınız.

HTML head bölümüne şu kodu eklersiniz:

<meta name="robots" content="noindex, follow">

“noindex” bu sayfayı indexleme demektir. “follow” ise bu sayfadaki linkleri takip et demektir. Yani Googlebot linklere tıklayıp diğer sayfalara gidebilir ama bu sayfanın kendisini indexlemez. Bazen “noindex, nofollow” de kullanılır, bu durumda linkler de takip edilmez.

E-ticaret sitelerinde filtre sayfaları büyük problem yaratır. Binlerce filtre kombinasyonu oluşur ve Google bunları ayrı sayfalar olarak görür. Hepsini indexlemeye kalkarsa crawl budget boşa harcanır. Bu yüzden filtre sayfalarına noindex uygulanır veya robots.txt ile engellenirler.

Pagination sayfaları da tartışmalı bir konudur. “Sayfa 2”, “Sayfa 3″ gibi sayfaları indexlemeli miyiz? Bence evet, çünkü bu sayfalarda da içerik var. Ama duplicate content olmaması için dikkatli olmalısınız. Rel=”next” ve rel=”prev” etiketleri kullanarak Google’a pagination yapısını açıklayabilirsiniz.

İndeksleme Durumunu Nasıl Kontrol Edersiniz?

En basit yöntem “site:” operatörüdür. Google’da “site:alidagdelen.com” yazarsanız o domainden indexlenmiş tüm sayfaları görürsünüz. Belirli bir sayfa için “site:alidagdelen.com/google-indeksleme-nedir” şeklinde arama yapabilirsiniz. Çıkıyorsa indexlenmiş, çıkmıyorsa indexlenmemiş demektir.

Google Search Console çok daha detaylı bilgi verir. “URL Inspection” aracına sayfanızın adresini yazarsanız, o sayfa hakkında tüm bilgileri görürsünüz. İndexlenmiş mi, ne zaman taranmış, hangi canonical URL kullanılmış, mobile uyumlu mu, yapılandırılmış veri var mı gibi onlarca veriyi buradan kontrol edebilirsiniz.

“Coverage” raporu tüm site genelinde durum gösterir. Kaç sayfa indexlenmiş, kaç tanesi hata veriyor, kaç tanesi uyarı durumunda, kaç tanesi manuel olarak hariç tutulmuş gibi istatistikleri burada bulursunuz. Buradaki hataları düzenli takip edip çözmelisiniz.

İndexlenme sayısında ani düşüşler alarm verici olabilir. Örneğin normalde 500 sayfa indexliyken birden 200’e düştü. Bu bir sorun işaretidir. Belki yanlışlıkla noindex eklemişsinizdir, belki algoritma güncellemesi sizi vurmuştur, belki teknik bir hata oluşmuştur. Hemen araştırıp nedeni bulmalısınız.

Yeni Sayfaları Nasıl Hızlı İndeksletirsiniz?

Yeni bir içerik yayınladınız ve Google’ın hemen bulmasını istiyorsunuz. Normal şartlarda Googlebot’un gelmesi ve indexlemesi günler alabilir. Ama bazı yöntemlerle bu süreci hızlandırmak mümkün diyebilirim.

Search Console’daki “URL Inspection” aracını kullanın. Sayfanın URL’sini girin, “Request Indexing” butonuna tıklayın. Google o URL’yi kuyruğa alır ve genelde birkaç saat içinde indexler. Ama bunu her sayfa için spam yapmayın, günlük kota var.

XML sitemap’inizi güncelleyin. Yeni sayfayı sitemap’e ekleyin ve Search Console’dan “Fetch as Google” yapın. Sitemap güncellemesi Googlebot’a “burada yeni içerik var, gel bak” sinyali verir. Otomatik sitemap güncelleyen eklentiler kullanırsanız bu işlem kendiliğinden olur.

Ana sayfadan veya popüler içeriklerden yeni sayfaya link verin. Googlebot sık ziyaret ettiği sayfalardaki linkleri takip eder. Yeni içeriğiniz ana sayfada featured olarak görünüyorsa çok daha hızlı bulunur ve indexlenir.

Sosyal medyada paylaşım yapmak da etkili olabilir. Twitter’da, LinkedIn’de paylaştığınız linkler Google tarafından görülür. Özellikle viral giderse Googlebot’un dikkatini çeker. Ama bu garanti bir yöntem değil, sadece yardımcı bir faktör.

İndeksleme Sorunları ve Çözümleri

En yaygın sorunlardan biri “Crawled – currently not indexed” durumudur. Bu, Googlebot sayfayı taramış ama henüz indexlememesi anlamına gelir. Genelde içerik kalitesi veya site otoritesi sorunudur. Sayfayı iyileştirin, daha fazla internal link verin, içeriği genişletin.

“Discovered – currently not indexed” ise daha farklıdır. Google sayfanın varlığını biliyor ama henüz taramaya bile geçmemiş. Muhtemelen crawl budget yetmemiş veya sayfa düşük öncelikte. Sitenizin genel otoritesini artırmanız, daha fazla backlink almanız gerekebilir.

“Excluded by ‘noindex’ tag” hatası genelde yanlışlık sonucu oluşur. Siz sayfanın indexlenmesini istiyorsunuz ama bir yerlerde noindex etiketi var. Sayfa kodunu kontrol edin, WordPress kullanıyorsanız SEO eklentinizin ayarlarına bakın. Tema veya eklenti noindex ekliyor olabilir.

“Soft 404” sorunu da ilginçtir. Sayfa “404 Not Found” vermesi gerekirken normal içerik gösterip 200 OK kodu dönüyor. Google bunu sorun olarak görür çünkü doğru HTTP status kodu dönmüyor. Gerçekten 404 olacaksa 404 kodu, içerik varsa 200 kodu dönmelidir.

Duplicate content sorununda Google birini seçer diğerlerini görmezden gelir. Canonical tag kullanarak hangisinin orijinal olduğunu belirtmelisiniz. Parametreli URL’ler, printer versiyonlar, AMP sayfalar için canonical kullanımı çok önemli.

İndeksleme Hızını Artırmak için Yapılacaklar

Site hızınızı optimize edin. Hızlı siteler daha sık taranır ve daha hızlı indexlenir. Google otomatik olarak yavaş sitelere daha az kaynak ayırır çünkü tarama maliyetli bir işlemdir. CDN kullanın, resimleri sıkıştırın, cache ayarlarını yapın.

İçerik kalitesine yatırım yapın. Google kaliteli içerikleri ödüllendirir, düşük kaliteli içerikleri cezalandırır. Detaylı, orijinal, kullanıcılara değer katan yazılar hızlı indexlenir. 300 kelimelik zayıf içerik yerine 1500 kelimelik kapsamlı rehber yazın.

Düzenli içerik üretin. Sık güncellenen siteler daha sık taranır. Haftada bir yazı yayınlayan site ile ayda bir yayınlayan site aynı önceliği alamaz. Google sürekli yeni içerik üreten siteleri sever.

Internal linking yapısını güçlendirin. Öksüz kalmış sayfalar crawler tarafından zor bulunur. Her sayfadan mantıklı şekilde diğer sayfalara linkler verin. Bir hub-spoke modeli oluşturun, ana sayfalar alt sayfalara dağıtım yapsın.

Backlink kazanın. Dışarıdan link alan sayfalar Google’ın gözünde daha değerlidir. Kaliteli backlink’ler hem tarama sıklığını hem indexleme hızını artırır. Guest post, broken link building, skyscraper technique gibi yöntemlerle backlink çalışması yapabilirsiniz.

Teknik SEO hatalarını giderin. Broken linkler, server hataları, redirect zincirleri, duplicate content sorunları indexlemeyi yavaşlatır. Search Console’da bildirilen tüm hataları çözün. Düzenli site auditi yapın ve sorunları proaktif olarak bulup giderin.

İndexleme, SEO yolculuğunuzun ilk adımıdır. İndexlenmeyen sayfa sıralanamaz, sıralanmayan sayfa trafik getirmez. Bu yüzden Google’ın sayfalarınızı düzgün indexlemesini sağlamak temel önceliğiniz olmalı. Teknik engelleri kaldırın, içerik kalitesini artırın ve Search Console’u aktif kullanarak indexleme durumunuzu sürekli takip edin. Zaman içinde Google sitenize güven duydukça indexleme hızınız artacak ve yeni içerikleriniz çok daha çabuk arama sonuçlarında yerini alacaktır.