1. Bölüm: Tarama (Crawl)

Son güncelleme: 1 Kasım 2026.

SEO öğrenmeye yeni başlayan biri olarak ilk başta Google’ın bir internet sitesini nasıl keşfettiğini anlamaya çalışırdım.

İlk kavram: Crawl (Tarama)

Google’ın internetteki bütün sayfaları bildiğini zannediyoruz ama bu doğru değil. “Googlebot” adını verdiğimiz botlar internet üzerindeki sayfaları dolaşıyor, linkleri takip ediyor ve yeni URL’ler keşfediyor. Bu işleme crawl, yani tarama diyoruz.

Basit bir örnek: Googlebot sitenizin ana sayfasına geldi. Ana sayfada şu linkleri gördü:

• Kategori A
• Kategori B
• Hakkımızda

Kategori A’ya girdi. Orada şu linkleri gördü:

• Ürün 1
• Ürün 2
• Ürün 3

Onları da ziyaret etti. Google sitenizi kabaca bu şekilde dolaşmaya başlıyor.

Google yeni sayfaları nereden buluyor?

Google’ın yeni bir sayfadan haberdar olmasının birkaç yolu var:

• İç linkler: Sitenizin bildiği bir sayfasından yeni sayfaya verilen link. En yaygın yol bu.
• Dış linkler: Başka bir sitenin size verdiği link. Yeni bir siteyi Google çoğu zaman böyle bulur.
• Site haritası (XML Sitemap): Sitenizdeki sayfaların listesini Google’a verdiğiniz dosya. Search Console’dan gönderilebilir.

Site haritasını “Bu sayfalar var, bir bak” demek gibi düşünebilirsiniz. Google’ın bu sayfaları tarayacağının ya da dizine alacağının garantisi değil. Ama özellikle yeni ve büyük sitelerde keşfi kolaylaştırıyor. Google da yeni sayfaların çoğunu linkleri ve site haritalarını takip ederek bulduğunu söylüyor (Google Search Central).

Site haritasına sadece Google’da görünmesini istediğiniz, açılan ve yönlendirme yapmayan sayfaları koymak gerekiyor. Her sayfanın son değişiklik tarihini (lastmod) doğru verirseniz Google bunu dikkate alabiliyor. priority ve changefreq alanlarını ise kullanmıyor (Google). Bu yüzden her gün tüm tarihleri bugüne çeviren bir site haritası işe yaramıyor, hatta güveni azaltıyor.

Bir sayfa sitenin hiçbir yerinden link almıyorsa Google’ın o sayfayı keşfetmesi zorlaşabilir. Bunlara genellikle orphan page deniyor. Bu yüzden site mimarisi ve iç linkleme sadece kullanıcıların site içinde dolaşması için değil, Google’ın sayfalarınızı keşfetmesi açısından da önemli. İç linklemeyi 18. bölümde ayrıntılı anlatıyorum.

Google her sayfayı tarayabilir mi?

Hayır. Googlebot bir siteye geldiğinde önce robots.txt dosyasına bakıyor. Bu dosyada taranmasını istemediğiniz alanları belirtebiliyorsunuz. Burada yanlış yazılmış tek bir satır sitenin önemli bir bölümünün taranmasını engelleyebiliyor.

Linkin nasıl yazıldığı da önemli. Google linkleri güvenilir şekilde ancak <a href="…"> etiketiyle yazıldığında takip edebiliyor (Google). Sadece JavaScript ile tıklanınca açılan bir menü ya da buton kullanıcı için link gibi görünse de Google için link olmayabilir. Giriş yapılmadan açılmayan sayfaları da Google göremiyor.

Bir de taramanın sıklığı var. Google her sayfayı aynı sıklıkla taramıyor. Sık güncellenen ve önemli gördüğü sayfalara daha sık, uzun süredir değişmeyen sayfalara daha seyrek uğruyor.

Eski eğitimlerimde bunu bir haber sitesiyle ayda bir içerik girilen bir şirket sitesini karşılaştırarak anlatırdım. Haber sitesinde her gün yeni sayfalar açılıyor ve Google siteye çok sık uğruyor. Ayda bir içerik girilen şirket sitesinde ise Google’ın her gün gelmesini gerektiren bir şey yok, ziyaretler de seyrekleşiyor. Google da hangi siteleri, ne sıklıkla ve her siteden kaç sayfa tarayacağına algoritmik olarak karar verdiğini söylüyor (Google). Robots.txt’yi, durum kodlarını ve tarama bütçesini (crawl budget) 23. bölümde anlatıyorum.

robots.txt sayfayı Google’dan gizlemez

robots.txt sitenizin ana dizininde duran basit bir metin dosyası. Örneğin aşağıdaki dosya bütün botlara sepet ve site içi arama sayfalarını taramamalarını söylüyor, site haritasının yerini de gösteriyor:

User-agent: *
Disallow: /sepet/
Disallow: /arama/

Sitemap: https://site.com/sitemap.xml

Yukarıda yanlış yazılmış tek bir satırın sitenin önemli bir bölümünü engelleyebileceğini söylemiştim. Bunun en basit örneği Disallow: / satırı. Tek bir eğik çizgi, sitenin tamamının taranmasını engelliyor.

Burada sık karıştırılan bir nokta var: robots.txt taramayı engelliyor, dizinlemeyi değil. Google bu konuda açık. robots.txt bir sayfayı Google’ın dışında tutmanın yolu değil. Engellediğiniz bir sayfaya başka yerlerden link veriliyorsa Google sayfayı hiç ziyaret etmeden URL’yi dizine ekleyebiliyor. Bu durumda sayfa sonuçlarda açıklaması olmadan görünüyor (Google).

Bir sayfanın Google’da görünmesini istemiyorsanız noindex kullanmak ya da sayfayı şifreyle korumak gerekiyor. noindex’in çalışması için de Google’ın sayfayı tarayabilmesi lazım. Yani aynı sayfayı hem robots.txt ile engelleyip hem noindex koymak işe yaramıyor. noindex’i bir sonraki bölümde anlatıyorum.

Googlebot sitenize hangi gözle bakıyor?

Google bugün sitelerin büyük çoğunluğunu akıllı telefon gibi davranan Googlebot ile tarıyor. Buna mobil öncelikli dizine ekleme (mobile-first indexing) deniyor (Google).

Pratikte anlamı şu: Sitenizin mobil sürümünde olmayan bir içerik ya da link, Google için de büyük ihtimalle yok. Masaüstünde menüde görünen ama mobilde kaldırılan kategori linkleri, mobilde açılmayan sekmeler ya da sadece masaüstünde gösterilen ürün açıklamaları bu yüzden sorun çıkarabiliyor. Bir sayfayı kontrol ederken telefondan da açıp bakmak gerekiyor.

Sunucunuz taramayı etkiler mi?

Evet. Googlebot bir sayfayı istediğinde sunucunuz bir durum kodu (HTTP status code) ile cevap veriyor:

Sunucu sık sık 5xx hatası veriyorsa ya da çok yavaş cevap veriyorsa Google siteyi yormamak için taramayı yavaşlatıyor (Google). Hata uzun sürerse daha önce dizine aldığı sayfaları da dizinden çıkarabiliyor. Yani hosting ve sunucu tarafı, ilk bakışta SEO ile ilgisi yokmuş gibi görünse de taramayı doğrudan etkiliyor. Site hızını 24. bölümde ayrıca anlatıyorum.

Google sayfamı taramış mı?

Bunu tahmin etmek zorunda değiliz. Üç yerden bakabiliyoruz:

• URL Denetleme (URL Inspection): Search Console’da bir URL’yi yazdığınızda Google’ın o sayfayı en son ne zaman taradığını görüyorsunuz.
• Tarama İstatistikleri (Crawl Stats): Search Console’da Ayarlar altındaki bu rapor, Google’ın sitenize günde kaç istek gönderdiğini ve sunucunuzun nasıl cevap verdiğini gösteriyor.
• Sunucu kayıtları (log): Googlebot’un hangi sayfaya ne zaman geldiğini en ayrıntılı burada görürsünüz. Büyük sitelerde çok değerli.

Sunucu kayıtlarına bakarken bir şeye dikkat etmek gerekiyor: Kendini Googlebot olarak tanıtan her istek Google’dan gelmiyor. Bir botun kendini nasıl tanıttığı (user-agent) tamamen ona kalmış, isteyen herkes “Googlebot” yazabiliyor. Google, gerçek Googlebot’u ters DNS sorgusuyla (reverse DNS lookup) ya da yayınladığı IP listeleriyle doğrulamayı öneriyor (Google).

Google’dan sayfayı yeniden taramasını istemek

Yeni bir sayfa yayınladığınızda ya da önemli bir sayfada değişiklik yaptığınızda Google’ın kendiliğinden gelmesini beklemek zorunda değilsiniz. Birkaç URL için Search Console’daki URL Denetleme aracında Dizine eklenmesini iste (Request indexing) seçeneğini kullanabiliyorsunuz. Çok sayıda URL için doğru yol ise site haritası (Google).

Google bu konuda birkaç şeyi açıkça söylüyor:

• Tek tek URL göndermenin bir kotası var.
• Aynı URL için isteği defalarca göndermek taramayı hızlandırmıyor.
• Tarama birkaç günden birkaç haftaya kadar sürebiliyor.
• Tarama istemek, sayfanın arama sonuçlarına hemen ya da hiç gireceğinin garantisi değil.

Yani bu seçenek bir “sıraya al” isteği. Sayfanın dizine girip girmeyeceğine yine Google karar veriyor. Bunun nelere bağlı olduğunu bir sonraki bölümde, dizinlemeyi anlatırken konuşuyorum.

Tarama, dizinleme ve sıralama

Google’ın bir sayfayı taraması ise o sayfanın Google’da çıkacağı anlamına gelmiyor. Burada üç farklı aşamayı ayırmak gerekiyor:

• Tarama (Crawl): Google sayfayı ziyaret etti mi?
• Dizinleme (Index): Google sayfayı dizinine aldı mı?
• Sıralama (Ranking): Aramalarda kaçıncı sırada gösterecek?

SEO öğrenirken bu üç kavramı birbirine karıştırmamak bence başlangıçtaki en önemli konulardan biri. Bir sayfa Google’da çıkmıyorsa ilk soru “Taranmış mı?” olmalı. Taranmamış bir sayfanın içeriğini iyileştirmek sorunu çözmez.

Uygulama

• Önemli her sayfanız sitenin en az bir yerinden link alıyor mu?
• Bir XML site haritanız var mı, Search Console’a gönderildi mi?
• robots.txt dosyanızı açın (siteniz.com/robots.txt). Önemli bir klasörü yanlışlıkla engelliyor musunuz?
• Menü ve kategori linkleriniz <a href> ile mi yazılmış? Mobil menüde de hepsi var mı?
• En önemli 3 sayfanızı URL Denetleme’de kontrol edin. Son tarama tarihi ne?
• robots.txt ile engellediğiniz ama aslında Google’da hiç görünmesini istemediğiniz bir sayfa var mı? O sayfada engeli kaldırıp noindex kullanın.

İçindekiler · Sonraki: 2. Bölüm, Dizinleme (Index)

Bu bölümün ilk hali X’te yayınlandı (28 Ağustos 2026).