Robots.txt Oluşturucu
User-agent grupları, Allow/Disallow ve Sitemap satırları
Hazır şablonlar
Disallow bir sayfanın taranmasını engeller, indeksten kaldırmaz: başka sitelerden bağlantı alan engelli bir adres içeriği görülmeden de indekslenebilir. Bir sayfayı arama sonuçlarından kaldırmak için sayfanın taranabilir olması ve noindex içermesi gerekir.
robots.txt nedir?
robots.txt, sitenizin kök dizininde (https://ornek.com/robots.txt) bulunan ve arama motoru botlarına hangi yolları tarayabileceklerini söyleyen düz metin dosyasıdır. Kurallar User-agent gruplarına göre yazılır.
Kurallar nasıl eşleşir?
- Bir bota özel grup varsa yalnızca o grup uygulanır; yoksa
*grubu kullanılır. - Aynı yol için en uzun (en belirgin) kural kazanır; eşitlikte Allow öncelikli olur.
*herhangi bir karakter dizisi,$yolun sonu anlamına gelir.
Sıkça Sorulan Sorular
Disallow ile sayfayı Google'dan kaldırabilir miyim?
Hayır. Disallow taramayı engeller; sayfa yine de indekste kalabilir. Kaldırmak için sayfaya noindex ekleyin ve taranmasına izin verin; acil durumlarda Search Console'daki Kaldırma aracını kullanın.
Crawl-delay işe yarar mı?
Google Crawl-delay yönergesini desteklemez. Bing ve Yandex gibi bazı arama motorları dikkate alabilir.