Robots.txt ve Meta Robots Etiketi

admin Ekim 21, 2023 Nedir Leave a comment 179 Views

Robots.txt dosyası ve meta robots etiketi, web sitenizin arama motorlarının web sitenizin içeriğini indekslemesini ve dizine eklemesini kontrol etmenize yardımcı olan iki önemli araçtır. İşte her birinin nasıl çalıştığı ve nasıl kullanılması gerektiği hakkında daha fazla bilgi:

Robots.txt Dosyası:

Robots.txt, web sitenizin kök dizininde yer alan bir metin dosyasıdır. Bu dosya, web tarayıcılarının ve arama motorlarının sitenizin belirli bölümlerini veya sayfalarını tarayıp tarayamayacağını belirler.

Kullanım Amacı:
- Robots.txt dosyası, web sitenizin hangi bölümlerinin indekslenmesine izin verileceğini ve hangilerinin engelleneceğini belirler.
- Bu dosya, özellikle hassas verileri içeren sayfaların veya geçerli olmayan içeriğin taranmasını engellemek için kullanışlıdır.
Kullanım Şekli:
- Robots.txt dosyası, web sitenizin kök dizininde yer almalıdır (örneğin, www.example.com/robots.txt).
- Dosya, belirli kullanıcı acentelerini (örneğin, Googlebot) veya belirli sayfaları veya dizinleri engellemek için kullanılabilir.

Örnek Robots.txt Dosyası:

User-agent: *
Disallow: /private/
Disallow: /restricted/

Yukarıdaki örnek, tüm kullanıcı acentelerini özel ve sınırlı içeriklere erişmekten engeller.

Meta Robots Etiketi:

Meta robots etiketi, web sayfalarının HTML başlık bölümünde yer alır. Her sayfa için özel olarak ayarlanabilir ve belirli arama motorlarına veya kullanıcı acentelerine yönelik davranışları kontrol eder.

Kullanım Amacı:
- Meta robots etiketi, sayfanın indekslenmesine izin verilip verilmeyeceğini, takip edilip edilmeyeceğini ve dizine eklenip eklenmeyeceğini belirler.
- Özellikle belirli sayfaları indekslenmemesi veya takip edilmemesi gereken sayfaları belirtmek için kullanışlıdır.
Kullanım Şekli:
- Meta robots etiketi, HTML <head> bölümünde yer alır ve sayfanın açıklamalarını içerir.
- Etiket, <meta> öğesi kullanılarak tanımlanır ve bir veya birden fazla direktif içerebilir (örneğin, noindex, nofollow).

<meta name="robots" content="noindex, nofollow">

Yukarıdaki örnek, sayfanın indekslenmemesi ve takip edilmemesi gerektiğini belirtir.

Robots.txt dosyası ve meta robots etiketi, web sitenizin arama motorlarına nasıl görünmesi gerektiğini kontrol etmenizde yardımcı olur. Bu araçları doğru şekilde kullanarak, sitenizin indekslenmesi gereken sayfaları belirleyebilir ve gereksiz içeriğin indekslenmesini önleyebilirsiniz. Ancak bu araçları dikkatli bir şekilde kullanmalısınız, aksi takdirde arama motorları tarafından istenmeyen sonuçlara yol açabilirler.

Buna baktınız mı? Dahili Bağlantılar Nedir ?