Robots.txt Nedir? Nasıl Oluşturulur?

Günümüzde birçok web sitesi arama motorlarından organik trafik çekebilmek için SEO çalışması yaptırmaktadır. Ancak, bir web sitesinin arama motorları tarafından nasıl taranacağı (crawling), site içeriğini nasıl indexleyeceği (indexing) ve sonuç sayfalarında nasıl sıralanacağı (ranking) gibi faktörlerin belirlenmesinde robots.txt dosyası önemli bir rol oynamaktadır.

Eğer web sitenizin SEO performansını artırmak istiyorsanız, iyi optimize edilmiş bir robots.txt dosyasına sahip olmak oldukça elzem bir konudur. Peki, robots.txt dosyası nedir, nasıl oluşturulur ve nasıl test edilir konularını inceleyelim.

Robots.txt Nedir?

Robots.txt, web sitesinin arama motoru botlarına hangi sayfalarına erişilip erişilemeyeceğini bildirmek için kullanılan bir metin dosyasıdır. Bu dosya sayesinde web sitesi sahipleri, belirli sayfaları, sayfa gruplarını veya sitelerinin tamamını botlardan gizleyebilir. Bunun için birtakım komutlar kullanılır. Bu komutlara yazının ilerleyen başlıklarında değineceğim.

Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt dosyasını oluşturmak için birkaç farklı yol bulunmaktadır. Kullandığınız web sitenizin altyapısı önemli bir konudur. Çünkü altyapıya göre metin dosyasını eklentiler aracılığıyla kontrol edebileceğiniz gibi kök dizin ya da sistem üzerinden de kontrol edebilirsiniz. Örneğin, WordPress kullanıyorsanız kurabileceğiniz bir eklenti sayesinde robots.txt dosyasını saniyeler içinde oluşturabilirsiniz.

Kök dizine robots.txt dosyası eklemek için hazırladığınız dosyanın UTF-8 karakter kodlamasına sahip olması gerekir. Ardından dosyanın adı ise “robots.txt” şeklinde düzenlenmelidir. Bu dosyanın adında veya kod yapısında bir değişiklik yaparsanız arama motoru botları dosyayı tanıyamayacaktır. Bu nedenle robots.txt dosyasının doğru bir şekilde yapılandırılması, web sitesinin görünürlüğü açısından önemlidir. Böylelikle arama motorları tarafından daha etkili bir şekilde taranmasını sağlayabilirsiniz.

Shopify mağazanızın robots.txt dosyasını düzenlemek istiyorsanız Shopify’ın robots.txt komutları sayfasından faydalanabilirsiniz: https://help.shopify.com/en/manual/promoting-marketing/seo/hide-a-page-from-search-engines

Robots.txt Dosyası Nasıl Test Edilir?

Hazırladığınız ya da test etmek istediğiniz robots.txt dosyasını Google’nın Robots.txt Test Aracı ya da robots.txt Validator and Testing Tool ile test edebilirsiniz.

Robots.txt dosyalarının web siteleri için ne kadar önemli bir unsur olduğunu unutmayınız. Bu yüzden sitenize entegre etmeden mutlaka teste sokmalısınız. Ayrıca düzenli aralıklarla bu testi tekrar etmenizi öneriyorum.

Robots.txt dosyaları hakkında daha fazla bilgi için Google’ın Robots.txt Dosyasına Giriş sayfasını ziyaret edebilirsiniz.

Robots.txt Dosyasının SEO’ya Etkisi Nedir?

– Web sitenizin tarama bütçesini optimize etmekte yardımcı olur. Robot.txt dosyası, botları sitenizin önemsiz kısımlarını taramasını engeller. Bu sayede verimli olan sayfaları daha hızlı ve etkili bir şekilde taramasını sağlar.

– Sayfaları indexleme kalitesi artar. Robots.txt, sitenizin düşük kaliteli, alakasız ve yinelenen içeriklerini gizleyerek kaliteli içeriklerini arama motorlarına gösterir. Bu sayede sitenizin otoritesini ve sıralamasını yükseltmesini sağlar.

– Sitenin güvenliğini ve gizliliğini artırır. Robots.txt dosyası, sitenizin özel bilgiler içeren, hacklenmeye veya spam saldırılara açık sayfalarını botlara kapatarak site güvenliğini ve gizliliğini korur.

Faydalı içerik: Google Index API Nasıl Kurulur?

Robots.txt Dosyasındaki Önemli Komutlar Nelerdir?

Robots.txt dosyasında sıklıkla kullanılan önemli komutlar şunlardır:

Allow: Erişime açık olan sayfaların ya da sayfa gruplarının bildirilmesi için kullanılır.

Disallow: Erişime kapalı olan sayfaların ya da sayfa gruplarının bildirilmesi için kullanılır.

Sitemap: Arama motorlarına site haritasının adresini bildirmek için kullanılır ve mutlaka dosya içerisinde yer almalıdır.

Yorum ya da Not: Dosya içerisine notlar yazmak için satır başına “#” karakteri eklemek yeterlidir.

Örneğin, “# Bu güncelleme 13.04.2023 tarihinde yapılmıştır.”

Şablon Kuralları: Yıldız (*) herhangi bir karakteri, dolar işareti ($) ise URL’nin sonunu belirtir.

Robots.txt Komutları

Örnek Robots.txt Komutları ve Açıklamalar

1. Tüm sayfaları engellemek için:

User-agent: * Disallow: /

2. Belirli bir sayfayı engellemek için:

User-agent: * Disallow: /ornek-sayfa

3. PDF dosyalarının taranmasını engellemek için:

Disallow: /*.pdf$

4. Sonu page ile biten sayfaların taranmasını engellemek için:

Disallow: /*/page/

5. Admin panelinin taranması engellemek için:

Disallow: /wp-admin/

6. Login sayfanızın taranması engellemek için:

Disallow: /wp-login.php

7. Google görsel aramalar botuna siteyi engellemek için:

User-agent: Googlebot-Image Disallow: /

8. Tüm botların erişmesine izin vermek için:

User-agent: * Disallow:

9. Tüm botların “blog” dizinine erişmesini engellemek ve “blog/seo” alt dizinine erişim izni vermek için:

User-agent: * Disallow: /blog/ Allow: /blog/seo/

10. Web sitesinin sitemap URL’lerini belirtmek için:

User-agent: * Sitemap: https://www.example.com/sitemap.xml

Robots.txt Dosyası Hakkında Sıkça Sorulan Sorular

Bu yazımızda sizler için Robots.txt Nedir, Robots.txt Nasıl Oluşturulur, Robot.txt Test Araçları ve SEO performansına olan etkileri inceledim. Umarım sizler için faydalı bir içerik olmuştur. Aşağıdaki yorum alanından konu hakkında görüşlerinizi bizimle paylaşabilirsiniz.