Web sitelerinin arama motorlarıyla etkileşiminde kritik bir rol oynayan robots.txt dosyası son derece önemlidir. Belki de birçok site sahibi ve kullanıcı tarafından fark edilmeden arka planda sürekli olarak faaliyet göstermektedir. Bu basit metin dosyası, arama motoru botlarının bir web sitesini nasıl indeksleyeceğini ve tarayacağını belirtmekte olup, botlar için resepsiyon görevi görmektedir.
Bu da robots.txt dosyasının önemini daha da artırmaktadır. Örneğin admin sayfaları, bazı durumlarda arama motorlarında indekslenebilmektedir. Bu sayfaların Serp sonuçlarında görünmesini istemiyorsanız, Robots.txt dosyasında belirtmeniz gerekmekte. Zira admin sayfanızın herkese açık olması çeşitli güvenlik zafiyetlerini de beraberinde getirebilir.
Aynı zamanda, bu dosyanın doğru bir şekilde yapılandırılması, sitenin genel performansını ve arama motoru optimizasyonu (SEO) süreçlerini doğrudan etkilemektedir. Dolayısıyla bu dosyanın ne işe yaradığını ve nasıl kullanılması gerektiğini bilmek, web sitesi sahipleri ve geliştiricileri için kritik bir öneme sahip olmaktadır. Bu konuda profesyonel destek almak için SEO Danışmanlığı sayfamı ziyaret edebilirsiniz.
İçindekiler
Robots.Txt Örnekleri
Robots.txt örnekleri oldukça fazla olsa da her sitenin kriterleri, istekleri ve içerikleri kendine özgüdür. Bu nedenle kendi sitenize göre özel bir dosya oluşturmanız son derece önemlidir.
Robots.txt dosyasının yapısı oldukça basittir. Wordpress siteler için bir örnek vermek gerekirse:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://onuruzunonline.com/sitemap_index.xml(Bu komutlarda tüm botların siteyi taramasına izin verilmiş. Ancak wp-admin gibi özel sayfaların indekslenmesi engellenmiştir.) Aşağıdaki başlıkta bu komutların detayları yer almaktadır.
Robots.txt ile Parametre Sayfalarını Engelleme Kodu
Bu kod siteadi/? sonrası urllerin taranmasını engelleyecektir. Özellikle e-ticaret sitelerinde kullanılmaktadır. Parametre ayarlarını kendi internet sitenize göre optimize etmeniz gerekir.
User-agent: *
Disallow: /*?Robots.txt ile ChatGPT Engelleme Kodu
Bu kod internet sitenizin tümünün ChatGPT tarafından taranmasını engelleyecektir.
User-agent: GPTBot
Disallow: /Robots.txt ile Google Bard Engelleme Kodu
Bu kod internet sitenizin tümünün Google Bard tarafından taranmasını engelleyecektir.
User-agent: Google-Extended
Disallow: /Robots.txt Komutları
Robots.txt komutlarının sitenize göre belirlenmesi gerektiğini belirtmiştik. Aşağıda en çok kullanılan temel komutlar yer almaktadır. Bu komutları sitenize uygunsa kullanabilirsiniz. Standart bir blog siteniz varsa, bu komutlar yeterli olacaktır.
| Komut | Açıklama |
| User-agent: * | Tüm botlara uygulanacak yönergeleri belirlemek için kullanılır. |
| Disallow: / | Tüm URL’lerin botlar tarafından taranmasını engeller. |
| Allow: /sayfa.html | Belirli bir sayfayı botların tarayabilmesi için izin verir. |
| Sitemap: https://www.example.com/sitemap.xml | Site haritası URL’sini belirtir. |
Robots.Txt Nedir, Ne İşe Yarar?
Robots.txt dosyası, bir web sitesinin kök dizininde bulunan basit bir metin dosyasıdır. Arama motoru botlarına sitenin hangi bölümlerinin taranıp taranmaması gerektiği konusunda yönlendirme sağlamaktadır. Kısacası, bu dosya bir web sitesinin nasıl taranacağını belirten bir rehber gibidir.
Her web sitesinin farklı bölümleri ve sayfaları bulunmaktadır. Bu sayfaların bazıları özel bilgiler içermekte veya SEO optimizasyonu açısından indekslenmemesi tercih edilen sayfalar olabilmektedir. Bu txt dosyası web sitenizdeki hangi sayfaların arama motorları tarafından ziyaret edilmemesi gerektiğini belirtmektedir.
Neden Sitenizde Robots.Txt Olmalı?
Bir web sitesi sahibi olarak, sitenizin tamamının ya da belirli bölümlerinin arama motorları veya çeşitli botlar tarafından taranmasını engellemek isteyebilirsiniz. Örneğin bir test sayfası ya da özel bir içeriğin arama sonuçlarında görünmesini istemiyorsanız, dosyada belirtebilirsiniz. Bu tür durumlarda robots.txt dosyası kullanmak gerekir. Bu dosya arama motorlarına sitenizin hangi bölümlerini göz ardı etmeleri gerektiği konusunda bilgi vermektedir. Sitenizin doğru bir şekilde taranması ve indekslenmesi için bir robots.txt dosyasına ihtiyacınız vardır.
Robots.Txt Nasıl Oluşturulur?
Web sitelerinin arama motorlarıyla olan etkileşimini düzenleyen robots.txt dosyası, site sahipleri için kritik bir öneme sahiptir. Ancak birçok kişi, bu dosyanın nasıl oluşturulacağı konusunda bilgi sahibi değildir. Aslında, robots.txt dosyasını oluşturmanın çeşitli yöntemleri bulunmaktadır.
- Robots.txt generator siteleri
- Eklentiler
- Manuel oluşturma
bu yöntemler arasında yer almaktadır.
Özellikle teknik bilgisi olmayan site sahipleri için, bu dosyayı oluşturmanın otomatik yöntemleri oldukça kullanışlıdır.
Manuel Oluşturma
Robots.txt dosyasını manuel olarak oluşturabilirsiniz. Bunun için bilgisayarınızda bir not defteri sayfası açmanız gerekmektedir. Ardından tarama kriterlerinizi belirleyerek dosyayı kaydetmeli ve sitenizin ana dizinine yüklemelisiniz.
Dosyanın çalışıp çalışmadığını test etmek için ise arama çubuğuna siteadi.com/robots.txt yazmanız yeterli olacaktır. Eğer belirlediğiniz kriterler karşınıza çıkarsa, doğru şekilde yapılandırılmış demektir.
Örneğin, “User-agent: *” ifadesi tüm botlara yöneliktir ve “Disallow: /private/” ifadesi, “private” adlı dizini taramalarını engeller. En çok tercih edilen komutlar için aşağıda yer alan başlıklara göz atabilirsiniz.
Robots Txt Generator Siteleri
Eğer teknik bilgiye sahip değilseniz, Robots TXT Generator siteleri de ihtiyacınızı karşılayacaktır. Bu konuda aktif olarak hizmet veren birçok site bulunmaktadır. Ancak bu siteler arasında en çok tercih edilen İHS ve Seoptimer’dir.
İhs Robots.Txt Oluşturucu
İhs Robots.txt oluşturucu, kullanıcı dostu bir arayüze sahiptir ve kullanımı oldukça kolaydır. Siteye girdiğinizde, sitenizin hangi bölümlerini arama motorlarına kapalı tutmak istediğinizi seçerek hızlıca bir robots.txt dosyası oluşturabilirsiniz. İhs Robots.Txt Oluşturucu, kullanıcıların spesifik ihtiyaçlarına uygun dosyalar oluşturmalarına yardımcı olmaktadır.
Seoptimer Robots.txt Generator
Seoptimer, SEO araçları konusunda oldukça popüler bir platformdur. Robots.txt generator özelliği de bu platformun sunduğu araçlardan biridir. Kullanıcıların siteleri için özel robots.txt dosyaları oluşturmalarına olanak tanır. Basit ve anlaşılır bir arayüze sahip olan bu araç, birkaç tıklamayla dosyanızı oluşturmaktadır.
Wordpress İçin Robots.txt Eklentileri
Wordpress, dünya genelinde en çok kullanılan içerik yönetim sistemlerinden biridir. Bu CMS’nin kullanıcıları birçok işlemi ve işi eklenti kullanarak hızlı bir şekilde yapabilmektedir. Robots.txt generator konusunda da aktif olarak destek veren birçok eklenti bulunmaktadır.
Rank Math SEO
Rank Math, popüler bir WordPress SEO eklentisidir. Bu eklenti kullanıcılara web sitelerini optimize etme konusunda birçok özellik ve araç sunmaktadır. Rank Math’ın sunduğu özelliklerden biri de robots.txt dosyası oluşturma özelliğidir. Eklenti panelinden bu dosyayı kolayca düzenleyebilir ve siteniz için özel bir robots.txt dosyası oluşturabilirsiniz.
Robots.txt Editor
Bu eklenti adından da anlaşılacağı gibi WordPress kullanıcıları için robots.txt dosyasını düzenlemeyi ve oluşturmayı basit ve kolay hale getirir. Eklenti paneli üzerinden robots.txt dosyanızı doğrudan düzenleyebilir ve değişiklikleri kaydedebilirsiniz. Eğer sitenizde belirli sayfaların veya kategorilerin arama motorları tarafından taranmamasını istiyorsanız, bu eklenti tam size göre olacaktır.
