Header Ads Widget

Ticker

6/recent/ticker-posts

Robot.txt Nedir?


Google, bir kurallar oyunudur ve bu kuralları da Google Uncle koyar. Eğer bu kurallara uymazsanız Google sizi devre dışı bırakır. İşte bu kurallar oyununda devre dışı kalmak istemiyorsanız bu kurallara uygun davranmamız gerekir.


Peki Google bu kuralları nasıl uyguluyor veya kurallarına uymayanları nasıl ortaya çıkarıyor. İşte burada botlar dediğimiz Google müfettişleri devreye giriyor.

Şöyle düşünelim bir market sahibisiniz ve Maliyeden müfettişler gelip marketinizi denetliyor. Aynen bu şekilde botlar dediğimiz Google müfettişleri de gelip sitenizi denetliyor. Tabii burada bir farklılık var. Maliyeden müfettişler geldiğinde marketinizin yer yerini inceliyor. Bu durum botlar için değişiyor. Yani Google müfettişleri sadece sizin izin verdiğiniz alan kadar alanı teftiş edebiliyor. Peki site sahibi bunu nasıl yapıyor? Tabii ki de Robot.txt dediğimiz bir dosya sayesinde yapıyor.

Nedir bu Robot.txt dosyası?

Robot.txt, Google müfettişlerinin sitenizde denetleme yapmasını istemediğiniz odaları gösteren ve sitenizin temel dizininde bulunan bir emir dosyasıdır. Robot.txt dosyası sitenizin temel dizininde bulunur ve Google müfettişlerine yol gösterir. Olur da siz bunu kaldırırsanız ve bir gece apansızın sitenize teftişe gelen Google müfettişleri ilk olarak bu dosyaya bakar. Eğer bu dosyayı bulamazsa çok vahim olaylar sizi bekliyor olacaktır. Bu robot.txt dediğimiz dosya olmadığı zaman Google müfettişleri önüne ne gelirse denetlemeye başlayacak ve bu da çok uzun zaman alacaktır. Uzun zaman aldığı için Google müfettişleri bir yerden sonra sıkılacak ve sitenize çok yüklenmeye başlayacak ve siteniz yavaşlamaya başlayacak. Ayrıca istemediğiniz şeyleri de denetleyecek ve kayıt altına alacak. Unutmayınız ki Google müfettişleri denetlediği her şeyi dizinine ekliyor. Eğer istemediğiniz şeyleri de kayıt altına alıyorsa ve bunları yayınlıyorsa sizin için tehlike çanları çalıyor demektir. İşte bu tehlikeleri bertaraf etmek için Robot.txt dosyası oluşturulmalıdır.

Robot.txt Dosyası Nasıl Oluşturulur?

Robot.txt dosyası oluştururken karşımıza iki tane terim çıkıyor. Bu iki terimin anlamı şudur.

User-agent: Google Müfettişi'nin adı geliyor
Allow/Disallow: Burada da izin verilip verilmediğini içeren bir emir geliyor.

Daha iyi anlamanız için size birkaç örnekle açıklayayım.

User-agent: *
Allow: /

Gördüğünüz gibi 1. satırdaki yere Google müfettişinin adı gelecekti ama "*" işareti yer alıyor. Yani burada
bir meydan okuma var diyorsunuz ki Google Uncle'a ne kadar müfettişin varsa gönder ben buradayım diyorsun. Sonuçta er meydanı diyorsunuz.

User-agent: *
Disallow: /

Buura da da ise er meydanından kaçıyorsunuz. Az önce de dediğim gibi "*" işareti bütün Google Müfettişlerine sitenizi denetlemesine izin vermiş oluyorsunuz. Buradaki ikinci satırdaki "/" işareti ile sitenizi denetlemeye gelen Google müfettişlerine parmak sallıyorsunuz ve asla benim siteme gelme diyorsunuz.

User-agent: *
Disallow: /private/
Disallow: /images/

Şimdi siz market sahibisiniz ve marketinizin üstü de eviniz. Maliyeden müfettişler geldi ve marketinizi denetledi. Burada marketinizin üstü olan evinizi denetleyemez. İşte bu emir dosyasında da tüm Google Müfettişlerine diyorsunuz ki benim 'private' ve 'images' dosyalarımı denetleme onun haricinde ne varsa denetleyebilirsin diyorsun.

Son olarak şunu söyleyeyim yanlış komutlarla oluşturduğunuz bir Robot.txt dosyası sizin için kötü olabilir. O yüzden oluşturacağınız Robot.txt dosyasına çok ama çok önem veriniz. Yoksa Google Müfettişleri bu hatayı fark eder ve bütün kirli çamaşırlarınızı ortaya çıkarır.







Yorum Gönder

0 Yorumlar