XenForo için örnek Robots.txt Dosyası ve bilinmesi gerekenler
Nasıl Kullanılır?
Robot.txt Komut anlamları
User-agent: ilgili botun adını belirler
Disallow: Verilerin çekilmesini engeller.
XenForo için Robot.txt Dosyası nasıl olmalıdır ?
XenForo rota filtreleri kullanıyorsanız rotalarınızın her iki türünü eklemenizde gereklidir.;
Örnek;
Robots.txt, arama motoru yazılımlarına sitenizin hangi bölümlerini dizine ekleyebileceğini, hangi dizini taraması gerektiğini, hangi arama motoru yazılımının giriş izni olduğunu veya olmadığını söylemeye yarayan basit bir komut dosyasıdır. Örümcek olarak da adlandırılabilen Arama motoru yazılımları sitenize geldiğinde ilk olarak bu dosyayı tarar ve dosyadaki komutlara göre sitenin izin verilen bölümlerini dizine ekler.
Nasıl Kullanılır?
Robots.txt dosyası belli standartlara uygun olarak hazırlanmalıdır ve sitenizin kök dizinine yüklenmelidir. Robots.txt dosyası hazırlanırken dikkat edilmesi gereken en önemli üç nokta şunlardır:
- Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması
- Robots.txt dosyasının UTF-8 karakter kodlamasına uygun şekilde hazırlanmış olması
- Robots.txt dosyasının site URL’siyle aynı formatta olması
Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması bir gerekliliktir ve dosya oluşturulurken herhangi bir alt klasörde veya başka bir sayfada yer almaması gerekmektedir. Robots.txt dosyasının URL’si mutlaka standart olmalıdır; örneğin:
Doğru:
https://www.siteadresiniz.com/robots.txt
Yanlış:
https://www.siteadresiniz.com/main/robots.txt
Robots.txt dosyası düz metinden oluşmalı ve UTF-8 karakter kodlaması dışında bir karakter kodlaması kullanılmamalıdır. Robots.txt dosyası dinamik ve değişken içeriğe sahip olabilir, dosyayı istediğiniz zaman istediğiniz şekilde değiştirebilir ve düzenleyebilirsiniz. Tavsiyemiz, dosyanın her zaman çalışır durumda olması, herhangi bir amaçla kullanımdan kaldırılmaması ve gizlenmemesi yönündedir.
Ayrıca Robots.txt dosyasının sahip olduğu URL, sitenizin erişildiği URL ile aynı olmalıdır. Eğer https protokolü kullanıyorsanız, robots.txt dosyasının adresi de https protokolüne uygun olacak şekilde düzenlenmelidir. Örneğin;
Doğru:
Site URL’si: https://www.siteadresiniz.com/
Robots.txt URL’si: https://www.siteadresiniz.com/robots.txt
Yanlış:
Site URL’si: https://www.siteadresiniz.com/
Robots.txt URL’si: http://www.siteadresiniz.com/robots.txt
Robot.txt Komut anlamları
User-agent: ilgili botun adını belirler
User-agent: DeepCrawl #Burada boot adı DeepCrawl
User-agent: * #* Tüm borları kapsaması anlamına gelir.
Crawl-delay: Verilerin çekilmesi için zaman aralığı belirler.Crawl-delay: 20 #Bu alanda ilgili bota 20 saniye aralıklar ile veri çekim komutu verilmiştir.
Request-rate: Verilerin çekimini oranlılar.Request-rate: 5/10 #Her 10 saniyede en fazla 5 sayfalık veri çeker
Request-rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri çeker
Visit-time: Ziyaret zamanlarını belirlerVisit-time: 0800-1045 # saat 08.00 ile 10.45 Saatleri arasında ziyaret talep edilmiştir.
Allow: Verilerin çekmek için izin verir.Allow: /dosya/senindosyan .html #Bu dosyadan,sayfadan verilerin çekilmesine izin verilmiştir.
Allow: /dosya/ #Adı geçen dosya ve içerisindeki tüm verilerin çekilmesine izin verilmiştir.
Disallow: Verilerin çekilmesini engeller.
Disallow:/dosya/senindosyan .html #Bu dosyadan,sayfadan veri çekilmesi engellenmiştir.
Disallow:/dosya/ #Bu dosyadan,sayfadan ve içerisindeki tüm dosya,sayfalardan veri çekilmesi engellenmiştir.
XenForo için Robot.txt Dosyası nasıl olmalıdır ?
HTML:
# robots.txt http://xenforo.gen.tr
# Turkce xenforo destek forumu
User-agent: Mediapartners-Google
Allow:
User-agent: ia_archiver
Allow:
User-agent: duggmirror
Disallow: /
User-agent: *
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /conversations/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /search/
Allow: /
Sitemap: http://siteisminiz.com/sitemap.phpEger forumunuz ana dizinde değil ise Disallow: /forum/online/ olarak düzenleme yapınız.
XenForo rota filtreleri kullanıyorsanız rotalarınızın her iki türünü eklemenizde gereklidir.;
Örnek;
HTML:
Disallow: /members/
Disallow: /kullanicilar/
Disallow: /account/
Disallow: /hesap/ Son düzenleme:
