XenForo için örne Robots.txt Dosyası ve bilinmesi gerekenler
Nasıl Kullanılır?
Forum ana dizinine eklenecek olan robot.txt isimli bir dosya ile basitce forumunuza bir Robot dosyası açabilir,Eleyebilirsiniz.
Robot.txt Komut anlamları
User-agent: ilgili botun adını belirler
Disallow: Verilerin çekilmesini engeller.
XenForo için Robot.txt Dosyası nasıl olmalıdır ?
Eger forumunuz ana dizinde değil ise Disallow: /forum/online/ olarak düzenleme yapınız.
Robots.txt dosyaları hakkında bilgi edinme. robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı’nı kullanır.
Bakınız Google makalesi
Bakınız Google makalesi
Nasıl Kullanılır?
Forum ana dizinine eklenecek olan robot.txt isimli bir dosya ile basitce forumunuza bir Robot dosyası açabilir,Eleyebilirsiniz.
Robot.txt Komut anlamları
User-agent: ilgili botun adını belirler
User-agent: DeepCrawl #Burada boot adı DeepCrawl
User-agent: * #* Tüm borları kapsaması anlamına gelir.
Crawl-delay: Verilerin çekilmesi için zaman aralığı belirler.User-agent: * #* Tüm borları kapsaması anlamına gelir.
Crawl-delay: 20 #Bu alanda ilgili bota 20 saniye aralıklar ile veri çekim komutu verilmiştir.
Request-rate: Verilerin çekimini oranlılar.
Request-rate: 5/10 #Her 10 saniyede en fazla 5 sayfalık veri çeker
Request-rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri çeker
Visit-time: Ziyaret zamanlarını belirlerRequest-rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri çeker
Visit-time: 0800-1045 # saat 08.00 ile 10.45 Saatleri arasında ziyaret talep edilmiştir.
Allow: Verilerin çekmek için izin verir.
Allow: /dosya/senindosyan .html #Bu dosyadan,sayfadan verilerin çekilmesine izin verilmiştir.
Allow: /dosya/ #Adı geçen dosya ve içerisindeki tüm verilerin çekilmesine izin verilmiştir.
Allow: /dosya/ #Adı geçen dosya ve içerisindeki tüm verilerin çekilmesine izin verilmiştir.
Disallow: Verilerin çekilmesini engeller.
Disallow:/dosya/senindosyan .html #Bu dosyadan,sayfadan veri çekilmesi engellenmiştir.
Disallow:/dosya/ #Bu dosyadan,sayfadan ve içerisindeki tüm dosya,sayfalardan veri çekilmesi engellenmiştir.
Disallow:/dosya/ #Bu dosyadan,sayfadan ve içerisindeki tüm dosya,sayfalardan veri çekilmesi engellenmiştir.
XenForo için Robot.txt Dosyası nasıl olmalıdır ?
HTML:
# robots.txt http://xenforo.gen.tr
# Turkce xenforo destek forumu
User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /register/
Disallow: /posts/
Disallow: /login/
Disallow: /admin.php
Disallow: /ajax/
Disallow: /misc/contact/
Disallow: /data/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly/
Disallow: /events/weekly/
Disallow: /find-new/
Disallow: /help/
Disallow: /internal_data/
Disallow: /js/
Disallow: /library/
Disallow: /search/
Disallow: /styles/
Disallow: /login/
Disallow: /lost-password/
Disallow: /online/
Allow: /
Sitemap: http://xenforo.gen.tr/sitemap.php
Son düzenleme:
