Xenforo için örnek robots.txt dosyası ve bilinmesi gerekenler

eTiKeT™

value="{XenGenTr}"
Yönetici
XGT Master
Katılım
4 Ara 2016
Mesajlar
3,182
Konum
Ankara
Web sitesi
xenforo.gen.tr
XenForo için örne Robots.txt Dosyası ve bilinmesi gerekenler
Robots.txt dosyaları hakkında bilgi edinme. robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı’nı kullanır.
Bakınız Google makalesi


Nasıl Kullanılır?
Forum ana dizinine eklenecek olan robot.txt isimli bir dosya ile basitce forumunuza bir Robot dosyası açabilir,Eleyebilirsiniz.

Robot.txt Komut anlamları

User-agent: ilgili botun adını belirler
User-agent: DeepCrawl #Burada boot adı DeepCrawl
User-agent: * #* Tüm borları kapsaması anlamına gelir.
Crawl-delay: Verilerin çekilmesi için zaman aralığı belirler.
Crawl-delay: 20 #Bu alanda ilgili bota 20 saniye aralıklar ile veri çekim komutu verilmiştir.
Request-rate: Verilerin çekimini oranlılar.
Request-rate: 5/10 #Her 10 saniyede en fazla 5 sayfalık veri çeker
Request-rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri çeker
Visit-time: Ziyaret zamanlarını belirler
Visit-time: 0800-1045 # saat 08.00 ile 10.45 Saatleri arasında ziyaret talep edilmiştir.
Allow: Verilerin çekmek için izin verir.
Allow: /dosya/senindosyan .html #Bu dosyadan,sayfadan verilerin çekilmesine izin verilmiştir.
Allow: /dosya/ #Adı geçen dosya ve içerisindeki tüm verilerin çekilmesine izin verilmiştir.

Disallow: Verilerin çekilmesini engeller.

Disallow:/dosya/senindosyan .html #Bu dosyadan,sayfadan veri çekilmesi engellenmiştir.
Disallow:/dosya/ #Bu dosyadan,sayfadan ve içerisindeki tüm dosya,sayfalardan veri çekilmesi engellenmiştir.






XenForo için Robot.txt Dosyası nasıl olmalıdır ?

HTML:
# robots.txt  http://xenforo.gen.tr
# Turkce xenforo destek forumu

User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /register/
Disallow: /posts/
Disallow: /login/
Disallow: /admin.php
Disallow: /ajax/
Disallow: /misc/contact/
Disallow: /data/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly/
Disallow: /events/weekly/
Disallow: /find-new/
Disallow: /help/
Disallow: /internal_data/
Disallow: /js/
Disallow: /library/
Disallow: /search/
Disallow: /styles/
Disallow: /login/
Disallow: /lost-password/
Disallow: /online/
Allow: /
Sitemap: http://xenforo.gen.tr/sitemap.php
Eger forumunuz ana dizinde değil ise Disallow: /forum/online/ olarak düzenleme yapınız.

 
Son düzenleme:

mkucuksari

XGT Smod
Yönetici
XGT Smod
Katılım
20 Ağu 2017
Mesajlar
2,112
SMF geçiş sonrası geçenlerdeki Google indekslerini kontrol edeyim dedim. Bir de baktım sürekli keni kullanıcı profillerini indeksliyor :eek:
Çünkü ben notlarımda olmasına rağmen "root.txt"" koymayı unutmuşum ;)

- Hemen ilk olarak konu eski olunca, burada kullandığımız "root.txt" son halini kopyaladım https://xenforo.gen.tr/robots.txt
- Eski linklerin 301 URL yönlendirmesi düzgün çalışması için forumu www.domain.com/forum olarak kurmuştum.
- Tüm satırları yeniden düzenledim Disallow: /forum/xxxxx/
- Son olarak "root.txt" dosyasını forumun ana dizini kopyaladım www.domain.com/forum

Bakalım son durum nasıl olacak. Bu arada bu konu ve detaylı anlatım için teşekkürler @eTiKeT™ hocam.
 

sat679

xFanatik
XGT 2 kullanıcı
Katılım
11 Ara 2017
Mesajlar
183
Elinize sağlık. Taşıma yapılan sitede de işimizi gördü. Çok teşekkürler....
 

Aydar

XGT Host Müşterisi
Host Müşterisi
Katılım
22 Eki 2017
Mesajlar
271
Web sitesi
www.romindir.com
Teşekkürler bunu unutmuştum bende diyorum site neden googlede hiç çıkmiyor inşallah bundan sonra çıkır. :)
 

HayvanSever

xFanatik
XGT 2 kullanıcı
Katılım
13 Mar 2019
Mesajlar
138
Şöyle yaptım:

# robots.txt
Kod:
https://siteadi.com
Disallow: /admin.php

Sitemap:
Kod:
https://siteadi.com/sitemap.php
Sorun olur mu?
 
Son düzenleme:

eTiKeT™

value="{XenGenTr}"
Yönetici
XGT Master
Katılım
4 Ara 2016
Mesajlar
3,182
Konum
Ankara
Web sitesi
xenforo.gen.tr
Butün hepsinin başına /forum ekleyelim sadece online olanımı?

bizdeki forum klasöründe robots.txt ana dizinde.
Eger forumunuz /forum dizinde ise robots.txt dosyasınıda forum dizininde barındırıyorsanız bir şey yapmanıza gerek yok olduğu gibi kullanabilirsiniz.
Eger forumunuz /forum dizininde ve robots.txt ana dizinde ise /forum/xxx olarak eklemelisiniz.
 
Google ads alanı