Xenforo için örnek robots.txt dosyası ve bilinmesi gerekenler

XenForo için örnek Robots.txt Dosyası ve bilinmesi gerekenler
Robots.txt, arama motoru yazılımlarına sitenizin hangi bölümlerini dizine ekleyebileceğini, hangi dizini taraması gerektiğini, hangi arama motoru yazılımının giriş izni olduğunu veya olmadığını söylemeye yarayan basit bir komut dosyasıdır. Örümcek olarak da adlandırılabilen Arama motoru yazılımları sitenize geldiğinde ilk olarak bu dosyayı tarar ve dosyadaki komutlara göre sitenin izin verilen bölümlerini dizine ekler.​



Nasıl Kullanılır?

Robots.txt dosyası belli standartlara uygun olarak hazırlanmalıdır ve sitenizin kök dizinine yüklenmelidir. Robots.txt dosyası hazırlanırken dikkat edilmesi gereken en önemli üç nokta şunlardır:​
  1. Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması
  2. Robots.txt dosyasının UTF-8 karakter kodlamasına uygun şekilde hazırlanmış olması
  3. Robots.txt dosyasının site URL’siyle aynı formatta olması
Robots.txt dosyasının sitenizin kök dizininde bulunuyor olması bir gerekliliktir ve dosya oluşturulurken herhangi bir alt klasörde veya başka bir sayfada yer almaması gerekmektedir. Robots.txt dosyasının URL’si mutlaka standart olmalıdır; örneğin:​
Doğru: https://www.siteadresiniz.com/robots.txt
Yanlış: https://www.siteadresiniz.com/main/robots.txt
Robots.txt dosyası düz metinden oluşmalı ve UTF-8 karakter kodlaması dışında bir karakter kodlaması kullanılmamalıdır. Robots.txt dosyası dinamik ve değişken içeriğe sahip olabilir, dosyayı istediğiniz zaman istediğiniz şekilde değiştirebilir ve düzenleyebilirsiniz. Tavsiyemiz, dosyanın her zaman çalışır durumda olması, herhangi bir amaçla kullanımdan kaldırılmaması ve gizlenmemesi yönündedir.​
Ayrıca Robots.txt dosyasının sahip olduğu URL, sitenizin erişildiği URL ile aynı olmalıdır. Eğer https protokolü kullanıyorsanız, robots.txt dosyasının adresi de https protokolüne uygun olacak şekilde düzenlenmelidir. Örneğin;​
Doğru:​
Yanlış:​



Robot.txt Komut anlamları

User-agent: ilgili botun adını belirler
User-agent: DeepCrawl #Burada boot adı DeepCrawl​
User-agent: * #* Tüm borları kapsaması anlamına gelir.​
Crawl-delay: Verilerin çekilmesi için zaman aralığı belirler.
Crawl-delay: 20 #Bu alanda ilgili bota 20 saniye aralıklar ile veri çekim komutu verilmiştir.​
Request-rate: Verilerin çekimini oranlılar.
Request-rate: 5/10 #Her 10 saniyede en fazla 5 sayfalık veri çeker​
Request-rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri çeker
Visit-time: Ziyaret zamanlarını belirler
Visit-time: 0800-1045 # saat 08.00 ile 10.45 Saatleri arasında ziyaret talep edilmiştir.
Allow: Verilerin çekmek için izin verir.
Allow: /dosya/senindosyan .html #Bu dosyadan,sayfadan verilerin çekilmesine izin verilmiştir.
Allow: /dosya/ #Adı geçen dosya ve içerisindeki tüm verilerin çekilmesine izin verilmiştir.

Disallow: Verilerin çekilmesini engeller.
Disallow:/dosya/senindosyan .html #Bu dosyadan,sayfadan veri çekilmesi engellenmiştir.
Disallow:/dosya/ #Bu dosyadan,sayfadan ve içerisindeki tüm dosya,sayfalardan veri çekilmesi engellenmiştir.



XenForo için Robot.txt Dosyası nasıl olmalıdır ?

HTML:
# robots.txt  http://xenforo.gen.tr
# Turkce xenforo destek forumu

User-agent: Mediapartners-Google
Allow:
 
User-agent: ia_archiver
Allow:
 
User-agent: duggmirror
Disallow: /
 
User-agent: *
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /conversations/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /search/
Allow: /
 
Sitemap: http://siteisminiz.com/sitemap.php



Eger forumunuz ana dizinde değil ise Disallow: /forum/online/ olarak düzenleme yapınız.

XenForo rota filtreleri kullanıyorsanız rotalarınızın her iki türünü eklemenizde gereklidir.;

Örnek;

HTML:
Disallow: /members/
Disallow: /kullanicilar/

Disallow: /account/
Disallow: /hesap/
 
Son düzenleme:
SMF geçiş sonrası geçenlerdeki Google indekslerini kontrol edeyim dedim. Bir de baktım sürekli keni kullanıcı profillerini indeksliyor :eek:
Çünkü ben notlarımda olmasına rağmen "root.txt"" koymayı unutmuşum ;)

- Hemen ilk olarak konu eski olunca, burada kullandığımız "root.txt" son halini kopyaladım https://xenforo.gen.tr/robots.txt
- Eski linklerin 301 URL yönlendirmesi düzgün çalışması için forumu www.domain.com/forum olarak kurmuştum.
- Tüm satırları yeniden düzenledim Disallow: /forum/xxxxx/
- Son olarak "root.txt" dosyasını forumun ana dizini kopyaladım www.domain.com/forum

Bakalım son durum nasıl olacak. Bu arada bu konu ve detaylı anlatım için teşekkürler @eTiKeT™ hocam.
 
Teşekkürler bunu unutmuştum bende diyorum site neden googlede hiç çıkmiyor inşallah bundan sonra çıkır. :)
 
Şöyle yaptım:

# robots.txt
Kod:
https://siteadi.com
Disallow: /admin.php

Sitemap:
Kod:
https://siteadi.com/sitemap.php

Sorun olur mu?
 
Son düzenleme:
Butün hepsinin başına /forum ekleyelim sadece online olanımı?

bizdeki forum klasöründe robots.txt ana dizinde.

Eger forumunuz /forum dizinde ise robots.txt dosyasınıda forum dizininde barındırıyorsanız bir şey yapmanıza gerek yok olduğu gibi kullanabilirsiniz.
Eger forumunuz /forum dizininde ve robots.txt ana dizinde ise /forum/xxx olarak eklemelisiniz.
 
Kişiselleştirme

Tema editörü

Ayarlar Renkler

  • Mobil kullanıcılar bu fonksiyonları kullanamaz.

    Alternatif header

    Farklı bir görünüm için alternatif header yapısını kolayca seçebilirsiniz.

    Görünüm Modu Seçimi

    Tam ekran ve dar ekran modları arasında geçiş yapın.

    Izgara Görünümü

    Izgara modu ile içerikleri kolayca inceleyin ve düzenli bir görünüm elde edin.

    Resimli Izgara Modu

    Arka plan görselleriyle içeriğinizi düzenli ve görsel olarak zengin bir şekilde görüntüleyin.

    Yan Paneli Kapat

    Yan paneli gizleyerek daha geniş bir çalışma alanı oluşturun.

    Sabit Yan Panel

    Yan paneli sabitleyerek sürekli erişim sağlayın ve içeriğinizi kolayca yönetin.

    Box görünüm

    Temanızın yanlarına box tarzı bir çerçeve ekleyebilir veya mevcut çerçeveyi kaldırabilirsiniz. 1300px üstü çözünürler için geçerlidir.

    Köşe Yuvarlama Kontrolü

    Köşe yuvarlama efektini açıp kapatarak görünümü dilediğiniz gibi özelleştirin.

  • Renginizi seçin

    Tarzınızı yansıtan rengi belirleyin ve estetik uyumu sağlayın.

Geri