XenForo robots.txt Ayarları

Robots.txt ayarınızı bu şekilde yapıp anadizine atabilirsiniz. Kendizine göre düzenlemeler, eklemeler ve çıkarımlar yapabilirsiniz. Unutmadan robots.txt’in seo üzerinde bir etkisi yoktur. Sadece botlara sınırlama yapmanızı sağlar….

User-agent: *
Disallow: /misc
Disallow: /help
Disallow: /search
Disallow: /members
Disallow: /register
Disallow: /login
Disallow: /online
Disallow: /lost-password
Disallow: /recent-activity
Disallow: /data/
Disallow: /internal_data/
Disallow: /js/
Disallow: /library/
Disallow: /styles/
Disallow: /admin.php
Disallow: /admindav.php

Orijinal Konu : BURADAN