Botların Üye Listelerine Erişiminin Engelli veya Açık Olması
Bu durumda arama motoru botlarının üye listesine, üye profiline vb'ne erişiminin olması veya olmaması durumu nasıl olmalıdır?
Çünkü engellersek web master hesapları hata kayıtları ile doluyor. Ulaşılamayan içeriklerden dolayı...
Bu konuda görüş ve önerilerinizi...
Destek ve anlayışınız için teşekkür ederim.
www.asddddd.com//robots.txt
Bu durumda arama motoru botlarının üye listesine, üye profiline vb'ne erişiminin olması veya olmaması durumu nasıl olmalıdır?
Çünkü engellersek web master hesapları hata kayıtları ile doluyor. Ulaşılamayan içeriklerden dolayı...
Bu konuda görüş ve önerilerinizi...
Destek ve anlayışınız için teşekkür ederim.
www.asddddd.com//robots.txt
Kod:
User-agent: *
Disallow: /attachments/
Disallow: /misc/
Disallow: /help/
Disallow: /yardim/
Disallow: /xentrade/
Disallow: /members/
Disallow: /kullanicilar/
Disallow: /register/
Disallow: /online/
Disallow: /lost-password/
Disallow: /index.php?lost-password/
Disallow: /account/
Disallow: /admin.php
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /goto/
Disallow: /login/
Disallow: /find-new/
Disallow: /account/
Disallow: /admin.php
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /ajax/
Disallow: /index.php?help/terms
Disallow: /index.php?help/