Jump to content
Sign in to follow this  
roberto_one

Plik robots.txt

Recommended Posts

Witam

Znowu mam przeciążenie na serwerze ponad 5% dla CPU i mail od Bok'u, że:

Jednocześnie informujemy, iż analizy naszych specjalistów wskazują, że za znaczną większość przekroczeń odpowiadają tzw. "roboty sieciowe" indeksujące zawartość stron WWW.

Ktoś może wie co w takim pliku powinno się znajdować, lub dałby jakiś przykład takiego pliku robots.txt dla stron opartych o WP.

Share this post


Link to post
Share on other sites

Witam

Znowu mam przeciążenie na serwerze ponad 5% dla CPU i mail od Bok'u, że:

Ktoś może wie co w takim pliku powinno się znajdować, lub dałby jakiś przykład takiego pliku robots.txt dla stron opartych o WP.

User-agent: *
Disallow: /admin/
Disallow: /themes/admin
Disallow: /include/
Disallow: /js/ 

User-agent: MJ12bot
Disallow: /


User-agent: baiduspider
Disallow: /admin/
Disallow: /themes/admin
Disallow: /include/
Disallow: /js/ 

User-agent: Googlebot
Disallow: /admin/
Disallow: /themes/admin
Disallow: /include/
Disallow: /js/ 

User-agent: msnbot
Disallow: /admin/
Disallow: /themes/admin
Disallow: /include/
Disallow: /js/ 

User-agent: naverbot
Disallow: /admin/
Disallow: /themes/admin
Disallow: /include/
Disallow: /js/ 

User-agent: seznambot
Disallow: /admin/
Disallow: /themes/admin
Disallow: /include/
Disallow: /js/ 

User-agent: Slurp
Disallow: /admin/
Disallow: /themes/admin
Disallow: /include/
Disallow: /js/ 

User-agent: teoma
Disallow: /admin/
Disallow: /themes/admin
Disallow: /include/
Disallow: /js/ 

User-agent: Yandex
Disallow: /admin/
Disallow: /themes/admin
Disallow: /include/
Disallow: /js/ 

to jest przykładowy robots.txt strony na której bot o nazwie MJ12bot robił przeciążenie i został całkowicie zablokowany, ale to musisz w logach sprawdzić jaki bot Ci robi kuku ;-) Pozostale boty poblokowane mają katalogi .

 

 

Dla WP napewno nalezy poblokować :

 

Disallow: /wp-admin/
Disallow: /wp-includes/
Edited by Anita

Share this post


Link to post
Share on other sites

Dzięki Anita za odpowiedź.

Pisałem do Bok'u aby podali mi . które boty generują takie obciążenie i to jednak nie boty były, ktoś puścił na moją stronę atak słownikowy, jednak hasło do panelu WP mam 17 znakowe, więc nie dali rady ;)

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

×