Автоматический парсер раздач с rutor.info

Started by Virtuoz on 2016-09-17 14:12 — 173 replies, 33049 views

#131
банят рефера, а не ip., т.е. поможет смена домена. с умом надо этот парсер юзать
#132
поможет смена домена
домен новый, вчера купил, он не причем
#133
банит рутор, у себя. много запросов к их серверу сделал при первой попытке парсинга релизов в базу, защита от ddos у них. банит весь диапазон апа твоего сервера и твой домен.
#134
Как сообщает сам рутор, он банит при несоблюдении robots.txt, а там
User-agent: *
Crawl-delay: 3
Соответственно после парсинга раздачи необходим sleep(3);
Ну и используйте не IPv4, если ваш хостинг/сервер поддерживает IPv6, то хост лучше указать вот так
http://[2001:67c:28f8:7b:42df:833:9648:5d6d]/
#135
Как сообщает сам рутор, он банит при несоблюдении robots.txt, а там
User-agent: *
Crawl-delay: 3
Соответственно после парсинга раздачи необходим sleep(3);
Ну и используйте не IPv4, если ваш хостинг/сервер поддерживает IPv6, то хост лучше указать вот так
http://[2001:67c:28f8:7b:42df:833:9648:5d6d]/
А где все это писать?
#136
sleep(3);
#137
В данном парсере, без понятия, я кода не видел !
Подозреваю что перед file_get_contents или перед curl_init
#138
в цикле for можно попробовать
#139
В данном парсере, без понятия, я кода не видел !
Подозреваю что перед file_get_contents или перед curl_init
Spoiler content hidden.
Spoiler content hidden.
Spoiler content hidden.


Пожалуйста ткните пальцем😕
#140
Пожалуйста ткните пальцем
Лучше автора мода спросить. Он точнее скажет.

И блин !! snoopy class, на сколько я помню, лет уж 5-6 не обновляется !