Ошибки в robots.txt

Кстати, о robot.txt. Гоша иногда херню гонит то что страницы не доступны.
Поэтому лучше его сделать таким.

User-agent: *
Disallow: /download.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /viewonline.php
 
Sitemap: http://torrentpier.com/sitemap.php

Sprinx, директива Crawl-delay на самом деле неверно использовалась, ее убрал. Директива Host используется для Яндекса, чтобы указать какое доменное имя считать главным, если сайт доступен по нескольким (в нашем случае скорее из-за неверной настройки сервера, когда можно открыть трекер по вымышленному адресу blablabla.site.ru и т.п.), ее убирать не стоит. Clean-param также удалил, поскольку Яндекс немного некорректно обрабатывает эту директиву - в индекс страницы все равно попадают, но приводятся к одному sid, который раньше был выцеплен. Проблема ссылок с сессиями скоро будет не актуальна.

Спасибо за указания на недочеты. Исправленный robots.txt будет включен в следующую ревизию.

Сервак настроен без www и в гугле был выбран тоже без www.

Исправлено в новой ревизии: https://code.google.com/p/torrentpier2/source/detail?r=584
Спасибо за багрепорты.

Скачать r584 можно в центре загрузки: http://get.torrentpier.com/

а почему в файле robots.txt строчка

Sitemap: http://torrentpier.com/sitemap.php

которую нужно изменить под свой домен, а самого файла sitemap.php в движке нет

sockrat, поставь мод, или купи....обещали в двиг добавить со временем.

Просто как то интересно, файл со времен начала тп2, а самой карты никогда и не было

sockrat, кто захочет сам поставит.

это не логично

еще как логочно