Форум » Astra.CMS

Правильный robots.txt

Подскажите, где взять правильный базовый robots для Астры, где закрыты "вредные" с точки зрения seo, для индексации папки, результаты поиска, дублирования страниц и т.п.?

Не слишком разбираюсь в структуре и есть надежда, что все-таки не придется в ней копаться

Все системные папки уже закрыты на уровне .htaccess.
Все остальное уже зависит от конкретного сайта, как правило, ничего еще закрывать не требуется. Достаточно в настройках сайта указать переадресацию на главный хост (с www или без), чтобы убрать зеркало.

Спасибо. Про главный хост знаю.
Как насчет дублирования страниц ( с ЧПУ и id) и результатов поиска? В robots под MODx это пишется так:

Disallow: /?
Disallow: /*?id=

А у вас как?

Здесь нет дублирования страниц (с ЧПУ и id), все страницы только ЧПУ.
GET параметры тоже местами используются (например для постраничной навигации), но дублями такие страницы не являются. Но можно и закрыть все get параметры при желании Disallow: /?

В общем все зависит от сайта. Если хотите закрыть раздел поиска, то и закрывайте просто его URL, например Disallow: /search и т.д. (url могут быть другие при сборке сайта).

Понял, спасибо за ответ.

Еще вопрос, по .htaccsses
Мой сайт открывался и с www и без оных. Чтобы избежать дублирования, прописал в .htaccsses следующие строчки( редирект на без www):

Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.stroymastera.ru
RewriteRule ^(.*)$ http://stroymastera.ru/$1 [R=permanent,L]

После того, как я внес эти строчки в родной .htaccsses сайт пропал, вообще.

Вот исходный текст:

Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.stroymastera.ru
RewriteRule ^(.*)$ http://stroymastera.ru/$1 [R=permanent,L]

php_flag register_globals Off
php_flag magic_quotes_gpc Off
php_value upload_max_filesize 10M

<FilesMatch "\.(html|js|css|bmp|gif|jpe?g|png|swf|htc|xml|xsl|wsdl|gz)$">
Allow from all
</FilesMatch>

AddType application/x-javascript .gz
AddEncoding gzip .gz

RewriteEngine on
RewriteBase /

RewriteCond %{HTTP:Accept-encoding} gzip
RewriteCond %{REQUEST_FILENAME}.gz -f
RewriteRule ^(.*)$ $1.gz [QSA,L]

RewriteCond  %{REQUEST_FILENAME}  !-f
RewriteRule ^.*$ /index.php

Как правильно поставить редирект на без www в данном случае?

Не надо трогать .htaccess.
админка - сайт - настройки - переадресация на хост - тут указать главный хост без www.

Ок, спасибо.