Зачем нужен robots.txt  ?

Файл robots.txt, необходим для того, чтобы показывать поисковым системам Яндекс и Google, те области (разделы) сайта, которые можно индексировать, а какие нет. Собственно именно поэтому, коректно составленный файл robots.txt  положительно влияет на поисковое продвижение сайта в поисковых машинах.

 

Как правильно: robots.txt или Robots.txt ?

Файл robots.txt, многие считают что его имя можно изменять, по своему усмотрению, но на самом деле это совершенно не так. Ниже привожу правильный и направильные варианты написания названия для данного файла.

robots.txt - правильно,

Robots.txt - не правильно,

robot.txt - не правильно,

ROBOTS.txt - не правильно,

ROBOTS.TXT - не правильно.

Файл robots.txt, создается в блокноте, т.е. текстовый редактор в виндовс, который должен иметь расширение txt

Размещается данный файл в корне сайта, т.е. он должен открываться по адр.: istarweb.ru/robots.txt

Правильный robots.txt для Joomla

Итак, ниже привожу пример правильного файла robots.txt для Joomla

User-agent: *
Allow: /images/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php/*

User-agent: Yandex
Allow: /images/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php/*

Host: https://istarweb.ru
Sitemap: https://istarweb.ru/sitemap.xml