При копировании материала с этой страницы вы обязаны установить ссылку на нее согласно ч.4 Гражданского Кодекса РФ об интеллектуальных правах. В случае нарушения данного требования кража контента будет преследоваться по закону.
Учебник ucoz
Вторник, 23.05.2017, 06:10
Приветствую Вас Гость | RSS
 
Главная РегистрацияВход
Учебник ucoz
Форма входа
Главная » 2011 » Сентябрь » 17 » Как правильно составить файл robots.txt
18:07
Как правильно составить файл robots.txt
Как правильно составить файл robots.txt

Обзорная статья о пользовании файлом robots.txt, с помощью которого можно контролировать индексацию сайта поисковой системой.

Продолжая тематику индексации web-сайта хочется поведать о файле robots.txt. Боты поисковых систем при заходе на сайт сначала обращаются к нему и читают инструкции по индексированию. Наличие этого файла не обязательно, но крайне желательно.

Имеет значение сформировать файл robots.txt как положено, иначе ошибки в нём могут стать причиной негативного эффекта. Для создания советов краулеру применяется определенный синтаксис, который не открывает к индексации, а только запрещает.
Составляется и изменяется текстовый файл при использовании Блокнота или подобных программ.

Сохраняется файл robots.txt в корневой папке веб-сайта. Имя файла нужно, чтобы было в нижнем регистре (т.е. robots.txt, а не Robots.Txt и т.д. )

Пример нужной текстовой составляющей файла robots.txt
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /admin/
Host: www.site.ua
Sitemap: http://www.site.ua/sitemap.xml
User-agent: Googlebot
Disallow: /admin.php
Disallow: /hide.html
Sitemap: http://www.site.ua/sitemap.xml
User-Agent: *
Disallow: /

Атрибут User-agent указывает нужному поисковому краулеру инструкции для выполнения. Если стоит *, то следовательно указанные предписания имеют отношение ко всем поисковым системам.

Директива Disallow закрывает от индексации определенную папку или файл. Для того, чтобы закрыть от индексации веб-сайт полностью следует прописать "Disallow: /", а чтобы НЕ запрещать индексировать web-сайт, надо ввести "Disallow: "
Атрибут Host определяет главный домен для сайта. Внимание! Ее использует исключительно Yandex! Адрес сайта прописывается БЕЗ HTTP://

Атрибут Sitemap используется для определения карты сайта. Адрес карты сайта пишется полностью вместе с HTTP://
Следует знать, что мы не сможем, например, открыть к индексации только страницу index.html, а все другие запретить. Хотя, конечно, сделать это можно, но для этого придется заполнять в robots.txt ВСЕ имеющиеся документы и каталоги, не считая самого index.html.

Это является главным минусом файла robots.txt, т.к. иногда возникает потребность в атрибуте Allow.
Категория: Оптимизация и раскрутка | Просмотров: 953 | Добавил: admin | Теги: robots.txt, Robots | Рейтинг: 1.0/1
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
Поиск
Обучение
Хостинг, домены [15]
Заработок [14]
Шаблоны, скрипты [12]
Оптимизация и раскрутка [50]
Реклама [4]
Поисковики [14]
Блоги [7]
Видеоуроки [5]
Программирование [3]
WEB-дизайн [6]
CMS [7]
Игры [1]
Архив записей
Статистика

Онлайн всего: 1
Гостей: 1
Пользователей: 0
Copyright polza.my1.ru © 2017
Бесплатный хостинг uCoz