Robots.txt
и SiteMap:
Что
бы роботы проиндыксировали ваш сайт быстрее нужны эти маленькие, но очень
полезные вещи.
И так начнём с Robots: Для того чтобы создать Robots создайте блокнот и
назавите его Robots в формате txt.
и всунте
туда
следуюший
код:
User-agent: *
Disallow: /panel/
Disallow: /admin/
Disallow: /search
Host: Ошибка! Недопустимый объект
гиперссылки.
на сайт
Sitemap:http://домен/ sitemap.xml
Sitemap:http://домен/sitemap-forum.xml
И загрузите в файловый менеджер. Желательно сразу в корень, но не в другие
папки.
Это значительно ускоряет индексацию сайта.
SiTemap-это
карта вашего сайта также неотемная часть в индексации. Sitemap можно создать
тут http://www.htmlweb.ru/analiz/sitemap.php
Выбираем формат xml и генерируем, ждём, скачиваем его и также загружаем в файловый
менеджер,и нужно вынести сылку на SiteMap
<a href="cылка на SiteMap"
target="_blank">SiteMap</a>
Что бы сообшить поисковику о новом сайтмапе нужно подобавлять его в поисковики.
Вот сылки на сообщения нового SiteMap.
Яндекс http://webmaster.yandex.ru/wmconsole/sitemap_list.xml?host=
http://search.yahooapis.com/SiteExplorerService/V1/ping?sitemap=
Ask.com http://submissions.ask.com/ping?sitemap=
Live Search http://webmaster.live.com/ping.aspx?siteMap=