Мало сделать хороший сайт с удобной навигацией и качественным контентом, в разы важнее – сделать его “видимым” для поисковых систем. Для этого ресурсы проводят через индексацию сайта в поисковых системах. Без этого о его существовании будете знать только вы и ваши знакомые. В выдаче запросов ресурс не появится, так как для поисковиков . Лишь только после успешного добавления страниц нового сайта в базы Гугла, Яндекса и других систем посетители смогут “нагуглить” и ваш интернет-портал или магазин.
Что же кроется за этим термином, почему этому уделяют столько внимания, и как можно сделать все самостоятельно – без помощи специалистов. Давайте детально разберемся во всех этих вопросах.
Индексация сайта в поисковиках – это процесс, во время которого поисковые боты (специальные программы поисковиков) «изучают» страницы сайта и добавляют результаты анализа вместе с ссылками в базы данных поисковика, из которых система получает информацию для последующего формирования поисковой выдачи.
Содержание статьи
На самом деле, рано или поздно любой сайт поисковик обнаружит самостоятельно, но лучше бы его всего владельцу подать информацию заранее – весь процесс пройдет быстрее в разы. Процедура первичной индексации сайта в поисковиках простая и много времени не займет, да и производится она бесплатно.
В сервисах для веб-мастера нужно зайти в раздел:
https://webmaster.yandex.ru/addurl.xml
Здесь вы видите поле для добавления адреса сайта и капчу, которая защищает систему от автоматических добавлений информации. Все просто и понятно: добавляете адрес вашего сайта, вводите капчу и читаете ответ. Может быть несколько вариантов:
Гугл также имеет собственный набор инструментов для веб-мастеров, где и находится аналогичный сервис добавления сайтов: www.google.com/webmasters/tools/submit-url
Если в Yandex индексация сайта доступна любому пользователю, то Google требует предварительно пройти регистрацию или авторизоваться, т.е. вам придется предварительно создать в Гугле учетную запись, если до этого ее не было.
Если не считать этого, то процесс аналогичный – вы также добавляете адрес сайта и ждете «в гости» бота. Гугл индексирует новые сайты очень быстро, обычно уже через неделю. А если вы будете постоянно обновлять информацию, например, активно вести блог, то бот Гугла примется “гостить” на вашем ресурсе даже по нескольку раз в день. Правда, стоит вам сделать перерыв, например, на неделю, и число посещений Google резко снизится, после чего придется постараться, чтобы он снова стал к вам лоялен.
Перечисленные в заголовке российские системы не относятся к числу самых популярных и востребованных. Тем не менее, у них есть своя аудитория, и не стоит пренебрегать возможностью получить посетителей из разных источников. Тем более, что это бесплатно и несложно.
Рамблер с некоторых пор стал пользоваться базами данных от Yandex, а потому ваша заявка на индексацию сайта Яндексом одновременно актуальна и для Рамблера.
Сервис Mail.ru наоборот, постоянно развивается, и здесь все больше появляется инструментов для веб-мастеров: go.mail.ru/addurl
Нигма – это российская разработка, которая пока что не сумела стать очень популярной, но несколько миллионов посетителей в день она имеет. А потому будет не лишним отправить сайт на индексацию и в этот сервис: www.nigma.ru.
Если вы намерены раскручивать свой проект преимущественно в Рунете, то вам будет достаточно привычной для всех индексации сайта в Яндексе и Гугле. Но для сайтов с англоязычной версией, владельцы которых хотели бы видеть зарубежных посетителей, очень важно «рассказать» о вашем сайте также и поисковикам, популярным в Европе и Америке. Самые известные из них – Yahoo.com и Бинг.
Для Yahoo вам нужно будет добавить информацию здесь: search.yahoo.com.
Для Бинг также есть раздел добавления имени сайта: www.bing.com.
Другие поисковики англоязычного интернета очень часто используют базы данных двух этих крупных систем. А потому для начала вам этого будет больше чем достаточно.
Итак, вы разобрались, как подать сайт на индексацию, выполнили все необходимые действия, ждете на страницах ресурса ботов от поисковиков, а их почему-то нет. Как это ни парадоксально, но самая распространенная причина – это запрет на индексацию в файле robots.txt.
Многие CMS-системы устанавливают запрет на чтение всего сайта поисковыми сервисами по умолчанию, чтобы они не запоминали «сырые» варианты. Убедитесь, что вы не забыли снять такой запрет. Делается это так:
Так выглядит запрет индексации сайта. А теперь измените эти команды так, чтобы ваш сайт смог индексироваться. Для того чтобы разрешить индексирование сайта в поисковиках без ограничений, достаточно исправить команды следующим образом:
User-agent: *
Disallow:
БЫвает и так: нужно, чтобы поисковые боты видели публичную часть сайта, а разделы служебные, которые вы используете для управления через админ-панель, им показывать ни к чему. Тогда нужно прописать запрет здесь:
Disallow: /admin-panel/
Вместо «admin-panel» вы можете указать название любой папки вашего сайта (смотрите на хостинге), которую нужно спрятать от индексации. Где именно хранится админ-раздел в вашей CMS, можно прочитать в документации к выбранному вами движку или узнать у программиста.
Иногда индексация сайта в поисковиках затягивается по непонятным причинам. Причем, очень часто бывает так, что главную страницу сайта они «видят» уже долгое время, а другие – не замечают, как будто их нет. Тогда нужно помочь ботам прочитать сайт. Первое, что рекомендуется сделать – создать карту вашего сайта.
Список всех существующих страниц создается при помощи автоматизированных плагинов на самом сайте или программ. Их очень много, а потому выбирайте любой на свой вкус. Также многие движки сайта имеют собственные встроенные инструменты для создания и обновления карты сайта. Ими пользоваться еще удобнее.
Важно, чтобы у вас появился специальный файл с названием «sitemap.xml», который поможет ботам быстрее «прочитать» структуру ресурса и начать долгожданную индексацию страниц сайта в Яндексе, Гугле и других системах.
Важно оптимизировать не только контент, но также и код. А важно это именно для того, чтобы поисковые боты не «заблудились» в коде вашего сайта и сумели прочитать все страницы правильно. Убедитесь, что ваш сайт работает корректно.
Сео-теги, удобная навигация и внутренняя перелинковка также важны. Теги подсказывают, какая индексация запросов в Яндекс и Гугл будет правильной для вашей тематики, по каким ключевым фразам ваш проект нужно показывать. А продуманное меню сайта и внутренние ссылки помогут не только пользователям, но и ботам поиска быстрее найти все страницы.
Уникальный контент – очень важно! Если вы наполнили сайт текстами, скопированными на других ресурсах, индексацию ваш сайт может и пройдет, но по ее итогам окажется в «хвосте» выдачи запросов. А может и вовсе попасть под фильтры, т.е. получить наказание в виде поискового бана.
Иногда случается и такое, что сайт – в полном порядке, но индексирование сайта в поисковиках идет крайне медленно или вообще не идет. Понять причины проблем удается далеко не всегда. А вот ускорить процесс можно при помощи внешних ссылок.
Дело в том, что поисковые боты, когда встречают внешние ссылки, практически обязательно переходят по ним и также просматривают содержимое. А потому ссылки, размещенные на чужих сайтах, давно и плодотворно применяют в процессе продвижения. Но здесь есть важный нюанс.
Когда линк на ваш сайт будет на странице популярного ресурса, поисковик заметит его уже через несколько часов. Если же ссылка будет размещаться на редко посещаемом, заброшенном или даже «мусорном» портале, то бот доберется до вас очень не скоро.
Подведем итог. Первое, что важно при индексации – подать заявку. С этим вы можете справиться и своими силами. А вот добиться, чтобы поисковые системы видели не только вашу главную страницу, но и весь сайт, чтобы стали заходить к вам как можно чаще – задача не самая простая.
Для этого мало прочитать одну или две статьи о том, как индексировать сайт в поисковых системах. Для грамотного продвижения в сети нужны глубокие знания и практический опыт. И любая ошибка в этой работе приведет к тому, что Google станет заходить к вам крайне редко, а Yandex может вообще «забыть» о наличии вашего сайта на долгие месяцы. Например, если станете злоупотреблять внешними ссылками, ваш сайт может оказаться под фильтрами, т.е. вне поисковой выдачи. И выводить его оттуда – дело долгое, сложное и даже не всегда реальное.
Если ваш проект целиком и полностью зависит от того, как работает продвигающий его ресурс, то есть смысл задуматься над тем, чтобы доверить работу по “раскрутки” сайта для поисковиков профессионалам. Как минимум – стоит взять парочку уроков и потратить немало времени, чтобы научиться все делать правильно, а не как получится.
