То очень важно, чтобы все страницы вашего сайта были проиндексированы в поисковых системах (Яндекс, Google и т.п.).
- Во первых, если страницы нет в индексе, значит люди не смогут ее найти и вы зря потратили время (и возможно деньги) на ее создание, наполнение и оформление. Каждая страница в индексе — это источник посетителей.
- Во вторых, если страницы нет в индексе, это может свидетельствовать о технических проблемах на сайте, например дублирование контента, глюки сайта или хостинга.
- В третьих, эта страница может играть техническую роль, например, участвовать в схеме перелинковки (или содержать платные ссылки, за которые вы не получите деньги, если страницы нет в индексе).
Работая с клиентами я не раз сталкивался с тем, что из-за проблем с индексацией были плохие позиции. Эта техническая проблема, которую я обычно исправляю в первый месяц сотрудничества, за счет чего уже со 2-го месяца бывает заметный рост посетителей и позиций.
Ниже я рассмотрю ручные и автоматизированные способы проверки индексации страниц в Яндекс и Google. Покажу, как проверить индексацию сайта в целом и каждой страницы в отдельности.
Как узнать количество страниц на сайте
Это можно сделать несколькими путями:
Теперь, когда мы знаем фактическое количество страниц, надо проверить сколько из них проиндексированы в Яндексе и Google
Смотрим индексацию сайта в целом
В данном случае мы узнаем сколько всего страниц сайта проиндексировано в поисковой системе . Что нам это дает? Зная фактическое количество страниц на сайте, мы можем сравнить соответствует ли оно количеству проиндексированных страниц. И если соответствует, значит всё в порядке, а если нет, то нужно разобраться с проблемой и выяснить каких именно страниц не хватает (или какие страницы имеют дубли).
Индексация сайта в Яндексе
Несколько способов.
Как видите данные немного отличаются. Это из-за того, что конструкция url:ваш-сайт показывает не только страницы, но другие типы файлов (doc, xls, jpg и т.п.). Вебмастер же показывает именно количество страниц.
Индексация сайта в Google
Здесь аналогично с Яндексом есть 2 способа:
- Вручную с помощью конструкции site:ваш сайт. Эффект будет примерно такой же, как с Яндексом.
- Используя инструменты Google для Вебмастеров https://www.google.com/webmasters/ (аналог Яндекс.Вебмастер)
автоматические способы
Что дальше
Теперь когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:
- Количество страниц в поисковиках и на сайте совпадает. Это идеальный вариант, значит с сайтом всё впорядке.
- Количество проиндексированных страниц меньше. Значит с сайтом проблемы (наиболее популярная проблема — малоинформативный или неуникальный контент)
- Количество проиндексированных страниц больше. Скорей всего у вас проблема с дублированием страниц, т.е. одна страница может быть доступна по нескольким адресам. Это плохо для продвижения, т.к. статический вес страницы размывается и кроме-того получается много страниц с повторяющимся контентом.
Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.
Как проверить индексацию одной страницы
Это нам может понадобится, когда мы хотим проверить конкретную страницу на своем сайте (например, недавно опубликованную) или страницу на чужом сайте (например, где мы купили ссылку и ждем, когда она проиндексируется)
Как проверить индексацию всех страниц по отдельности
В данном случае мы будем проверять на проиндексированность сразу все страницы сайта и в результате узнаем какие конкретно страницы не проиндексированы в поисковике .
Здесь нам понадобится не просто знать количество фактических страниц на сайте, но и список адресов этих страниц (их url). Это наверно самое сложное в этой статье. Список страниц мы вроде бы получили, когда генерировали карту сайта, но там адреса содержатся не в чистом виде и нужно уметь работать с какой-нибудь программой по обработке данных, чтобы извлечь их. Поэтому будем использовать еще одну программу.
Как получить список всех страниц сайта
Перед сбором ссылок нужно настроить параметр Exclude Patterns. Это делается, чтобы исключить при сборе ненужные ссылки, например, в моем случае при сборе собирается очень много адресов вида: https://сайт/prodvizhenie/kak-prodvigayut-sajjty.html?replytocom =324#respond, которые указывают на комментарий на странице. А мне нужен только адрес страницы. Поэтому, я настроил исключение адресов по маске *replytocom*:
Дальше, запускаем сбор url и когда программа закончит их собирать, переходим на вкладку Yahoo Map / Text и копируем адреса оттуда (Кнопка сохранить не работает, т.к. мы используем бесплатную версию программы)
Теперь у нас есть адреса всех страниц.
Как проверить индексацию страниц автоматически
Здесь всё просто. После запуска программы добавляем собранный на прошлом шаге список url вашего сайта и добавляем в список исходных url. Программа позволяет проверять индексацию в Яндекс, Гугл и Rambler, выбираем нужную нам поисковую систему и запускаем проверку:
После того, как получили список страниц, которые не попали в индекс, нужно понять почему это произошло. Если со страницей всё впорядке, то чтобы она зашла в индекс, можно закупить на нее ссылок или несколько ретвитов с прокаченных аккаунтов.
Заключение
Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.
Если есть проблемы с индексацией — в первую очередь надо проверить robots.txt и sitemap.xml.
Любая поисковая система имеет объемную базу данных, куда вносит все сайты и новые страницы. Эта база называется «индекс». Пока робот не обойдет html-документ, не проанализирует его и не внесет в индекс, он не появится в поисковой выдаче. Попасть на него можно будет только по ссылке.
Что значит «индексация»
Лучше, чем спец Яндекса по индексации, вам об этом не расскажет никто:
Индексация — это процесс, в ходе которого страницы сайта обходит поисковый робот и включает (либо же не включает) эти страницы в индекс поисковой системы. Поисковый бот сканирует весь контент, проводит семантический анализ текстового содержимого, качество ссылок, аудио- и видеофайлов. На основе всего этого поисковик делает выводы и вносит сайт в ранжирование.
Пока сайт вне индекса, о нем никто не узнает, кроме тех, кому вы можете раздать прямые ссылки. То есть ресурс доступен для просмотра, но в поисковой системе его нет.
Для чего вообще нужен индекс
Сайт должен попасть в видимость, чтобы продвигаться, расти и развиваться. Веб-ресурс, который не появляется ни в одной ПС, бесполезен и не несет пользы ни пользователям, ни его владельцу.
Вообще, вот полное видео со школы вебмастеров Яндекса, если посмотрите его полностью — станете практически спецом в вопросе индексации:
От чего зависит скорость индексации
Основные пункты, от которых зависит, насколько быстро ваш сайт может попасть в область внимания поисковых роботов:
- Возраст домена (чем старше доменное имя, тем более к нему благосклонны боты).
- Хостинг (ПС совершенно не любят и часто игнорируют бесплатные хостинги).
- CMS, чистота и валидность кода.
- Скорость обновления страниц.
Что такое краулинговый бюджет
У каждого сайта есть краулинговый бюджет — то есть количество страниц, больше которого в индекс попасть не может. Если КБ сайта — 1000 страниц, то даже если у вас их десять тысяч, в индексе будет лишь тысяча. Размер этого бюджета зависит от того, насколько ваш сайт авторитетный и полезный. И если у вас проблема такого характера, что страницы не попадают в индекс, то как вариант, вам нужно, как бы это банально ни звучало, улучшать сайт!
Индексация сайта
Создавая новый сайт, нужно правильно заполнить файл robots.txt, который указывает поисковикам, можно ли индексировать ресурс, какие страницы просканировать, а какие не трогать.
Файл создается в формате txt и помещается в корневой папке сайта. Правильный роботс — это отдельная тема. От этого файла в первую очередь зависит, что и как будут анализировать боты на вашем сайте.
Обычно, на оценку нового сайта и внесение его в базу данных поисковикам требуется от пары недель до пары месяцев.
Пауки тщательно сканируют каждый разрешенный html-документ, определяя соответствующую тематику для нового молодого ресурса. Осуществляется это действие не за один день. При каждом новом обходе ПС будут вносить все большее и большее число html-документов в свою базу. Причем время от времени контент будет подвергаться переоценке, вследствие которой могут меняться места страниц в поисковой выдаче.
Также управлять индексацией помогают мета-тег robots и отчасти canonical. При проверке структуры и решении проблем с индексацией надо всегда смотреть на их наличие.
Google сначала индексирует страницы верхнего уровня. Когда следует проиндексировать новый сайт с определенной структурой, первой в индекс попадает главная страница. После этого, не зная структуры сайта, поисковик будет индексировать то, что находится ближе к слешу. Позже индексируются каталоги с двумя слешами. Это значит, что, даже если ссылки в контенте расположены высоко, они не обязательно будут проиндексированы первыми. Важно оптимально составить структуру, чтобы важные разделы не находились за большим количеством слешей, иначе Google решит, что это страница низкого уровня.
Индексация страницы
Когда Яндекс и Гугл уже познакомились с сайтом и «приняли» его в свою поисковую базу, боты будут возвращаться на ресурс, чтобы сканировать новые, добавляющиеся материалы. Чем чаще и регулярнее будет обновляться контент, тем более пристально будут следить за этим пауки.
Говорят, что для индексации помогает плагин ПДС пингер для поиска Яндекса — https://site.yandex.ru/cms-plugins/ . Для этого нужно сначала установить поиск Яндекса на свой сайт. Но я особой пользы от него не ощутил.
Когда ресурс хорошо проиндексировался, выводить в поиск отдельные, новые страницы уже гораздо проще. Но тем не менее далеко не всегда анализ происходит равномерно и с одинаковой скоростью для всех, одновременно обновленных html-документов. Всегда выигрывают наиболее посещаемые и раскрученные категории ресурса.
Какие есть у поисковиков источники информации об url
Когда-то давно я привлекал быстроробота на конкурента, не продлившего домен, чтобы его понизили в выдаче – это не дало никакого результата.
Как проверить индексацию
Проверка видимости документов html осуществляется по-разному для Google и Яндекс. Но в целом не представляет собой ничего сложного. Сделать это сможет даже новичок.
Проверка в Яндекс
Система предлагает три основных оператора, позволяющих проверить, сколько html-документов находится в индексе.
Оператор «site:» – показывает абсолютно все страницы ресурса, которые уже попали в базу данных.
Вводится в строку поиска следующим образом: site:сайт
Оператор «host:» – позволяет увидеть проиндексированные страницы с доменов и поддоменов в рамках хостинга.
Вводится в строку поиска следующим образом: host:сайт
Оператор «url:» – показывает конкретную запрашиваемую страницу.
Вводится в строку поиска следующим образом: url:сайт/obo-mne
Проверка индексации этими командами всегда дает точные результаты и является самым простым способом анализа видимости ресурса.
Проверка в Google
ПС Гугл позволяет проверить видимость сайта только по одной команде вида site:сайт.
Но у Google есть одна особенность: он по-разному обрабатывает команду с введенными www и без. Яндекс же такого различия не делает и дает абсолютно одинаковые результаты, что с прописанными www, что без них.
Проверка операторами — это самый «дедовский» способ, но я для этих целей пользуюсь плагином для браузера RDS Bar.
Проверка с помощью Webmaster
В сервисах Google Webmaster и Yandex Webmaster также можно посмотреть, сколько страниц находится в базе данных ПС. Для этого нужно быть зарегистрированным в этих системах и внести в них свой сайт. Попасть в них можно по ссылкам:
Суть такая — просто вбиваете адреса страниц, и сервис вам выдаёт результаты:
Проверяет не очень быстро — там надо будет подождать минуты 3, но к бесплатному инструменту и претензий немного. Просто в фоновом окне ставьте и занимайтесь своими делами, через несколько минут результаты будут готовы.
Можно ли ускорить индексацию?
Повлиять на скорость загрузки html-документов поисковыми роботами можно. Для этого следует придерживаться следующих рекомендаций:
- Повышать количество соцсигналов, побуждая пользователей делиться линками в своих профилях. А можно брать твиты с живых аккаунтов в Prospero (klout 50+). Если составите свой вайт-лист твиттеров, считайте, что получили мощное оружие для ускорения индексации;
- Почаще добавлять новые материалы;
- Можно по самым дешевым запросам в своей тематике директ начать крутить;
- Вносить адрес новой страницы в аддурилки сразу же после ее публикации.
Высокие поведенческие факторы на сайте также положительно влияют на скорость обновления страниц в поиске. Поэтому не стоит забывать о качестве и полезности контента для людей. Сайт, который очень нравится пользователям, обязательно понравится и поисковым роботам.
В Google вообще все очень легко — добавить страницу в индекс в течение нескольких минут можно сканированием в панели для веб-мастеров (пункт сканирование/посмотреть как Googlebot/добавить в индекс). Таким же образом можно быстро переиндексировать необходимые страницы.
Я слышал еще истории о чуваках, которые отсылали урлы почтой Яндекса, чтобы они быстрее попали в индекс. На мой взгляд, это бред.
Если проблема прям есть, и все предыдущие советы не помогли, остается переходить к тяжелой артиллерии.
- Настраиваем заголовки Last-modified (чтобы робот проверял на обновление только документы, которые действительно изменились с последнего его захода);
- Удаляем мусор из индекса поисковых систем (этот мусор можно найти с помощью Comparser);
- Скрываем от робота все ненужные/мусорные документы;
- Делаем дополнительные файлы Sitemap.xml. Обычно роботы читают до 50 000 страниц из этого файла, если у вас страниц больше — надо делать больше сайтмапов;
- Настраиваем работу сервера.
? Если вы попали на эту страницу, то наверняка вас не радует то, что поисковые системы, так медленно и неохотно индексируют ваш сайт и вам бы хотелось, чтобы ваши статьи влетали в индекс с такой скоростью, чтобы сразу видеть результат свой кропотливой работы. Все же не очень на душе приятно, когда пишешь километровую статью, а потом неделями ждешь, когда там Яндекс приползет и занесет ее в свою поисковую базу, чтобы ее потом можно было найти в поисковике.
Итак, в этой статье вы узнаете 24 способа, как загнать вашу сайт, статью, страницу в индекс, да так чтобы на утро она уже была, как в Яндексе так и в Google. Хотя, что я тут мелочусь: если вы используете все 24 способа, то ваш сайт со всеми страницами уже через час будет в индексе.
1 ) Первое, что нужно сделать, так это зарегистрироваться в обеих панелях для вебмастеров Яндекса и Google , и добавить туда ваш сайт.
2 ) Ок, перед тем, как пытаться скормить наш сайт поисковикам нам надо сделать для них специальную карту для поисковых ботов под названием . Как сделайте карту сразу же ее на свои хостинг в корень сайта, и установите на нее права 777. Потом вам нужно этот же файл занести в обе панели для вебмастеров Яндекса и Google. Вы сейчас думайте, наверное, а что это вообще за карта такая и зачем она вообще нужна? Ну, вообще-то это простой блокнот, в котором прописано, какие страницы вашего сайта можно индексировать, а какие нельзя. Без этого файлика Яндекс возможно вообще никогда не узнает о существовании вашего сайта, так что без него никуда.
3 ) Нужно сделать карту сайта Sitemap.xml и также закачать ее на свои , и в панели для вебмастеров. Карта сайта в отличие, от карты для поисковиков ботов — это просто список всех ваших страниц и статьей на сайте, блоге. Данную карту вы можете сделать на этом или использовать плагин для движка WordPress под названием .
4 ) Чтобы ускорить индексацию сайта нужно, чтобы его структура была правильной. Что это вообще значит? Да все просто: у каждой страницы есть свой уровень вложения. Смотрите сколько вам нужно раз кликнуть на моем сайте, чтобы добраться до этой статьи. Первый клик будет на «все статьи», второй клик на название статьи. То есть, как мы видим мы сделали 2 клика, а это значит, что моя статья имеет 2 уровень вложения. Так вот неправильная структура сайта — это, когда до вашей статьи или страницы нужно кликнуть больше 3 раз. Запомните, что статьи не должны быть четвертого, там пятого уровня вложенности, надеюсь, с этим все понятно.
5 ) Добавляем новый сайт или статью в адулировку. Это делается в той же панели вебмастеров, для Яндекс . Просто вставляем адрес нашей статьи, заполняем капчу (буквы, цифры от спама) и нажимаем «добавить». Таким способом вы сообщите Яндексу, что у вас появилось новый контент (статьи), и через некоторое время поисковые роботы придут на ваш сайт в порядке очереди.
6 ) Всегда делаем . Перелинковка - это просто поставленная ссылка с вашей статьи, которую вы написали на другую. Правильная перелинковка выглядит так: 1 ссылка на главную страницу сайта и от 3 ссылок на внутренние статьи сайта. В итоге в каждой нашей статье должно быть не меньше 4 ссылок на другие статьи, но этим способом можно и не пользоваться на начальном этапе, когда у вас появился только новый сайт, и на нем еще нет куча статей.
7 ) Добавляйте новые статьи на сайт как можно чаще! Хочу, подметит, что это очень важный пункт для тормознутого Яндекса, так как если вы будете писать одну статью раз в месяц, то вам все из приведенного списка мало что поможет ускорить индексацию сайта. Рекомендую писать и публиковать новые статьи не реже чем через 2-3 дня, но в идеале 1 день. Также желательно публиковать новый материал не только в одни день, но и в одно и то же время. Это дает просто мега результат, статья влетает в индексе меньше чем за час.
Кстати, если вы перестанете регулярно обновлять ваш сайт, то вскоре поисковики станут вам редко заглядывать, помните это! Чтобы ускорить индексацию сайта рекомендую писать статьи не меньше 2000 символов, так как есть слух, что Яндекс как-то не очень относится к таким сайтам, где статья меньше 2000 символов. Если вы напишите меньше, например 500, то она тоже проиндексируется, но продвигать такую статью будет очень проблематично.
8 ) Пишите только уникальные статьи с уникальностью не меньше 90%. Это я к тому, что не надо копировать чужие уже проиндексированные статьи себе на сайт. Такими делами вы не то, что поможете своему сайту, а наоборот грохните его да так, что потом придется новый создавать. Когда будете новый материал всегда проверяйте его на уникальность . Очень часто пользуюсь этим сервисом, на мой взгляд, самый лучший из всех, которые есть по проверки уникальности.
9 ) Убирайте мусорные страницы. Это такие страницы, на которых ничего нету по сути, ну или есть картинка там, например и все. Помните мы говорили с вами про файл robots.txt. Так вот чтобы все мусорные страницы убрать такие, как галерея картинок, адрес вход на сайт, другие файлы, которые не являются страницами сайта нужно в robots.txt запретить их индексировать.
Как ускорить индексацию сайта в Яндексе с помощью сторонних сервисов?
10 ) Делайте постинг (короткий обзор статьи) анонсов новых статей в социальные закладки. Это способ один из самых лучших в плане Google, но, увы, не в плане Яндекса. Все просто вам нужно сделать постинг (короткий обзор статьи), как можно больше число социальных закладок таких как: ВКонтакте, Одноклассники, Твиттер, Фейсбук. Для этого я пользуюсь платной программой «Жукладочник», но вы можете использовать этот сервис который так, же вам бесплатно прогонит статью по нескольким закладкам.
11 ) Сделать RSS-трансляцию с сайта. RSS — это современная технология, позволяющая публиковать и транслировать практически любой материал с любого сайта. Данный способ, так же хорошо помогает ускорить индексацию сайта, как и социальные закладки.
12 ) Делайте постинг в блоги на платформах таких как: Livejournal.com, blogspot.com и другие. Также заметьте, что не обязательно мучиться, вставляя ссылку каждый раз самому с сайта в блоги, все это может за вас сделать плагин для WordPress LiveJournal Crossposter. При публикациях статьей они сразу же будут транслироваться в несколько социальных блогов.
13 ) Пользуйтесь сервисами вопрос-ответ Mail и Google. Просто заходим на mail и ищем человека, который ищет ответ на свой вопрос или информацию, о которой вы написали в вашей новой статье. Затем надо просто кратко написать ему в комментариях со ссылкой, то что вы уже все это подробно написал в своей статье.
14
)
Комментируйте сайты вашей тематики. Тут я хочу подметить, что необязательно комментировать 101 сайт. Все просто — ищем сайт, на котором есть быстрая обновляемость статьями. Если сайт, например, публикует одну статью в день, то это, то, что нужно. Теперь надо зайти на любую статью, прочитать ее и оставить осмысленный комментарий, а не типа что-то этого: спасибо за статью все мега-пупер, классная статья спасибо, большое спасибо за статью. Такие комментарии большинство удаляют чем оставляют.
15 ) Регистрируемся на my.ya.ru и заводим дневник. А вот эта вещь очень даже неплохо действует на Яндекс в ускорении индексации. Если оставить запись в своем дневнике на статью, то Яшка намного быстрее придет, замечено не только мной, но и многими другими вебмастерами (увы сайт больше не работает).
16 ) Регистрируемся в популярных рейтингах, такихкак: Рамблер ТОП100 , Рейтинг@Майл , LiveInternet . На этих сайтах просто живут поисковые роботы особенно рамблера и майла.
18 ) Купите с главной страницы популярного сайта вашей тематики, который постоянно обновляется! Если вы купите такую ссылку, то поисковой бот будет вам чаще заходить даже через не хочу. Внимание прокатывает с Google, с Яндексом слабовато.
19 ) Купите несколько . Это очень дешево, одна ссылка вам с хорошего сайта будет стоить всего 3 рублей за целых 30 дней. Когда купите, потом прогоните купленные ссылки по социальным закладкам. Этот метод применяют в крайних случаях, когда не знают, что делать.
20 ) Размещайте анонсы и пресс-релизы. Тут все просто — ищем сайты, на которых можно бесплатно оставить пресс-релиз (статью со ссылкой). Тут только один минус — статья должна быть уникальной, но большой плюс в том, что можно проставить до 3 ссылок в статье.
21 ) Зарегистрируйтесь на Subscribe.ru и ведите свою рассылку. В настройках рассылки можно вставить свою ссылку на сайт. Когда вы будете высылать новое письмо, поисковые роботы заметят это, что в свою очередь поможет ускорить индексацию сайта.
22 ) Проверяйте ответ от сервиса Яндекса. Бывают случай, что статья ну никак не хочет залезать в индекс Яшки, тогда идем в панель вебмастера Яндекс, переходим проверить ответ сервиса . Добавляем адрес страницы, статьи и жмем «проверить». Яндекс выдаст нам техническую информацию по данной странице. Данную операцию проделываем 7 раз, каждый раз меняя робота Яндекса на другого. Например, с основного робота на робота картинок.
23 ) Накапливайте ссылочную массу сайта. Когда у вас будет 1000 ссылок ведущих на ваш сайт можно больше не задумываться, как ускорить индексацию сайта — она всегда будет быстрой.
24 ) Используйте . Он поможет вам прогнать сотни ваших ссылок по многим RSS-лентам. Это очень удобно, например, когда вы ведете сразу несколько сайтов и вам некогда ждать, когда они проиндексируются. Кстати, этот же сервис можно использовать и для прогона своих доноров, на которых была куплена ссылка, чтобы она быстрее попала в индекс. (увы сайт переехал, так что ждем обновления).
Вот, по сути, и все способы, хотя я пользуюсь не всеми ими, а только 1-10,15,17,22,24 способами. А теперь давайте потолкуем, зачем собственно это ускоренная индексация нужна вообще?
Зачем нужно ускорять индексацию сайта?
Ну, первый и самый главный и важный пункт это за тем, чтобы не украли ваши статьи. Представьте, написали вы статью огромную, убили на нее весь день как я на эту, а какой-то не совсем добрый и вменяемый человек взял да и опубликовал вашу статью у себя. Так вот в чем беда, если у него ваша статья проиндексируется быстрее это будет значить, что Яндекс и Google будут считать его первоисточником и автором данной статьи, и вы ничего тут уже не докажете, в службу поддержки бесполезно писать, до вас и так там тысяча тысяч людей обращались.
Но это также может случиться совершенно случайно без всякого злого умысла со стороны. Мало кто знаете, что такое: поисковое продвижение, SEO, копипаст (не уникальный текст) и т. д. И вот представьте, что просто пришел человек из поиска, и ему очень понравилась ваша статья, поэтому он взял да и опубликовал ее в своем блоге ЖЖ. Смешно конечно, но он-то откуда знали, что так делать нельзя?
У меня даже был случай забавный. Как-то заказывал статью на фрилансе, потом через время проверил ее на уникальность, нашел копию, написал владельцу сайта с горячими и нежными словами, в ответ тоже получил кучу нежных слов только еще нежнее, в итоге выяснилось, что тот фрилансер продал ему статью, которую писал для меня. Потом владелец сайта убрал статью, так как видел, что она у меня раньше опубликована, хотя дату вообще можно любую ставить. Вот такая короче история.
Вторая причина это если вы продаете ссылки с сайта. Это очень важно, если у вас слабая индексация у вас никто не будет покупать ссылки, если даже у вас ИКС 200 и вы продаете ссылку по 100 руб, что очень дешево. Согласитесь, кто захочет выбрасывать деньги на ветер, когда можно купить с такими же параметрами только с 100% индексацией ссылку на свой сайт. Вот поэтому индексация так важна.
На этом, пожалуй, я закончу свой мануал. Надеюсь, после этой статьи у вас больше никогда не возникнет вопроса,
Пока поисковая система не проиндексирует страницу сайта , та не будет участвовать в её результатах выдачи. Узнать о сайте поисковик может двумя способами:
- от вебмастера. Для чего URL-адрес веб-документа нужно добавить в аддурилку Яндекса или Google (от английского add url).
- перейдя на страницы сайта по ссылке с других проиндексированных веб-документов.
На данном блоге я столкнулась с такой ситуацией, что без проблем Яндекс проиндексировал только Главную страницу, а вот внутренние не участвовали в поиске. У Google похожего невнимания не наблюдалось. Там практически молниеносно можно было заметить свою статью в выдаче.
Почему не индексируется сайт в Яндексе
- Google заносит в свою базу данных все страницы сайта: качественные и некачественные без разбора. Но участвуют в ранжировании только полезные веб-документы [не путать ]. Яндекс же сразу не включает веб-хлам. Можно заставить его проиндексировать любую страницу, но со временем поисковик удалит мусор. У обоих систем есть дополнительный индекс. У обоих систем низкокачественные страницы влияют на рейтинг сайта в целом. По последнему пункту есть как официальное заявление [см. блог Google ], так и простая логика. Любимые сайты конкретного человека будут на более высоких позициях в его выдаче. Зато этот же человек с трудом найдёт сайт, который не смог его заинтересовать в прошлый раз. Поэтому вначале нужно закрыть от индексации дубликаты веб-документов , проверить есть ли страницы с отсутствующем содержанием и не пускать в выдачу никудышный контент.
- "Проверить URL" в Вебмастере.Яндекса напомнит, что или что сервер выдаёт .
- Если был приобретён поддержанный домен, на который наложены санкции, то нужно написать в службу поддержки что-то типа Здравствуйте. 01.01.2000 года был приобретён домен сайт.ru. 20.01.2000 года сайт был добавлен в Вебмастер и аддурилку. По прошествии трёх недель он не был проиндексирован. Подскажите, пожалуйста, может ли домен быть причиной плохой индексации?
Как ускорить индексацию в Яндексе
- Подтвердить права на управление сайтом в Яндекс.Вебмастере .
- Опубликовать ссылку на статью в . С 2012 года у Яндекса с ним подписан договор .
- Установить на компьютер Яндекс.Браузер и "походить" по страницам сайта с его помощью.
- Добавить . Там в графе "Индексирование" можно указать свои URL-адреса вручную точно также как в аддурилке. [не актуально ]
- Установить код Яндекс.Метрики без указания галочки "Запрет отправки страниц на индексацию" .
- Создать файл Sitemap. Тогда по приходу на сайт робот в первую очередь будет проверять его. Этот файл существует только для него и не виден аудитории. Состоит он из списка URL-адресов страниц. Только что созданные или с обновлённым содержимым находятся сверху. Адрес Sitemap прописывается в robots.txt или в соответствующую форму в Вебмастере-"Настройка индексирования"-"Файлы Sitemap".
Дополнительные действия, когда Яндекс проиндексировал только 1 страницу
- Насколько часто обновляется страница, настолько часто поисковый робот будет её переиндексировать. В основном содержание периодически меняется на странице "карта сайта" и Главная. Чем чаще публиковать новые статьи, тем чаще будут обновляться вышеназванные страницы и по ссылкам внутри них индексироваться новый материал.
- Если на всех страницах сделать сквозной блок с последними написанными публикациями, то поисковый робот может перейти на новую запись с любой посещённой им страницы сайта. А это будет быстрее. Ссылки в сквозном блоке не должны быть реализованы скриптом, по ним не нужно .
- Сайты, имеющие , могут зарегистрироваться в каталоге Яндекс.блоги , а уже оттуда данные будут переданы основному роботу.
- Оставить ссылки на свои статьи на часто обновляемых ресурсах: "Живой Журнал" , ", " " и др.
Обновление базы данных - апдейт (ап) выдачи - происходит в среднем раз в неделю. Если все вышеуказанные действия не помогли, чего у меня ни разу не было, то следует написать в службу поддержки письмо , где рассказать что было сделано, немного о сайте, о том, что он регулярно наполняется, что людям он интересен, дать пару ссылок на самые лучшие статьи в качестве примера. Если ресурс имеет низкую посещаемость по причине узкотематичности, нужно проговорить это. Например, сказать, что проект не планирует большую посещаемость, так как создан для общества лепидоптерологов, которые изучают бабочек семейства чешуекрылых. Если сайт коммерческий, то сообщите, что за ним стоит реальная организация.
По большому счету, если Ваш ресурс хороший, качественно сделанный, то проблем с его индексированием быть не должно. Если сайт, пусть и не на 100%, но отвечает требованиям поисковиков — «для людей», то они с радостью будут заглядывать к Вам на огонек и индексировать все новое, что будет добавлено.
Но как бы там ни было, первым шагом в продвижении сайта является добавление его в индекс ПС. До тех пор, пока ресурс не проиндексируется, по большому счету и продвигать то нечего, ведь поисковики вообще о нем не будут знать. Поэтому, в этой статье я рассмотрю, что такое индексация сайта в Яндексе и как отправить ресурс на индексацию. А также расскажу о том, как проверить попал ли сайт или отдельная страница в индекс Yandex и, что делать для ускорения индексации Яндексом.
Индексирование сайта в Яндексе – это обход роботами поисковой системы yandex Вашего сайта, и внесения всех открытых страниц в базу. Паук русского поисковика добавляет в базу данные о сайте: его страницах, картинках, видео, документах, которые доступны для поиска. Также, поисковой бот занимается индексированием ссылок и других элементов, что не закрыты специальными тегами и файлами.
Основные способы индексации ресурса:
Принудительная - следует отправить сайт на индексацию в Яндекс через специальную форму.
Естественная - поисковому пауку удается самостоятельно найти Ваш сайт, переходя с внешних ресурсов, что ссылаются на вебсайт.
Время индексации сайта в Яндексе для всех разное и может колебаться от пары часов до нескольких недель.
Это зависит от множества факторов: какие значения стоят в Sitemap.xml, как часто наполняется ресурс, как часто упоминание о сайте появляется на других ресурсах. Процесс индексации цикличен, поэтому робот будет приходить к Вам через (практически) равные промежутки времени. А вот с какой периодичностью — зависит от упомянутых выше факторов и конкретного робота.
Паук может проиндексировать веб-сайт полностью (если он маленький) или отдельный раздел (это относиться к интернет-магазинам или СМИ). На часто обновляемых ресурсах, типа СМИ и информационных порталах живут, так называемые, быстро-роботы для быстрой индексации сайта в Яндексе.
Порой на проекте могу возникнуть технические неполадки (или проблемы с сервером), в таком случае yandex индексация сайта не состоится, из-за чего поисковая система может прибегнуть к следующему сценарию:
- сразу выкинуть непроиндексированные страницы с базы;
- провести переиндексацию ресурса через определенное время;
- поставить страницы, что не были проиндексированы, на исключение из базы, и если не обнаружит их при повторной индексации, то выбросит из индекса.
Как ускорить индексацию сайта в Яндексе
Как ускорить индексирование в Яндекс – частый вопрос на различных форумах вебмастеров. Фактически жизнь всего сайта зависит от индексации: позиции ресурса в ПС, количество клиентов с них, популярность проекта, прибыль, в конце концов.
Я подготовил 10 способов, которые, надеюсь, пригодятся Вам. Первые пять – это стандартные для постоянной индексации ресурса, а следующая пятерка поможет Вам ускорить индексацию сайта в Яндексе:
сервисы закладок;
RSS-лента – обеспечит трансляцию новых материалов с Вашего ресурса на почту подписчикам и в RSS-каталоги;
биржи ссылок – обеспечат стабильный прирост dofollow ссылок с качественных доноров, при правильном их отборе (как правильно отбирать );
– если вы еще не регистрировали сайт в каталогах, то советую сделать это. Многие говорят, что каталоги давно умерли или регистрация в них убьет сайт – это не правда. Точнее не полная правда, если регистрироваться во всех подряд каталогах, то действительно Ваш ресурс только пострадает от этого. Но при правильном отборе трастовых и хороших каталогов эффект будет несомненно.
Проверка индексации сайта в Яндексе
- Операторы site и url. Если Вы желаете проверить индексацию сайта в Яндексе, то можете воспользоваться стандартными операторами поисковой системы..biz. (Естественно, вместо моего домена свой)
- RDS bar. Считаю самым лучшим и быстрым способом проверки индексации страницы в Яндексе. Данный плагин можно установить на все популярные браузеры, сразу предоставит подробную информацию о количестве страниц сайта в индексе и о наличии конкретного материала в нем. С помощью этого расширения Вы не будете терять время на ручной ввод урлов в сервисах или поиске. В общем, рекомендую, RDS bar крайне удобен:
- Сервис Серпхант. Многофункциональный ресурс, с помощью которого можно проводить анализ сайта: оценки эффективности и мониторинга сайтов, анализ страниц конкурентов, проверка позиций и индексации сайта. Бесплатно проверить индексацию страниц можно по этой ссылке: https://serphunt.ru/indexing/ . Благодаря пакетной проверке (до 50 адресов) и высокой достоверности результатов, данный сервис входит в тройку лучших по моему мнению.
- Сервис XSEO. Набор инструментов для вебмастеров, в XSEO.in Вы можете посмотреть в Яндексе индексацию сайта. Также получить множество дополнительной полезной информации о своем ресурсе:
- Сервисы PR-CY и CY-PR. Еще пара сервисов, которые предоставят Вам информацию об общем количестве проиндексированных страниц:
- Сервис Sitereport. Отличный сервис, который укажет на все Ваши ошибки в работе над сайтом. Также имеет раздел «Индексация», где будет представлена информация для каждой страницы сайта с указанием проиндексирована она или нет в поисковых системах Yandex и Google. Поэтому, рекомендую использовать данный ресурс для обнаружения проблем на сайте и проверки массовой индексации Яндекса:
