Файл Sitemap: HTML, XML, TXT, как создать и добавить в Яндекс и Google вебмастер. Как создать Sitemap XML для "Яндекса" и Google: пошаговая инструкция Sitemap правила создания

Файл Sitemap: HTML, XML, TXT, как создать и добавить в Яндекс и Google вебмастер. Как создать Sitemap XML для
Файл Sitemap: HTML, XML, TXT, как создать и добавить в Яндекс и Google вебмастер. Как создать Sitemap XML для "Яндекса" и Google: пошаговая инструкция Sitemap правила создания

Обычно, чтобы сделать sitemap.xml, применяют один из следующих вариантов: онлайн сервисы, модули CMS, специализированные программы или вручную. Ниже мы подробно рассмотрим каждый из инструментов.

Как создать sitemap онлайн

В интернете существует масса сервисов позволяющих составить sitemap для поисковых роботов. Вот наиболее популярные из них:

Данные сервисы прекрасно работают и выполняют свои функции. Однако, как правило, на них присутствует ограничение на количество учитываемых страниц (обычно 500 штук). Кроме того, если на сайте плохая навигация и до некоторых документов довольно трудно добраться посылкам, то, вероятнее всего, эти страницы не попадут в sitemap.xml.

Как сделать sitemap.xml с помощью дополнений CMS

У большинства популярных систем администрирования есть дополнения, которые позволяют им создавать sitemap в автоматическом или в ручном режиме. Это наиболее удобный способ работы с картой сайта для больших ресурсов, с постоянно публикуемыми новыми материалами. Как показывает практика, можно найти несколько подходящих дополнений, вам останется только выбрать наиболее соответствующее вашим целям.

Например, для WordPress таким плагином является Google XML Sitemaps, а для Joomla – компонент Xmap. Кроме того, на многих движках возможность создать файл sitemap присутствует в исходной комплектации (например, 1с-Битрикс или DataLife Engine).

Как сделать sitemap с помощью Xenu

Xenu – это один из наиболее востребованных программных продуктов, созданных для SEO-специалистов . Данная программа может не только создавать sitemap для сайта, она обладает массой полезных функций – проверка битых ссылок, выявление редиректов и многое другое.

Надо отметить, что Xenu является не единственной программой, которая дает возможность составить sitemap.

Как создать sitemap для сайта вручную

Наиболее трудозатратный, но в тоже время верный способ – вручную. Его применяют, когда другие варианты не подходят. Это может быть, например, при попадании слишком большого числа ненужных страниц в карту сайта, или сайт с плохой навигацией, не использующий CMS.


После того, как сделаете sitemap.xml, обязательно проверьте получившийся файл. Это можно сделать с помощью сервиса в панели вебмастера Яндекс , который расположен по адресу

Создать sitemap.xml

Лимит страниц: 1200
Цена: Бесплатно!
Подход: Профессиональный!

Основное назначение sitemap.xml указать системам для поиска, какие страницы нуждаются в индексации в первую очередь. Некоторые не знают об этой роли карты сайта, а другие просто этим пренебрегают и не придают ей какого-то особого значения. Файл, который имеет более распространенное название , считается важным инструментом, можно сказать, основным, для того, чтобы указать поисковикам, какие страницы ресурса нуждаются в обязательном индексировании, хотя сам файл посетители вашего проекта видеть не будут.

Карта сайта содержит важную информацию, которая закладывается в него, для чего используется специальный синтаксис. Здесь перечисляются страницы для поисковиков, а также указывается какова степень их важности , как часто и когда последний раз они обновлялись. Все это непонятно и не нужно ни посетителям, ни владельцу сайта. Это предназначено только для поисковых машин.

Не имея этого файла, или если он неправильно заполнен, владелец сайта рискует тем, что его ресурс может быть поврежден или сайт не сможет раскрыть все свои возможности. Страницы, которые имеют важное значение, могут не индексироваться продолжительное время, а это отражается на посещении сайта, а соответственно и на его рейтинге. Это могут подтвердить специалисты, которым известна статистика множества проектов, создатели которых пренебрегали sitemap.xml . При одном показательном и интересном исследовании были выявлены самые популярные причины, из-за которых проекты продвигаются очень медленно. Если карта сайта, которая имеет расширение xml, не соответствует нужному формату или просто отсутствует, является причиной медленного продвижения, которая находится на втором места из десяти причин после некачественного контента. Эти факты могут убедить в важности карты больше, чем простые слова.

Чтобы быть уверенным, что проект правильно проиндексирован поисковиками создать файл sitemap мало. Можно его иметь, но поисковые машины могут его не увидеть. Нужно чтобы поисковики знали о его существовании. Для этого нужно правильно его создать и выбирать именно те страницы, которые считаются наиболее важными. Для правильно поиска нужно сделать определенные настройки, которые позволят не включать в поиск весь материал, находящийся на сайте, чтобы не замедлить работу робота.

В этом может помочь инструмент . Кроме того, что этот инструмент поможет в создании карты, он будет уведомлять поисковики о появлении нового материала, тем самым как бы давая понять, что они нуждаются в скорейшей индексации. Чтобы спрятать карту от любопытных, с помощью инструмента можно даже изменить ее название.

Где находится sitemap.xml поисковикам можно указать с помощью двух способов. В директиве ничего не опуская указать полный путь к файлу.

Карта сайта представляет собой страницу sitemap.html (для посетителей, помогает упростить навигацию и найти любую страницу на большом сайте) или файл sitemap.xml (для поисковых систем), содержащие подробный список всех страниц веб-сайта.

Сайтмап позволяет сократить количество переходов при поиске нужной страницы на любом, даже самом большом сайте. Грамотно настроенная карта сайта способна повысить индексацию страниц веб-сайта.

Какие возможности дает карта сайта?

Поисковики способны просканировать все адреса сайта самостоятельно, но создание карты сайта поможет им узнать, как это лучше сделать.

Сайтмап позволяет:

  • найти новые страницы на ресурсе и проиндексировать их;
  • расставить приоритетность страниц;
  • отследить свежие изменения на индексируемых страницах;
  • запомнить частоту обновления индексируемых страниц.

Какие бывают карты сайта?

В общем случае существует два варианта сайтмапа - это веб-страница sitemap.html и файл sitemap.xml. Рассмотрим их поподробнее.

Что такое Sitemap.html?

Это статическая HTML страница, где перечислены ссылки на все основные страницы сайта. Такой формат сайтмапа ориентирован на посетителей сайта и позволяет в 1 клик перейти на любую из страниц.

Sitemap.html имеет структуру дерева с развернутыми разделами.


У сайтов с очень сложной структурой HTML карта сайта может состоять из страниц с дополнительным уровнем вложенности.
Пример - карта сайта TripAdvisor .

Что такое sitemap.xml?

Это файл, лежащий в корневой директории сайта, который читается всеми существующими поисковиками. Его роль - показать поисковым системам все адреса страниц, которые нужно проиндексировать; когда они появились или обновились; с какой регулярностью перепроверять страницы на обновление.

Один файл sitemap.xml может включать в себя до 50 000 ссылок. При большем количестве ссылок таких файлов будет несколько . Дополнительные преимущества - возможность указать частоту обновления страниц и приоритет индексации. Правильная кодировка файла sitemap.xml должна быть UTF-8, а его размер ограничен 10 Мб.
Приведем пример карты сайта в формате.xml:



http://mysite.ru/
2017-09-18T18:54:13+04:00
always
1.0


http://mysite.ru/category/
2017-09-18T18:57:09+04:00
hourly
0.8


http://mysite.ru/page/
2017-09-18T18:59:37+04:00
daily
0.6

Как создать карту сайта?

Существует ряд методов создать sitemap для вашего ресурса:

  • Статически вручную. Этот способ подойдет продвинутым пользователям, которые имеют навык работы с основными тегами, а веб-сайт состоит из небольшого количества страниц.
  • Через генератор карты сайта. Если вы не хотите выполнять кропотливую и нудную работу по генерации карты сайта вручную, к вашим услугам - программа для создания карты сайта. Есть платные и бесплатные варианты: , и множество других.
  • Плагин для CMS или средствами движка. Еще один хороший способ сгенерировать sitemap. Масса преимуществ в виде гибкой настройки под нужные параметры и максимума возможных адресов, а также серьезная экономия времени. Кроме того, при внесении изменений на страницу или создании новых страниц карта сайта будет обновляться автоматически, в отличие от сайтмапа, созданного другим способом. Для каждой системы существует свой плагин:
    • для CMS WordPress разработаны seo-плагины с функцией создания сайтмапа;
    • для Joomla существует Xmap ;
    • DLE - имеется встроенный модуль .

Полезный нюанс!

Если исключить из карты сайта страницы, которые не несут коммерческой или информационной пользы (например, какие-нибудь страницы, не являющиеся посадочными, какие-то вспомогательные, транзитные), то поисковой робот будет тратить меньше своих ресурсов на переобход сайта.

А так как ресурс ограничен, становится больше вероятность, что робот обойдет нужные нам страницы. Создавая sitemap через плагин, можно сразу исключить оттуда определенные типы страниц. Их потом можно добавить, если понадобится. Актуально для больших сайтов.

Как часто должна обновляться карта сайта?

Единого норматива по количеству обновлений нет. Все зависит от частоты создания новых страниц ресурса, изменения адресов или контента и связей уже существующих страниц.

При этом стоит помнить, что данные, указанные в карте сайта, поисковый робот воспринимает как рекомендательные: если установить частоту обновлений, к примеру, раз в год, робот будет приходить чаще, а если раз в час - робот не станет индексировать страницу так часто.

Как правильно указать ссылку на sitemap.xml в robots.txt

Для начала, xml карта сайта должна быть создана и загружена на сервер, и потом можно добавить указание о наличии файла.

Чтобы это сделать, пропишите в robots.txt следующую строку:

Sitemap: {url-файла-sitemap},
где {url-файла-sitemap} - это полный URL вашего сайтмапа.

В итоге, robots.txt приобретет такой вид:

User-Agent: *
Sitemap: httр://mysite.com/sitemap.xml.

Частые ошибки в карте сайта

Самые распространенные ошибки:

  • битые ссылки;
  • редиректы;
  • некорректные даты публикации или обновления контента.

Ошибки не будут иметь критического влияния на отношение поисковых систем к вашему сайту. Однако их устранение позволит направить высвободившиеся ресурсы поискового робота на переобход важных страниц.

Как проверить корректность карты сайта

Чтобы проверить корректность карты сайта, разработаны многочисленные онлайн-сервисы, которые сделают это за вас автоматически и укажут на все допущенные ошибки: валидности файла, указание на url с другого домена, превышение размера файла, проведут онлайн-диагностику индексации. Такие программы бесплатны и работают со всеми крупными поисковиками (Google, Yandex, Yahoo).

Для проверки корректности необходимо открыть страницу сервиса, загрузить xml-файл или ввести в поле соответствующий URL и нажать на кнопку проверки. Если программа обнаружит ошибки, она подскажет, какие адреса дают некорректный ответ.

Протестируйте sitemap.xml в Яндекс * - https://webmaster.yandex.ru/tools/sitemap/
Протестируйте с помощью сервиса Pixel Plus - https://webmaster.yandex.ru/tools/sitemap/
Англоязычный сервис - https://sitemapkoala.com/

* - для теста в Яндекс, необходимо .

Итого

Карта сайта - удобный инструмент, призванный упростить передачу структуры основных страниц как посетителю так и поисковой системе.

Без нее можно обойтись. Поисковик и так рано или поздно доберется до большинства веб-страниц, но с сайтмапом переобход или индесация новых страниц будут более эффективными.

XML Sitemap is a website"s URLs list in XML format. The Sitemap file is designed to inform search engines (such as Google, Bing, Yahoo, Yandex, MSN, and others) about the pages on the website, which should be indexed. Sitemap significantly speeds up site scans.In addition, the Sitemap allows you to transmit information about all pages of your site, including those that search engines can not get with the usual crawl.

Creating a Sitemap is especially useful when:

  • On your site new pages are generated automatically and frequently.
  • Your site is new, and it indicates a small number of links.
  • Your site has a large archive of content pages that are poorly or not at all related to each other.

XML Sitemaps Protocol: What does a Sitemap contain?

In accordance with the XML Sitemaps Protocol and the requirements of search engines, the Sitemap file should contain no more than 50 000 pages and not exceed the size of 10 MB. This means that if your site contains more than 50,000 pages and file size Sitemap than 10 MB, you must create multiple Sitemap.

... URL ... ...

In addition to the required URL parameter, the XML Sitemaps protocol provides additional tags for each page:

Lastmod – indicates the date of last modification date.

Date (ISO 8601)

Changefreq – the probable frequency of the page content. Valid values are:

  • always – every time the page loads
  • hourly – every hour
  • daily – every day
  • weekly – once a week
  • monthly – once a month
  • yearly – once a year
  • never – means that the page content remains unchanged.
Syntax:

Valid value

Priority – the priority of the page relative to other pages on your site. The valid range - from 0,0 to 1,0. This tag lets the search engines know which pages you think are most valuable.

Decimal from 0.0 to 1.0

Файл Sitemap - это файл с информацией о страницах сайта иначе называемая карта сайта . С помощью файла Sitemap вы можете сообщить поисковой системе, какие страницы вашего сайта нужно индексировать, как часто обновляется информация на страницах, а также индексация каких страниц наиболее важна.

Здесь вы можете сформировать необходимый Google и Yandex XML -код для карты сайта. А также создать визуальную карту сайта онлайн, которую сможете разместить на одной из ваших страниц.

Подробнее о XML-формате файла Sitemap можно прочитать на sitemaps.org

Новичок Эксперт VIP Информация Структура XML История FAQ

Технические подробности sitemap

Теги файла sitemap.xml:

  • changefreq - наиболее вероятная частота изменения контента указанного URL;
  • lastmod - фактическая дата последнего обновления URL;
  • loc - сам URL;
  • priority - приоритетность указанной страницы по отношению к другим страницам сайта;
  • url - этот тег служит родительским для указанных первых четырех тегов;
  • urlset - этот тег объединяет теги первых пяти типов.

Особенностью применения формата XML является необходимость замены всех служебных символов на их безопасное представление. Ниже приведена таблица символов, которые встречаются в URL и подлежат обязательной замене:

  • & - амперсанд;
  • " - одиночные кавычки;
  • " - двойные кавычки;
  • > - знак "больше";
  • < - знак "меньше".

Файл Sitemap имеет ограничения на размер индексного файла в 10 мегабайт. Для того чтобы это ограничение не затронуло владельцев небольших веб-сайтов, предусмотрена возможность сжатия файлов, которые предназначены для Sitemap с помощью открытого архивного формата gz (gzip-архиватор).

Можно указать местоположение файла Sitemap , используя файл robots.txt . Для этого просто добавьте в файл robots.txt следующую строку:

Sitemap: http://ДОМЕН.ru/sitemap.xml
URL должен быть полным URL для файла Sitemap.

Для передачи поисковым системам нового Sitemap используйте строку вида:
Поисковая система/ping?sitemap=http://ДОМЕН.ru/sitemap.xml
Для Google: http://www.google.com/webmasters/sitemaps/ping?sitemap=http://ДОМЕН.ru/sitemap.xml

Для проверки корректности составления карты вашего сайта следует предварительно проверить его на правильность. Проще всего это сделать с помощью одной из утилит, расположенных на веб-сайтах или xml.org . При этом вам понадобится XML-схема данных индексного файла Sitemap. Чтобы указать в XML файле ссылку на схему проверки установите флажок "Добавлять ссылку на XSD схему для проверки ". После этого при открытии Sitemap.xml файла в браузере, при наличии ошибок в структуре, вы получите соответствующее сообщение.

История развития Sitemap

Сколько себя помнит Интернет, веб-мастера всегда пытались угодить поисковым паукам - помочь им собрать детальную информацию о структуре продвигаемого сайта.

Первым, самым древним и вполне естественным способом было создание специальной страницы, на которой помещались все ссылки сайта. Назывались и называются такие страницы картами сайта . Принцип их работы прост: поисковый робот при визите на эту страницу автоматически пройдёт по опубликованным там ссылкам и занесёт их в индекс.

Подобная схема была удобна до поры до времени. Позже, когда сайты перестали собой представлять исключительно статические страницы с малым количеством страниц, возникла новая проблема, связанная с неэффективностью метода публикации классического варианта карты сайта, т.к. мест для ссылок не хватало, страницы получались большими по размеру, неудобными.

На некоторых сайтах число страниц перевалило за 1 000, естественно, что абсолютно все ссылки разместить на карте сайта стало невозможно. Коэффициент проиндексированности таких сайтов стал снижаться. Мир нуждался в новом эффективном решении возникшей проблемы.

И проблема была решена. В июне 2005 года компанией Google был создан новый удобный формат описания новых страниц сайта для улучшения качества их индексации поисковыми системами.

Стандарт получил название Sitemaps 0.84 . За основу был принят принцип текстовой базы данных XML, позволяющий компактно в текстовом файле описать структуру сайта, включая новые и опубликованные ранее страницы сайта с возможностью указания дополнительной META-информации. Эффективное решение Sitemaps , предложенное Google , стало пользоваться бешеной популярностью.

Популярность сказалась и на мнении других поисковых систем к новому подходу создания карт сайта. Так в ноябре 2006 года к поддержке стандарта присоединились такие поисковые гиганты, как MSN и Yahoo , а в апреле и Ask.com . На радостях формат Sitemaps получил новую версию Sitemap 0.90 , расширяющую функциональные возможности.

В мае 2007 года было официально объявлено о поддержке подключения стандарта Sitemaps в файле robots.txt поисковиками Ask , Google и Yahoo , т. е. найти карту сайта Sitemap стало проще: достаточно указать его местоположение в этом файле, а за источник информации для Sitemap использовать RSS-ленты или обычные текстовые файлы.

2 июня 2008, спустя 3 года после объявления протокола Google на блоге Яндекса для вебмастеров появилось сообщение о поддержке этого протокола Яндекс ом.




Как сделать, чтобы на вашем сайте всегда была свежая карта? Для этого создан бесплатный сервис поддержания карты сайта.

Также Вы можете приобрести готовый универсальный