Которые нужны для поисковых роботов. Кто-то скажет, что она и не нужна, ведь все разделы уже отображаются. Однако необходимость такой страницы существует в том случае, если на сайте содержится пятьдесят страниц и больше. Для поисковиков и для пользователей она будет служить путеводителем, помогающим понять, где содержится та или иная информация.
XML- и HTML-файлы
Так как используется не только для поисковых роботов, но и для пользователей, посещающих сайт, обычно составляют две карты: в XML- и HTML-форматах.
Чтобы создать Sitemap для используют XML-файл. Благодаря ему роботы заносят в свою поисковую базу новые При отсутствии карты на многостраничном сайте большое количество страниц может не индексироваться на протяжении иногда очень долгого времени.
Для создания карты сайта для пользователей используется HTML-файл. Важность этой карты заключается в том, что от ее удобства напрямую зависит, найдет ли пользователь интересующую его информацию или нет. Поэтому такую карту создают для тех интернет-проектов, у которых все разделы и их подразделы не помещаются в главном меню.
Как создать Sitemap XML
Существует три способа решения данной задачи:
Покупка генератора для карты сайта.
Создать Sitemap при помощи онлайн-сервисов.
Ручное написание файла.
Для существенной экономии времени предлагается приобретение генераторов. Поэтому если двадцать — тридцать долларов для покупки лицензии являются для веб-мастера мелкой тратой денег, то купить его, особенно для крупного интернет-ресурса, все-таки не помешает, так как не нужно будет тогда создавать сайт вручную.
Для сайта, содержащего несколько сотен страниц, рекомендуются онлайн-сервисы, где для того, чтобы создать Sitemap, необходимо будет лишь указать адрес интернет-ресурса и загрузить результат.
Самым верным вариантом является ручное создание карты. Для этого нужно знать такие теги, как url, urlset, loc, lastmod, changefreg и priority. При этом первые три тега считаются обязательными, а без последних трех можно и обойтись.
Создание Sitemap в Joomla
Чтобы на сайте создать Sitemap, Joomla и Wordpress имеют специальные дополнения, как и большинство известных систем администрирования, благодаря которым карта сайта создается вручную или автоматически. Для крупных интернет-проектов, у которых постоянно обновляются материалы, такое дополнение очень удобно.
В "Джумле" оно называется Xmap, в Wordpress - Google XML Sitemaps.
Автоматическое создание карты сайта
Автоматически создать Sitemap помогают бесплатные онлайн-серверы, если страниц сайта насчитывается не более пятисот. Вот как легко проводится генерация карты сайта:
Зайдя на один из таких интернет-ресурсов, нужно найти пункт «Генерация Sitemap», нажать на кнопку «Создать» и создать файл Sitemap автоматически.
Найти «URL сайта» и ввести там адрес сайта, для которого создается карта.
Возможно, система потребует введение проверочного кода. Его нужно также ввести и нажать «Старт».
Готовую карту загрузить на сайт.
Ручной способ создания карты
Такой способ является, с одной стороны, самым трудным, отнимающим драгоценное время, но с другой стороны, это самый верный способ, применяющийся в тех случаях, когда другие варианты не подходят. Так, например, если есть много страниц, в занесении в карту сайта которых нет особой необходимости, но автоматически они, конечно, туда попадают, ручной способ избавит карту от «передозировки» таких страниц. Другой причиной, по которой выбирают этот способ, является плохая навигация сайта.
Для реализации ручного создания карты необходимо:
Собрать страницы для включения их в карту.
В excel-файл вставить все адреса в третий столбик.
В 1-м и 2-м столбиках вставить и url и loc.
В 4-м и 5-м столбиках вставить закрывающие url и loc.
Применить функцию «сцепить» для соединения пяти столбиков.
В сделать sitemap.xml.
Добавить в этот файл теги и urlset и /urlset.
Вставить между ними соединенный столбик.
Получившийся файл необходимо проверить. Сделать это можно, например, в "Яндексе", в панели веб-мастера.
Как создать Sitemap для "Яндекса" и Google
После создания сайта ее добавляют на сайт. С этой целью файл с картой сайта нужно назвать Sitemap.xml и добавить его в корневую директорию. Чтобы поисковые роботы поскорее нашли ее, в Google и "Яндекс" имеются специальные инструменты. Они называются «Инструменты для веб-мастеров» (в Google) и «Яндекс-вебмастер» (в "Яндексе").
Добавление Sitemap в Google
Добавление Sitemap в "Яндекс"
Так же и в «Яндекс-вебмастер» нужно сначала авторизоваться. Потом перейти на индексирование/файлы Sitemap, указать там путь файла и нажать кнопку «Добавить».
Поисковые роботы сегодня возьмут только те файлы, которые содержат не больше пятидесяти тысяч url.
При превышении карты десяти мегабайт лучше разбить ее на несколько файлов. Благодаря этому перегрузки сервера не будет.
Чтобы создать Sitemap xml правильно, при нескольких файлах нужно их всех прописать в файле индекса, используя теги sitemapindex, sitemap, loc и lastmod.
Все страницы нужно прописывать или с префиксом «www» или без его использования.
Необходимая кодировка файла — это UTF8.
Также в файле нужно добавить указание пространства имен языка.
Как создать карту сайта для пользователей
Поскольку такая карта создается для пользователей, она должна быть максимально проста и наглядна. Несмотря на это, необходимо качественно донести всю информацию о структуре используемого сайта.
HTML-карты в основном имеют привычную пользовательскую структуру, состоящую из разделов и подразделов, выделенных определенным образом, например, стилями CSS и графическими элементами.
Чтобы создать Sitemap для крупного интернет-проекта, как и в случае с XML-картой, здесь также рекомендуется разбивание. В этом случае оно осуществляется в виде отдельных вкладок, избавляющих карту от громоздкости.
Повысить функционал страницы позволит язык JavaScript, который в этой карте допускается использовать, так как она создается не для роботов-поисковиков, а для пользователей.
Порядок для файла карты сайта
Желательно, чтобы в созданном файле, содержащем Sitemap, всегда были чистота и порядок, особенно если у сайта имеется большое количество страниц. Поскольку роботы-поисковики просматривают карты сайта очень быстро, для просмотра всего файла крупного интернет-ресурса может просто не хватить времени.
Поэтому если привыкнуть добавлять страницы в карту сайта не внизу, а в верхней ее части, то, с одной стороны, можно не сомневаться, что поисковый робот успеет просмотреть адреса новых страниц, а с другой стороны, таким образом намного легче будет контролировать все страницы.
Здравствуйте, уважаемые читатели блога сайт. Решил обобщить в одной статье все, что я уже писал про карту сайта (Sitemap xml), которая в первую очередь нужна для указания поисковым системам тех страниц, которые им следует индексировать в первую очередь. Она является очень важным и фактически обязательным атрибутом любого web проекта, но многие этого либо не знают, либо не придают Site map большого значения.
Сразу давайте расставим все точки над «i» и попробуем отделить два понятия — карты сайта в формате xml и в формате Html (есть еще и географическая интерпретация этого слова, о которой я писал в статье « »). Второй вариант представляет из себя обычный список всех материалов web ресурса, который будет доступен любому желающему по нажатию на соответствующий пункт меню. Такой вариант тоже полезен и способствует ускорению и улучшению индексации вашего ресурса поисковыми системами.
Карта сайта sitemap в формате xml — а оно мне надо
Но основным инструментом, предназначенным для прямого указания поисковикам тех страниц ресурса, которые нужно будет обязательно проиндексировать, является файл под названием Sitemap.xml (это его наиболее частое название, но по идее его можно обозвать как угодно, не суть важно), который не будет виден посетителям вашего web проекта.
Он составляется с учетом специального синтаксиса, понятного поисковым машинам, где будут перечислены все страницы, подлежащие индексации с указанием степени их важности, даты последнего обновления и примерной частоты обновления.
Есть два основных файла, которые должны иметься у любого web проекта — robots.txt и sitemap.xml . Если у вашего проекта их нет или они заполнены не правильно, то с большой долей вероятности вы сильно вредите своему ресурсу и не позволяете ему раскрыться на все сто процентов.
Вы, конечно же, можете не послушать меня (ибо я не есть авторитет, в силу относительно малого накопленного фактического материала), но думаю, что со специалистами, имеющими под рукой статистику с десятков тысяч проектов, вы огульно спорить не будете.
На этот случай у меня оказался припасен «рояль в кустах». Прямо перед написанием этой статьи попалась на глаза публикация специалистов из всем известной системы автоматического продвижения под необычным названием «Руки» (это аналог MegaIndex , о котором я писал ).
Понятно, что любая подобная им система заинтересована в том, чтобы проекты их клиентов успешно продвигались, но они могут только накачивать ресурсы клиентов ссылочной массой, а влиять на наполнение и правильную техническую настройку сайтов они, к сожалению, не могут.
Поэтому и было проведено очень интересное и показательное исследование, которое было призвано выявить 10 самых популярных причин, которые затрудняют продвижение проектов и ткнуть этими данным клиентам прямо в...
На первом месте, конечно же, был «не уникальный контент» (либо вы скопистили, либо у вас , что сути не меняет). Но на втором месте была как раз именно карта сайта в формате xml, а точнее ее отсутствие или несоответствие признанному формату создания. Ну, а на третьем месте был уже упомянутый ранее файл robots.txt (его отсутствие или неправильное создание):
Когда голословно утверждаешь, что карта должна быть у вашего проекта обязательно (иначе кирдык), то это не звучит так убедительно, как в случае подкрепления данного утверждения реальными фактами из довольно-таки репрезентативного исследования.
Ладно, будем считать, что я вас убедил и давайте посмотрим, как можно самим создать сайтмап (синтаксис формата), как сделать ее для Joomla и WordPress, а так же посмотрим, как можно будет создать ее с помощью специальных онлайн генераторов (generator).
Но просто создать sitemap еще не достаточно для того, чтобы быть уверенным в правильной индексации вашего проекта поисковиками. Нужно еще будет сделать так, чтобы об этой самой карте сайта узнали поисковые системы (в нашем случае это Google и Яндекс). Сделать это можно будет двумя способами, но об этом мы поговорим чуть позже (должна же быть хоть какая-то интрига, удерживающая внимание читателей).
Зачем вообще нужен сайт мап и файл robots.txt
Давайте для начала попробуем обосновать логическую необходимость использования как файла robots.txt, запрещающего индексацию определенных элементов вашего web проекта, так и файла сайт мап, предписывающего индексацию определенных страниц. Для этого вернемся на пяток-десяток лет назад, когда большинство ресурсов в интернете представляли из себя просто набор Html файликов, в которых и содержались тексты всех статей.
Поисковый робот Гугла или Яндекса просто заходил на такой Html проект и начинал индексировать все, что ему попадется под руку, ибо практически везде содержался контент проекта. А что же происходит сейчас, в условиях повального использования CMS (систем управления контентом)? Собственно, даже сразу после установки движка поисковый робот уже обнаружит у вас несколько тысяч файлов и это при том, что никакого контента у вас еще может и не быть (ну, не написали вы еще ни одной статьи).
Да и вообще, контент в современных CMS, как правило, хранится не в файлах, а в базе данных, которую поисковый робот напрямую проиндексировать, естественно, не сможет (для работы с базами советую бесплатно ).
Понятно, что потыркавшись туда сюда, поисковые роботы Яндекса и Google все же найдут ваш контент и проиндексируют его, но вот насколько быстро это произойдет и насколько полной будет индексация вашего проекта — очень большой вопрос.
Вот именно для упрощения и ускорения индексации проектов поисковиками в условиях повального использования CMS и следует в обязательном порядке создавать robots.txt и sitemap.xml. C помощью первого файла вы подсказываете роботам поисковиков на индексацию каких файлов не стоит тратить время (объекты движка, например), а так же с помощью него можно закрыть от индексации и часть страниц для устранения эффекта дублирования контента, который присущ многим CMS (читайте об этом подробнее в статье про ).
А с помощью файла сайтмап вы четко и ясно говорите роботам Яндекса и Гугла, что именно на вашем проекте содержит контент, чтобы они не тыркались понапрасну по углам файлового хозяйства используемого движка. Не забывайте, что у ботов есть определенные лимиты на время и количество просмотренных документов. Он побродит у вас по файлам движка и уйдет, а контент останется не проиндексированным еще долгое время. О как.
Помните как в известной комедии говорил один колоритный персонаж: «Ты туда не ходи, ты сюда ходи, а то...». Вот именно функцию этого персонажа и выполняют robots.txt и сайт мап с расширением xml для регулирования перемещений поисковых ботов по закоулкам вашего web проекта. Понятно, что боты могут и взбрыктуть, но скорее всего они послушно будут выполнять ваши грамотно написанные запрещающие и предписывающие (в карте сайта) инструкции.
Понятно? Тогда приступаем непосредственно к решению вопроса, как создать sitemap.xml различным способами и как сообщить о его существовании двум китам поиска в рунете — Google и Яндексу, чтобы они не шарились по вашему проекту почем зря, создавая при этом еще и дополнительную нагрузку на сервер вашего хостинга, но это, правда, уже сильно второстепенная вещь, главное — это именно индексация (быстрая и всеобъемлющая).
В отличии от robots.txt, который вам писать придется скорее всего собственноручно, файл карты сайта в формте xml, как правило, стараются создать каким-либо автоматическим способом. Оно и понятно, ибо при большом количестве страниц на часто обновляемом проекте ручное его создание может привести к повреждению ума у вебмастера.
Да это вовсе и не обязательно, т.к. практически для каждой CMS найдется расширение, которое позволит создать, а при появлении новых материалов и пересоздать файл сайтмап. Ну, или можно будет всегда воспользоваться каким-либо онлайн генератором (generator) карты сайта в виде готового решения.
Но все же, мне кажется, будет не лишним ознакомиться с нехитрым (да что там говорить — простейшим) синтаксисом создания sitemap. К тому же на маленьких и редко обновляемых проектах можно набросать его и вручную.
Как создать Sitemap.xml самому в Joomla и Вордпрессе
Обычно директиву «Sitemap» прописывают в самом конце. Поисковые роботы при очередном заходе на ваш web проект обязательно просмотрят содержимое robots.txt и загрузят для изучения вашу карту. Однако, таким образом могут узнать о ее существования всякие редиски, которым сайт мап поможет тырить у вас контент.
Но существует еще один способ уже напрямую передать информацию о местоположении карты сайта поисковикам без посредничества robots.txt. Делается это через интерфейс Яндекс Вебмастера и панели инструментов Google, хотя можно использовать. Вы уже знакомы с этими инструментами поисковых систем?
Если нет, то обязательно добавьте свой проект и в , и в , а затем укажите в соответствующих вкладках путь до вашей карты сайта в формате Xml.
Так выглядит форма добавления сайтмапа для Яндекс Вебмастера:
А так выглядит аналогичная форма для прописывания пути в панели инструментов Google:
Онлайн генераторы Sitemap Generator и XML Sitemaps
Если вам не охота искать расширения для своей CMS, позволяющие автоматически создать сайт мап, то можете воспользоваться в этом случае онлайн генераторами. Тут, правда, есть один недостаток по сравнению с автоматическим созданием карты в самой CMS — после добавления новых материалов вам придется снова идти на онлайн сервис и повторно создавать этот файл, а затем загружать его к себе на сервер.
Наверное, один из самых известных онлайн генераторов карты сайта — это Sitemap Generator . Он обладает достаточно большим функционалом и позволит вам бесплатно генерировать сайтмап на 1500 страниц, что достаточно много.
Sitemap Generator будет учитывать содержимое вашего файла robots.txt, чтобы в карту не попали запрещенные к индексации страницы. Само по себе это не страшно, ибо запрет в роботсе по любому будет иметь больший приоритет, но зато избавит вас от лишней информации в создаваемом файле Site map. Для того, чтобы сделать карту, вам достаточно указать URL главной страницы и сообщить свой E-mail, после чего вас поставят в очередь на генерацию:
Когда до вас дойдет очередь, вы получите об этом почтовое уведомление и перейдя по ссылке из письма сможете скачать файл, который сделал для вас Sitemap Generator. Останется только закинуть его в нужное место на своем сервере. Ну, и такую процедуру вам придется повторять время от времени для того, чтобы поддерживать актуальность вашей карты сайта.
Есть похожий англоязычный сервис онлайн генератора, который вы можете найти по этой ссылке — XML Sitemaps . На нем существует ограничение в 500 страниц, а в остальном все практически тоже самое, что и в описанном выше.
Удачи вам! До скорых встреч на страницах блога сайт
посмотреть еще ролики можно перейдя на");">
Вам может быть интересно
Что такое URL адреса, чем отличаются абсолютные и относительные ссылки для сайта
Что такое Chmod, какие права доступа назначать файлам и папкам (777, 755, 666) и как это сделать через PHP
Поиск Яндекса по сайту и интернет-магазину
OpenServer - современный локальный сервер и пример его использования для установки WordPress на компьютер
Вебмастер и RuNet - кто и что это такое, а так же кому в русскоязычном интернете жить хорошо
Статья обновлена!
Всем привет! Сегодня я решила написать статью об XML карте сайта, немаловажном элементе .
XML карта – это путеводитель по вашему сайту. Этот путеводитель создается специально для поисковых роботов и помогает им найти все страницы, которые нужно проиндексировать.
XML карта находится в корне вашего сайта и обычно доступна по адресу site.ru/sitemap.xml . Роботы узнают о ее существовании двумя путями (которые не взаимоисключают, а взаимодополняют друг друга):
- Адрес карты сайта загружается через Вебмастер.
- Ссылка на карту сайта есть в файле robots.txt.
Преимущества XML карты сайта:
- помогает найти и проиндексировать все важные страницы сайта;
- в Вебмастере Google можно посмотреть соотношение количества страниц в sitemap к количеству проиндексированных страниц, а также увидеть ошибки, возникшие при индексации;
- XML карта – один из способов борьбы с дублированным контентом: когда робот обнаруживает 2 одинаковые страницы, скорее всего он проиндексирует именно ту, которая указана в карте.
Какую информацию содержит XML карта
Прежде всего, карта сайта содержит список страниц сайта – это обязательно. Также она может содержать параметры этих страниц , такие как:
- Дата последнего изменения
- Частота изменений
(always, hourly, daily, weekly, monthly, yearly, never); - Приоритет
– степень важности страниц сайта при индексации, устанавливается от 0.0 до 1.0. Чем выше приоритет, тем важнее данная страница в пределах сайта.
Как сделать XML карту сайта?
Карту сайта можно сделать самому вручную, но согласитесь, зачем тратить на это время, если есть бесплатные онлайн генераторы XML карт? Ниже я рассмотрю некоторые из них.
Бесплатные сервисы генерации XML карты сайта
Cy-pr.com
Один из самых простых в использовании сервисов генерации XML карты. Здесь достаточно указать только адрес сайта и нажать кнопку «Создать». Но такая простота является и минусом: в карту включаются и ссылки на картинки, и динамические адреса страниц.
Seolib.ru
Тут есть ограничение 5 раз в сутки с одного IP. Учитывает тег noindex. Также можно указать запрещенные к обходу пути в виде конкретных адресов страниц. Мне кажется, это не очень удобно, особенно, если таких страниц много. При генерации XML карты этот тул включает ссылки на картинки.
Mysitemapgenerator.com
Учитывает директивы в robots.txt, noindex, пропускает ссылки с атрибутом nofollow. Также присутствует функция фильтра данных, которая позволяет убрать из карты страницы с определенными частями в адресе (например, .jpg). Правда, в бесплатной версии доступен только один такой фильтр. Также бесплатная версия позволяет загружать максимум 500 страниц и генерировать 3 XML карты в день с одного IP адреса.
Getrank.org
Бесплатная версия этого генератора ограничивает количество страниц до 500. Полезная функция – исключение динамических параметров при генерации XML карты. Лично мне этот тул понравился тем, что он по умолчанию не включил картинки, когда я его тестила.
Web-site-map.com
Здесь с одного IP адреса можно генерировать одну XML карту в день. Как и предыдущий сервис, этот позволяет исключать урлы с указанными параметрами, а также по умолчанию не добавляет ссылки на картинки. Примечательно, что этот сервис позволяет включать и поддомены в XML карты, единственное условие: эти поддомены должны быть добавлены в Google Webmaster Tools. Обратите внимание, что в бесплатной версии адрес сайта нужно вводить без слэша “/”. Этот сервис также помогает , так что после генерации карты появляется 2 ссылки на скачивание: на саму XML карту и на список битых ссылок, найденных при ее генерации.
Что делать потом?
После генерации карты, стоит ее проверить: не остались ли там лишние страницы, которые не нужны в индексе (например, те, которые исключены в robots.txt). Правильность составления карты можно проверить с помощью специального
При знакомстве с проектом специалист по оптимизации обязательно вводит в адресную строку после имени сайта фразу «sitemap.xml». Анализ карты сайта позволяет выяснить, почему не индексируется тот или иной контент. Как создать и внедрить грамотную sitemap.xml, я расскажу в очередном выпуске .
Что такое XML-карта
XML-карта сайта — файл с информацией для поисковых систем о страницах, которые необходимо проиндексировать. Другими словами, карта сайта — список всех страниц в формате XML, доступных для сканирования поисковым роботом. При этом стоит отличать XML-карту от обычной карты сайта, которая находится по адресу http://site.com/sitemap/ .
С помощью XML-карт определяется:
- местонахождение страниц сайта;
- время последнего обновления каждой из страниц;
- частота (периодичность) обновления и важность относительно других страниц сайта;
- важность (приоритетность) страниц в структуре.
Из каких элементов состоит XML-карта
В первой строке документа указывается версия xml и кодировка — UTF-8.
Также используются особенные теги XML:
- sitemapindex — родительский тег в начале и конце файла;
- sitemap — родительский тег для каждого файла sitemap, указанного в файле. При этом данный тег — дочерний относительно sitemapindex;
- url — блок, который содержит значение самого URL и прочие элементы;
- loc — непосредственно URL страницы;
- changefreq — как часто данная страница может изменяться. Возможные значения: always, hourly, daily, weekly, monthly, yearly, never;
- priority — приоритет структурных элементов, помогает определить, какие страницы более приоритетные для краулинга. Ему присваивается значение до единицы, например: 0,5.
- lastmod — время последнего обновления контента страницы, не обязательный параметр. Для сайтов со статическим контентом достаточно использовать changfreq.
Пример структуры файла c XML-картой сайта:
Для больших сайтов лучше сформировать несколько XML-карт. Например, в этот индекс в формате XML входят два файла sitemap:
XML sitemap для изображений
Отдельные XML-карты часто создаются для индексации изображений. Они актуальны только для Google, Яндекс не распознаёт теги image:
Данные XML-карты могут помочь поисковым системам найти контент, который иначе нельзя было бы обнаружить (например, если он загружается с помощью JavaScript), и указать изображения, которые необходимо сканировать и индексировать.
Для карт изображений используются теги:
Кроме того, можно использовать необязательные теги:
Пример XML-карты для изображений:
Если на сайте представлен уникальный видеоконтент, для него также можно сделать отдельную XML-карту.
Интересно, что в данной карте URL видеозаписей можно открыть для поиска в разделе Google Видео. В результатах будет отображаться значок видео, который, кстати, можно сделать индивидуальным, а также другая указанная в карте информация. Например, название.
Результат:
Какие сведения о видео можно отправлять в Google с помощью sitemap:
- название;
- описание,
- продолжительность;
- миниатюру и так далее.
Обязательные теги:
— страница, где находится видео;
Кроме этого, можно использовать другие теги — не обязательные и носящие рекомендательный характер:
Google «поддерживает» следующие форматы:
- .mpg, .mpeg, .mp4, .m4v;
- .wmv;
- .asf, .avi;
- .ra, .ram, .rm;
- .mov;
- .flv.
XML-карта для Google Новостей
Для сайтов-новостников можно создать отдельную sitemap с динамической генерацией и ежедневным обновлением. Данные файлы будут работать только для ресурсов, включенных в списки Google Новостей. Если сайт не находится в списке, можно отправить запрос на его добавление.
Файл sitemap должен содержать только URL статей, опубликованных за последние два дня. Статьи, опубликованные более двух дней назад, можно удалить из файла, при этом они останутся в индексе Google Новостей в течение 30 дней.
Эта карта сайта может содержать не более 1000 URL. Если на сайте за два дня появляется больше контента, можно создать файл индекса sitemap для нескольких карт.
Обязательные теги:
Кроме этого, существуют необязательные теги:
- PressRelease — официальный пресс-релиз;
- Satire — статья, которая выставляет предмет обсуждения в комической форме.
- Blog — любая статья, которая опубликована в блоге или в формате блога.
- OpEd — любая статья, выражающая личное мнение и размещенная в колонке редактора.
- Opinion — любая статья, выражающая личное мнение и не включенная в колонку редактора. Сюда относятся как рецензии колумнистов, так и интервью.
- UserGenerated — материал, созданный пользователем и прошедший официальную редакторскую правку.
— ключевые слова по теме статьи; — список биржевых/финансовых символов (не более пяти, через запятую). Подходит для статей о бизнесе. Перед каждым символом должно указываться название соответствующей биржи, совпадающее с записью в Google Финансах, например NASDAQ:AMAT или BOM:500325.
Пример sitemap для Google Новостей:
Как построить XML-карту для мультиязычных сайтов
Файлы sitemap можно использовать, чтобы передать Google атрибут rel="alternate" hreflang="x" . Благодаря этому пользователям показываются страницы на нужном языке и с URL-адресами с правильной региональностью.
Пространство имен XHTML должно быть указано так:
Xmlns:xhtml="http://www.w3.org/1999/xhtml"
Также необходимо создать отдельный элемент URL для каждого адреса. В свою очередь каждый элемент должен включать:
- Тег loc, который указывает на URL-адреса;
- Подэлемент xhtml:link rel="alternate" hreflang="XX" для каждой альтернативной версии страницы, обязательно включая текущую версию.
Например, на сайте есть раздел на русском языке, предназначенный для пользователей со всего мира. Кроме того, существуют две версии этой страницы: на украинском и на английском.
Полный набор URL выглядит так:
- example.com/ua/
- example.com/ru/
- example.com/en/
Файл sitemap, который приведен на примере ниже, сообщает Google о том, что у страницы example.com/ru/ существует соответствующая версия на украинском и английском языках:
Яндекс поддерживает два формата файлов sitemap:
- XML (рекомендуется);
- текстовый файл.
Требования для карт Яндекс:
- размер в несжатом виде не должен превышать 10 Мб;
- Яндекс распознает Punycode (пуникод) как в закодированном виде, так и в оригинале.
Принципиально:
- до 50 000 ссылок на файлы sitemap;
- общий размер до 50 Мб (в несжатом виде).
Форматы, которые поддерживает Google в качестве sitemap:
- XML — стандартный файл;
- RSS, media RSS и Atom 1.0 — подходит для блогов с фидом RSS или Atom;
- Сайты Google. Если сайт создан и подтвержден с помощью сервиса «Google Сайты», файл sitemap создается автоматически. Его нельзя изменить, но можно отправить в Google, чтобы получать сведения для отчетов. Если в одном подкаталоге содержится более 1000 страниц, файл sitemap может отображаться некорректно.
- Текстовый файл.txt.
Основные требования к текстовым файлам:
- кодировка UTF-8;
- файл не должен содержать ничего, кроме списка URL;
- текстовому файлу можно дать любое имя, но только с расширением.txt (например, sitemap.txt).
Как внедрить XML-карту
- Файл с XML sitemap следует поместить в корневую директиву сайта: http://<адрес сайта>/sitemap.xml .
- Если карт сайта несколько, необходимо создать индекс карт, где должны быть перечислены ссылки на все XML-файлы. рекомендуемых генераторов.
Как найти ошибки в XML-картах
Как анализировать карту сайта в Яндекс.Вебмастере
В Яндекс.Вебмастере для работы с XML-картами следует перейти по пути «Индексирование» — «Файлы sitemap».
Отдельно в разделе Инструменты, представлен «Анализатор файлов sitemap», где на проверку можно отправить текст, URL или прикрепить сам файл. При проверке он показывает тип и размер файла, количество ссылок и ошибки.
В панели вебмастеров Google в разделе «Сканирование» есть пункт «Файлы sitemap».
Здесь можно:
- добавить или проверить файлы sitemap;
- отследить количество отправленных и проиндексированных страниц различных типов;
- увидеть ошибки и проблемы в картах сайта;
- отправить карты XML заново или удалить их.
Выводы
XML-карта сайта нужна поисковым роботам для обнаружения всех ваших страниц. Она содержит URL-адреса страниц сайта, а также относящиеся к ним данные, такие как время их последнего обновления, частоту их обновления и важность относительно других страниц сайта. Отдельные карты можно создавать для изображений, видео, XML можно размечать и для Google Новостей.
Создавать карту вручную не стоит — используйте бесплатные генераторы или специализированные программы. Проверить ошибки в картах можно в панелях вебмастеров Яндекс и Google.
Появились вопросы? С удовольствием отвечу в комментариях.
Карта сайта представляет собой страницу sitemap.html (для посетителей, помогает упростить навигацию и найти любую страницу на большом сайте) или файл sitemap.xml (для поисковых систем), содержащие подробный список всех страниц веб-сайта.
Сайтмап позволяет сократить количество переходов при поиске нужной страницы на любом, даже самом большом сайте. Грамотно настроенная карта сайта способна повысить индексацию страниц веб-сайта.
Какие возможности дает карта сайта?
Поисковики способны просканировать все адреса сайта самостоятельно, но создание карты сайта поможет им узнать, как это лучше сделать.
Сайтмап позволяет:
- найти новые страницы на ресурсе и проиндексировать их;
- расставить приоритетность страниц;
- отследить свежие изменения на индексируемых страницах;
- запомнить частоту обновления индексируемых страниц.
Какие бывают карты сайта?
В общем случае существует два варианта сайтмапа - это веб-страница sitemap.html и файл sitemap.xml. Рассмотрим их поподробнее.
Что такое Sitemap.html?
Это статическая HTML страница, где перечислены ссылки на все основные страницы сайта. Такой формат сайтмапа ориентирован на посетителей сайта и позволяет в 1 клик перейти на любую из страниц.
Sitemap.html имеет структуру дерева с развернутыми разделами.
У сайтов с очень сложной структурой HTML карта сайта может состоять из страниц с дополнительным уровнем вложенности.
Пример - карта сайта TripAdvisor .
Что такое sitemap.xml?
Это файл, лежащий в корневой директории сайта, который читается всеми существующими поисковиками. Его роль - показать поисковым системам все адреса страниц, которые нужно проиндексировать; когда они появились или обновились; с какой регулярностью перепроверять страницы на обновление.
Один файл sitemap.xml может включать в себя до 50 000 ссылок. При большем количестве ссылок таких файлов будет несколько . Дополнительные преимущества - возможность указать частоту обновления страниц и приоритет индексации. Правильная кодировка файла sitemap.xml должна быть UTF-8, а его размер ограничен 10 Мб.
Приведем пример карты сайта в формате.xml:
Как создать карту сайта?
Существует ряд методов создать sitemap для вашего ресурса:
- Статически вручную. Этот способ подойдет продвинутым пользователям, которые имеют навык работы с основными тегами, а веб-сайт состоит из небольшого количества страниц.
- Через генератор карты сайта. Если вы не хотите выполнять кропотливую и нудную работу по генерации карты сайта вручную, к вашим услугам - программа для создания карты сайта. Есть платные и бесплатные варианты: , и множество других.
- Плагин для CMS или средствами движка. Еще один хороший способ сгенерировать sitemap. Масса преимуществ в виде гибкой настройки под нужные параметры и максимума возможных адресов, а также серьезная экономия времени. Кроме того, при внесении изменений на страницу или создании новых страниц карта сайта будет обновляться автоматически, в отличие от сайтмапа, созданного другим способом. Для каждой системы существует свой плагин:
- для CMS WordPress разработаны seo-плагины с функцией создания сайтмапа;
- для Joomla существует Xmap ;
- DLE - имеется встроенный модуль .
Полезный нюанс!
Если исключить из карты сайта страницы, которые не несут коммерческой или информационной пользы (например, какие-нибудь страницы, не являющиеся посадочными, какие-то вспомогательные, транзитные), то поисковой робот будет тратить меньше своих ресурсов на переобход сайта.
А так как ресурс ограничен, становится больше вероятность, что робот обойдет нужные нам страницы. Создавая sitemap через плагин, можно сразу исключить оттуда определенные типы страниц. Их потом можно добавить, если понадобится. Актуально для больших сайтов.
Как часто должна обновляться карта сайта?
Единого норматива по количеству обновлений нет. Все зависит от частоты создания новых страниц ресурса, изменения адресов или контента и связей уже существующих страниц.
При этом стоит помнить, что данные, указанные в карте сайта, поисковый робот воспринимает как рекомендательные: если установить частоту обновлений, к примеру, раз в год, робот будет приходить чаще, а если раз в час - робот не станет индексировать страницу так часто.
Как правильно указать ссылку на sitemap.xml в robots.txt
Для начала, xml карта сайта должна быть создана и загружена на сервер, и потом можно добавить указание о наличии файла.
Чтобы это сделать, пропишите в robots.txt следующую строку:
Sitemap: {url-файла-sitemap},
где {url-файла-sitemap} - это полный URL вашего сайтмапа.
В итоге, robots.txt приобретет такой вид:
User-Agent: *
Sitemap: httр://mysite.com/sitemap.xml.
Частые ошибки в карте сайта
Самые распространенные ошибки:
- битые ссылки;
- редиректы;
- некорректные даты публикации или обновления контента.
Ошибки не будут иметь критического влияния на отношение поисковых систем к вашему сайту. Однако их устранение позволит направить высвободившиеся ресурсы поискового робота на переобход важных страниц.
Как проверить корректность карты сайта
Чтобы проверить корректность карты сайта, разработаны многочисленные онлайн-сервисы, которые сделают это за вас автоматически и укажут на все допущенные ошибки: валидности файла, указание на url с другого домена, превышение размера файла, проведут онлайн-диагностику индексации. Такие программы бесплатны и работают со всеми крупными поисковиками (Google, Yandex, Yahoo).
Для проверки корректности необходимо открыть страницу сервиса, загрузить xml-файл или ввести в поле соответствующий URL и нажать на кнопку проверки. Если программа обнаружит ошибки, она подскажет, какие адреса дают некорректный ответ.
Протестируйте sitemap.xml в Яндекс * - https://webmaster.yandex.ru/tools/sitemap/
Протестируйте с помощью сервиса Pixel Plus - https://webmaster.yandex.ru/tools/sitemap/
Англоязычный сервис - https://sitemapkoala.com/
* - для теста в Яндекс, необходимо .
Итого
Карта сайта - удобный инструмент, призванный упростить передачу структуры основных страниц как посетителю так и поисковой системе.
Без нее можно обойтись. Поисковик и так рано или поздно доберется до большинства веб-страниц, но с сайтмапом переобход или индесация новых страниц будут более эффективными.