• Товары с Алиэкспресс
  • Игрушки для мальчиков
  • Одежда
  • Игрушки ребенку
  • Ноутбуки
  • Новости
  • ROBOTS.TXT для WordPress: определение, использование и настройка

    1. Зачем настраивать его файл Robots.txt?
    2. Как настроить его файл Robots.txt?
    3. Возьмите пример расширения Virtual Robots.txt:
    4. Если вы используете плагин Yoast SEO:
    5. Настройте Robots.txt для WordPress
    6. Шаг 2: назовите ваш файл правильно
    7. Шаг 3: Понимание основных параметров файла Robots.txt
    8. Шаг 4: ограничить индексирование моих страниц или папок
    9. Шаг 5. Настройка оптимизированной конфигурации для WordPress.
    10. Шаг 6: Проверьте свой Robots.txt
    11. Бонус: файл Humans.txt
    12. заключение

    Файл " Robots.txt " использует "протокол исключения роботов (боты)". Он расположен в корне вашего сайта WordPress и является первым файлом, проанализированным роботами поисковых систем (такими как Google, Bing, Yahoo ...).

    Это позволяет вам давать инструкции по индексированию ваших страниц и других элементов вашего сайта. Если WordPress предоставляет виртуальный файл «robots.txt», который предоставляется сразу после его установки, его изменение позволяет лучше управлять содержимым, проиндексированным в поисковых системах.

    В этой статье мы увидим определение, использование и настройку файла Robots.txt для WordPress :

    txt для WordPress :

    Зачем настраивать его файл Robots.txt?

    Когда вы создаете свой сайт, вы можете не захотеть ссылаться на некоторые из ваших страниц в поисковых системах.

    Например, ваш сайт предлагает скачать документы в формате PDF, доступные после заполнения формы. Вы хотите, чтобы страницы, представляющие эти PDF-файлы, были проиндексированы, но не сам PDF-документ. Это где файл "robots.txt" входит . Вы можете поручить ему не индексировать ваш PDF в результатах поиска.

    В целом, вы можете определить четыре инструкции :

    1. Попросите роботов игнорировать все ваши страницы (в этом случае ни одна из ваших страниц не будет указана в поисковых системах)
    2. Запретить определенным роботам индексировать страницы вашего сайта (например, только Google)
    3. Запретить исследование определенных страниц, папок или файлов для всех роботов
    4. Запретить исследование определенных страниц, файлов или файлов для определенных роботов

    Предупреждение, файл robots.txt не обязательно учитывается «ботами». Это только показатель, и индексация ваших страниц также зависит от других элементов (например, ссылок на ваш сайт).

    Некоторые из них могут отображаться в результатах поиска, потому что сайты ссылаются на него, когда вы дали указание игнорировать их. В этом случае, если боты выполнили ваши инструкции, ваша страница появится в результатах поиска, но без мета-описания. Google просто укажет:

    Google просто укажет:

    Как настроить его файл Robots.txt?

    В WordPress виртуальный файл robots.txt создается базовым . Чтобы получить доступ к версии вашего robots.txt, введите в адресной строке: mydomaindomain.com/robots.txt . Виртуальный файл, установленный WordPress, устанавливает следующую конфигурацию:

    Примечание. Любой может получить доступ к вашему файлу "robots.txt" через URL-адрес yourdomainname.com/robots.txt. Поэтому никогда не используйте файл «robots.txt», чтобы скрыть контент на своем веб-сайте, поскольку злонамеренные пользователи и роботы будут точно знать, какие URL-адреса и / или папки вы не хотите индексировать.

    Также обратите внимание, что если вы уже создали файл sitemap.xml Он будет автоматически добавлен в ваш файл robots.txt.

    Поскольку это виртуальный файл, вы не найдете файл "robots.txt" на вашем сервере. Чтобы установить его, вы должны добавить расширение или создать его самостоятельно и загрузить на свой сервер.

    Чтобы вручную создать файл robots.txt :

    1. Используйте ваш любимый текстовый редактор и создайте текстовый файл
    2. Сохраните пустой файл с именем robots.txt
    3. Загрузите этот файл через FTP в корень вашего WordPress

    Также обратите внимание, что WordPress предлагает множество бесплатных расширений :

    Возьмите пример расширения Virtual Robots.txt:

    txt:

    Когда вы устанавливаете и активируете расширение Virtual Robots.txt, оно добавляется в строку меню слева от панели инструментов, на вкладке «Настройки».

    txt, оно добавляется в строку меню слева от панели инструментов, на вкладке «Настройки»

    Здесь вы можете изменить свой robots.txt по своему усмотрению. По умолчанию конфигурация уже установлена. В последней части мы увидим, как определить тот, который наилучшим образом соответствует вашим потребностям.

    В последней части мы увидим, как определить тот, который наилучшим образом соответствует вашим потребностям

    Обратите внимание, что, опять же, расширения не создают файл "robots.txt" на вашем сервере. Это виртуальный файл. Возьмите пример Virtual Robots.txt. Если я устанавливаю расширение на свой сайт и получаю доступ к адресу www.monnomdedomaine.fr/robots.txt, браузер сообщает мне, что это виртуальный файл, управляемый виртуальным плагином. роботы.

    роботы

    Если вы используете плагин Yoast SEO:

    Если вы поклонник отличного Yoast SEO плагин Знайте, что вы также можете редактировать и изменять Robots.txt через его интерфейс. Для этого перейдите в SEO >> Инструменты и нажмите Редактор файлов.

    Примечание: это меню не появится, если у вас есть отключено редактирование файлов в WordPress.

    Примечание: это меню не появится, если у вас есть   отключено редактирование файлов   в WordPress

    Теперь давайте поговорим о лучших методах настройки вашего файла «robots.txt» и о значении различных инструкций выше.

    Настройте Robots.txt для WordPress

    Шаг 1: понять его WordPress сайт

    Перед тем, как начать писать свой файл "robots.txt", важно знать структуру вашего сайта. Это облегчает откладывание их в файле «robots.txt».

    Когда вы используете WordPress и получаете доступ к серверу вашего сайта, вы идентифицируете файлы и каталоги «wp-admin», «wp-content» и «wp-include».

    Когда вы используете WordPress и получаете доступ к серверу вашего сайта, вы идентифицируете файлы и каталоги «wp-admin», «wp-content» и «wp-include»

    • Папка « wp-admin »: содержит все элементы бэк-офиса, администрирования вашего сайта.
    • Папка " wp-content ": она содержит ваши темы, плагины, изображения, которые вы размещаете на своем сайте, файлы кэша ...
    • Папка « wp-include »: это набор файлов WordPress.

    Нет смысла индексировать папки, содержащие административные элементы веб-сайта и, тем более, составные элементы WordPress. Папка "wp-content" является единственной, которая содержит элементы, которые нас интересуют (страницы, изображения, статьи ...). Ниже мы увидим, как определить эти правила.

    Шаг 2: назовите ваш файл правильно

    Важно настоять на именовании файла. Если он не называется «robots.txt» с «s» и строчными буквами, роботы считают его несуществующим. Этот файл представляет собой текстовый файл, который можно установить с помощью традиционного текстового инструмента (файл должен быть в формате .txt) и который всегда должен находиться в корне вашего веб-сайта.

    Напоминаем, что он всегда будет доступен по адресу: mydomaindomain.com/robots.txt.

    Шаг 3: Понимание основных параметров файла Robots.txt

    Вот как выглядит базовый файл "robots.txt" :

    Первый оператор «User-agent» определяет робота. Если вы введете «*», это означает, что все роботы могут получить доступ к вашему сайту. С другой стороны, если вы укажете:

    Это означает, что все роботы могут индексировать ваш сайт, кроме сайта Google. Вторая команда «Disallow» указывает содержимое, которое вы не хотите индексировать. По умолчанию весь контент индексируется роботами.

    Если вы хотите запретить индексацию страниц для всех поисковых систем, после «/ Disallow» следует «/ Disallow». Пример ниже:

    Пример ниже:

    Здесь я запрещаю всем поисковым системам (User-agent: *) индексировать мой сайт (полностью через «/»). Это полезно, когда ваш сайт еще находится в процессе создания. Обратите внимание, что вы можете установить эти инструкции через панель управления WordPress. Зайдите в настройки, а затем на подвкладку «Чтение».

    Зайдите в настройки, а затем на подвкладку «Чтение»

    Если вы установите флажок «Попросить поисковые системы не индексировать этот сайт», ваш robots.txt будет отображаться по умолчанию:

    txt будет отображаться по умолчанию:

    Теперь давайте посмотрим, как запретить доступ к определенным страницам или папкам на вашем сайте.

    Шаг 4: ограничить индексирование моих страниц или папок

    Давайте вернемся к классической структуре сайта WordPress:

    Как видно выше, мы не хотим индексировать папку «wp-admin», которая содержит элементы бэк-офиса, или папку «wp-includes», специфичную для WordPress. Это должно относиться ко всем поисковым системам. Надо будет написать:

    • « User-agent: * »: инструкции относятся ко всем поисковым системам.
    • « Disallow: / wp-admin и Disallow: / wp-includes »: я запрещаю любому сканеру индексировать содержимое в папках «wp-admin» и «wp-include» и разрешать индексирование папка "wp-content", потому что она учитывает мои изображения.

    Однако некоторые файлы в этой папке не заинтересованы в индексации. Я хочу индексировать только изображения, содержащиеся в подпапке «Uploads». Поэтому я буду использовать выражение «Разрешить» специально по следующему пути «wp-content / uploads» и запретить «wp-content»:

    Здесь я прошу робота не индексировать контент в папке «wp-content», КРОМЕ ТОКА из папки «uploads», которая точно соответствует изображениям на сайте.

    Наконец, если вы не хотите индексировать определенную страницу (например, здесь с mapageperso.html), вы можете указать адрес, по которому она доступна:

    html), вы можете указать адрес, по которому она доступна:

    Опять же, мы настаиваем на том, что любой может получить доступ к вашему robots.txt. Поэтому было бы неуместно добавлять URL-адрес конфиденциальной страницы.

    Шаг 5. Настройка оптимизированной конфигурации для WordPress.

    Есть много сайтов, которые предлагают оптимизированные конфигурации для WordPress. Однако, поскольку каждый веб-сайт уникален, их файл robots.txt также должен быть . Надо работать в соответствии с архитектурой сайта.

    Все будет зависеть от того, как настроен ваш WordPress: с категориями для настройки силос использование этикетки или нет использование RSS лента , использование сайт электронной коммерции и т. д. На самом деле мы предлагаем вам следующую конфигурацию, настроенную для WPFormation:

    User-agent: * # URL-адреса, которые я не хочу индексировать: Трекбэки входа в систему Запретить комментарии: /wp-login.php Запретить: * / Запретить обратную ссылку: / * / comments Disallow: / cgi-bin Disallow: /*.php$ Disallow : /*.inc$ Disallow: /*.gz Disallow: /*.cgi # Разрешенные URL CSS JS Analytics для ботов Разрешить: / * css? * Разрешить: / * js? * Разрешить: / *? utm * Разрешить: / CSS /? # Разрешить пользовательский агент Google Image: Разрешить Googlebot-Image: / * # Разрешить пользовательский агент Google AdSense: Google-Mediapartners * Разрешить: / * Карта сайта: https://mysite.com/sitemap_index.xml

    Шаг 6: Проверьте свой Robots.txt

    Чтобы проверить файл robots.txt , вы должны перейти к Консоль поиска из гугла доступно по этому адресу: https://www.google.com/webmasters/tools/ , Если вы еще этого не сделали, вы должны «добавить свойство», чтобы добавить свой WordPress в консоль поиска.

    Введите адрес вашего сайта, чтобы создать это новое свойство:

    Следующим шагом является подтверждение того, что вы являетесь владельцем этого сайта. Для этого Google предлагает загрузить HTML-файл на ваш сайт. Посмотрим, как поступить.

    Загрузите файл проверки HTML:

    Загрузите файл проверки HTML:

    Войдите на свой FTP-сервер через используемый вами FTP-клиент и загрузите только что загруженный файл в корневой каталог вашего веб-сайта. Выполнив этот шаг, вернитесь в консоль поиска Google, подтвердите, что вы не робот, и подтвердите операцию.

    Выполнив этот шаг, вернитесь в консоль поиска Google, подтвердите, что вы не робот, и подтвердите операцию

    Давайте теперь проверим, как работает ваш файл "robots.txt". Когда вы нажимаете «продолжить», вы получаете доступ к окну с несколькими опциями на левой боковой панели. На вкладке «исследование» выберите «инструмент тестирования robots.txt».

    txt»

    Инструмент отображает, если он обнаруживает ошибки в вашем файле. Вы также можете проверить различные URL-адреса, чтобы увидеть, заблокированы ли они вашим роботом или нет.

    Вы также можете проверить различные URL-адреса, чтобы увидеть, заблокированы ли они вашим роботом или нет

    Бонус: файл Humans.txt

    Это не просто роботы в жизни! Есть и люди;)

    Что это?
    Это инициатива, цель которой - узнать людей, стоящих за сайтом. Это TXT-файл, который содержит информацию о разных людях, которые внесли свой вклад в создание сайта.

    Почему файл TXT?
    Потому что это быстро и легко сделать. Потому что это не влияет на код. Довольно часто владельцы сайтов не хотят, чтобы авторы добавляли свою подпись; предположительно, потому что это делает страницы тяжелее и делает сайт менее быстрым.

    Куда мы это положим?
    В корне сайта. Просто рядом с файлом robots.txt. Если это возможно, вы также можете добавить тег автора в <head> страниц сайта: <link type = "text / plain" rel = "author" href = "http: //domain/humans.txt" />

    И я должен сделать это, потому что?
    Это не обязательно. Единственная цель этой инициативы - узнать авторов веб-сайтов, которые мы посещаем.

    Кого я упоминаю?
    Кого вы хотите, при условии, что он / она соглашается. Например, вы можете включить разработчика, дизайнера, редактора, SEO, SEM, SMO ... Список может быть длинным, поскольку в него могут входить все участники дизайна веб-сайта.

    Больше информации о файле humans.txt , Увидеть что из WPFormation ,

    заключение

    Если файл "robots.txt" не требуется на вашем сайте WordPress, он позволяет вам управлять контентом, который может быть проиндексирован роботами поисковой системы . Чтобы узнать, нужно ли вам это, определите, хотите ли вы не индексировать определенные части вашего сайта.

    Чтобы найти страницы вашего сайта, видимые для Google, вы можете нажать на панели поиска "site: monsite.fr". Затем отобразятся все проиндексированные страницы.

    Пример ниже со страницами, проиндексированными с сайта WP Training. « Около 501 результатов (0,26 секунды) » позволит вам быстро увидеть, что проиндексировано или нет. Если число кажется ненормально высоким или низким, это исправит ваш файл robots.txt.

    Сегодняшняя тенденция заключается в том, чтобы блокировать роботов как можно меньше. Некоторые сайты (например, такие как Yoast) не ограничивают ботов двигателя. Они предполагают, что поисковые системы знают, как различать различное содержание.

    Вы также можете:

    Теперь это зависит от вас! На ваш Robots.txt;)

    Robots.txt WordPress: определение, использование и реализация

    4,5 за 25 голосов

    Txt?
    Txt?
    Txt?
    Txt?
    Cgi # Разрешенные URL CSS JS Analytics для ботов Разрешить: / * css?
    Разрешить: / * js?
    Разрешить: / *?
    Utm * Разрешить: / CSS /?
    Почему файл TXT?
    Куда мы это положим?
    Почему на алиэкспресс все дешево, можно ли покупать у них?
    6 Январь 2016       darwin             Просмотров:   2816 Хотел бы ответить на вопрос который мне поступил на почту, мол почему на алиэкспресс

    ТОП-5 лучших умных часов с Алиэкспресс
    Умные часы сравнительно недавно оказались на прилавках магазинов, тем не менее, стремительно набирают популярность среди взрослых и детей. Это и не удивительно, ведь этот аксессуар не только красиво смотрится

    Как заработать на Алиэкспресс: основные методы
    Казалось бы, крупные торговые площадки в Интернете — это места, предназначенные для траты денег. Но на самом деле есть простые и надёжные методы, как заработать на Алиэкспресс. И воспользоваться ими могут

    Что делать если на алиэкспресс магазин перестал существовать
    Статьи Опубликовано: 18.10.2017 КАРТПЛОТТЕР (эхолот) за 25$!!! СОЗДАЮЩИЙ КАРТЫ глубин в реальном времени. Все чаще мне задают вопросы в стиле “Заказал товар, оплатил, позже зашел на страницу продавца,

    Детский размер США на русский на Алиэкспресс
    Многие из нас активно пользуются этой площадкой, и это не удивительно: здесь всегда можно найти что-то интересное по сходной цене. Детский размер США на русский на Али экспресс, таблицы сравнения – довольно

    Rock Zircon Nano - обзор наушников с АлиЭкспресс, где можно купить
    Недавно у меня сломались мои любимые наушники, и я начал подумывать о покупке новой модели. Наушники Rock Muma прослужили мне верой и правдой около двух лет, и я решил заказать их младшего брата — Rock

    Размер обуви на Алиэкспресс
    Многие считают, что приобретение обуви на торговой площадке – плохая идея, ведь велика вероятность того, что придет вовсе не тот размер, который мы заказывали. Но знаете ли вы, что в большинстве случаев

    Алиэкспресс шубы
    Всем привет. С наступлением осени меня все чаще стали спрашивать про покупку шубы с алиэкспресс, стоит оно того или нет. Поискав информацию в интернете, я кроме как  точно таких же вопросов, ничего

    Как вернуть обувь на Алиэкспресс ·. Возврат обуви на Алиэкспресс. В данной статье рассказывается о том, как делать возврат обуви на Алиэкспресс.
    Заказывая обувь на Алиэкспресс, все мы ожидаем надлежащее качество, и как же приятно когда оно соответствует нашим требованиям. Ну что можно сделать, если обувь пришла не такой какой должна

    Доставка с Алиэкспресс курьером: платная или нет?
    В данной статье мы поговорим, платная ли доставка курьером на Алиэкспресс . Курьерская доставка с Алиэкспресс нравится многим покупателям, ведь не придётся идти на почту с извещением, стоять в очереди

     

    Карта