Конфигурация SEO Spider

1. Другие параметры конфигурации Настройки robots.txt
2. Показать внутренние URL, заблокированные Robots.txt
3. Показать внешние URL, заблокированные Robots.txt
4. Пользовательский robots.txt
5. Перезапись URL
6. Удалить параметры
7. Опции
8. Regex Заменить
9. CDNs
10. Включают
11. Поиск проблемы
12. скорость
13. Пользовательский агент
14. Пользовательский поиск
15. Интеграция с Google Analytics
16. Интеграция Google Search Console
17. величавый
18. Ahrefs
19. Мос
20. объем памяти
21. Место хранения
22. Память для хранения
23. Хранение базы данных
24. полномочие
25. Режим
26. Режим списка
27. Режим SERP

Другие параметры конфигурации

Настройки robots.txt

Игнорировать robots.txt

По умолчанию SEO Spider будет подчиняться протоколу robots.txt. SEO Spider не сможет сканировать сайт, если он запрещен через robots.txt. Однако, эта опция позволяет вам игнорировать этот протокол, ответственность за который лежит на пользователе. Эта опция фактически означает, что SEO Spider даже не загружает файл robots.txt. Таким образом, это также означает, что ВСЕ директивы роботов будут полностью игнорироваться.

Показать внутренние URL, заблокированные Robots.txt

По умолчанию внутренние URL-адреса, заблокированные файлом robots.txt, будут отображаться на вкладке «Внутренние» с кодом состояния «0» и состоянием «Заблокировано файлом Robots.txt». Чтобы скрыть эти URL-адреса в интерфейсе, снимите этот флажок. Эта опция недоступна, если установлен флажок «Игнорировать robots.txt».

Вы также можете просмотреть внутренние URL-адреса, заблокированные файлом robots.txt, на вкладке «Коды ответов» и фильтр «Заблокирован Robots.txt». Это также покажет директиву robots.txt (столбец «совпадающая строка robots.txt») запрета на каждый заблокированный URL.

Показать внешние URL, заблокированные Robots.txt

По умолчанию внешние URL-адреса, заблокированные файлом robots.txt, скрыты. Чтобы отобразить их на вкладке «Внешние» с кодом состояния «0» и состоянием «Заблокировано Robots.txt», отметьте эту опцию. Эта опция недоступна, если установлен флажок «Игнорировать robots.txt».

Вы также можете просмотреть внешние URL-адреса, заблокированные файлом robots.txt, на вкладке «Коды ответов» и фильтр «Заблокировано Robots.txt». Это также покажет директиву robots.txt ('соответствующий столбец строки robots.txt') запрета на каждый заблокированный URL.

Пользовательский robots.txt

Вы можете скачать, отредактировать и протестировать файл robots.txt сайта с помощью пользовательской функции robots.txt в разделе «Конфигурация> robots.txt> Пользовательский», которая переопределит текущую версию сайта для сканирования. Он не будет обновлять live robots.txt на сайте. Эта функция позволяет добавлять несколько файлов robots.txt на уровне поддоменов, тестировать директивы в SEO Spider и просматривать URL-адреса, которые заблокированы или разрешены.

Пользовательский файл robots.txt использует выбранный Агент пользователя в конфигурации.

Во время сканирования вы можете отфильтровать заблокированные URL-адреса на основе пользовательского файла robots.txt («Коды ответов> Заблокировано robots.txt») и увидеть строку директивы robots.txt для совпадений.

Пожалуйста, прочтите наше рекомендуемое руководство пользователя, используя SEO Spider в качестве robots.txt тестер ,

Пожалуйста, обратите внимание - как уже упоминалось выше, изменения, которые вы вносите в robots.txt в SEO Spider, не влияют на ваш живой robots.txt, загруженный на ваш сервер. Однако вы можете скопировать и вставить их в живую версию вручную, чтобы обновить ваши живые директивы.

Перезапись URL

Функция перезаписи URL позволяет вам переписывать URL на лету. В большинстве случаев достаточно «удалить параметры» и общие параметры (в разделе «параметры»). Тем не менее, мы также предлагаем расширенную функцию замены регулярных выражений, которая обеспечивает дополнительный контроль.

Перезапись URL-адресов применяется только к URL-адресам, обнаруженным в ходе сканирования веб-сайта, а не к URL-адресам, которые вводятся в качестве начала сканирования в режиме «Паук» или как часть набора URL-адресов в режиме «Список».

Удалить параметры

Эта функция позволяет автоматически удалять параметры в URL. Это чрезвычайно полезно для веб-сайтов с идентификаторами сеансов, отслеживанием Google Analytics или множеством параметров, которые вы хотите удалить. Например -

Если на веб-сайте есть идентификаторы сеансов, из-за которых URL-адреса выглядят примерно так: «example.com/?sid=random-string-of-characters». Чтобы удалить идентификатор сеанса, вам просто нужно добавить «sid» (без апострофов) в поле «параметры» на вкладке «удалить параметры».

После этого SEO Spider автоматически удалит идентификатор сессии из URL. Вы можете проверить, как URL-адрес будет переписан нашим SEO-пауком на вкладке «Тест».

Эту функцию также можно использовать для удаления параметров отслеживания Google Analytics. Например, вы можете просто включить следующее в «удалить параметры» -

utm_source
utm_medium
utm_campaign

Это удалит стандартные параметры отслеживания из URL.

Опции

Мы будем включать общие параметры в этом разделе. Параметр «Обнаруженные строчные URL-адреса» делает именно это, он преобразует все просканированные URL-адреса в строчные, что может быть полезно для веб-сайтов с проблемами чувствительности к регистру в URL-адресах.

Regex Заменить

Эта расширенная функция работает с каждым URL-адресом, найденным во время сканирования или в режиме списка. Он заменяет каждую подстроку URL, которая соответствует регулярному выражению, заданной строкой замены. Функцию «Regex Replace» можно проверить на вкладке «Test» в окне конфигурации «URL Rewriting».

Примеры:

1) Изменение всех ссылок с http на https

Регулярное выражение: http
Заменить: https

2) Изменение всех ссылок на example.com на example.co.uk

Regex: .com
Заменить: .co.uk

3) Создание всех ссылок, содержащих страницу = номер на фиксированное число, например

www.example.com/page.php?page=1
www.example.com/page.php?page=2
www.example.com/page.php?page=3
www.example.com/page.php?page=4

Чтобы сделать все это, перейдите на www.example.com/page.php?page=1

Регулярное выражение: page = \ d +
Заменить: страница = 1

4) Удаление www. домен из любого URL с помощью пустого Заменить. Если вы хотите удалить параметр строки запроса, используйте функцию «Удалить параметры» - Regex не является подходящим инструментом для этой работы!

Регулярное выражение: www.
Заменить:

5) Удаление всех параметров

Регулярное выражение: \?. *
Заменить:

6) Изменение ссылок только для поддоменов example.com с http на https

Regex: http: // (. * Example.com)
Заменить: https: // $ 1

7) Удаление чего-либо после значения хеша в JavaScript рендеринг Режим

Регулярное выражение: #. *
Заменить:

8) Добавление параметров в URL

Регулярное выражение: $
Заменить:? Параметр = значение

Это добавит «? Параметр = значение» в конец любого URL-адреса

В ситуациях, когда на сайте уже есть параметры, для правильного добавления параметра требуются более сложные выражения:

Regex: (. *? \?. *)
Заменить: $ 1 & параметр = значение

Регулярное выражение: (^ ((?! \?).) * $)
Заменить: $ 1? Параметр = значение

Они должны быть введены в указанном выше порядке, иначе это не будет работать при добавлении нового параметра в существующие строки запроса.

CDNs

Функция CDNs позволяет вам вводить список CDN, которые будут рассматриваться как «Внутренние» во время сканирования.

Вы можете предоставить список доменов, которые будут рассматриваться как внутренние. Вы также можете предоставить подпапку с доменом, чтобы подпапка (и содержимое внутри) считалась внутренней.

Внутренние ссылки затем включаются во вкладку «Внутренние», а не «внешние», и из них извлекается дополнительная информация.

Включают

Эта функция позволяет вам контролировать, какой путь URL будет сканировать SEO Spider с помощью регулярных выражений. Он сужает поиск по умолчанию, сканируя только те URL-адреса, которые соответствуют регулярному выражению, что особенно полезно для крупных сайтов или сайтов с менее интуитивно понятными структурами URL-адресов. Соответствие выполняется для URL-версии в кодировке URL.

Страница, с которой вы запускаете сканирование, должна иметь исходящую ссылку, которая соответствует регулярному выражению, чтобы эта функция работала. (Очевидно, что если на начальной странице нет URL, соответствующего регулярному выражению, SEO Spider не будет сканировать что-либо!).

• Например, если вы хотите сканировать страницы из https://www.screamingfrog.co.uk, в которых есть «поиск» в строке URL, вы просто включите регулярное выражение:
  .*поиск.*
  в функции «включить». Это позволит найти страницы / search-engine-marketing / и / search-engine-optimisation /, так как в них есть «поиск».

Поиск проблемы

• Сопоставление выполняется с адресом URL Encoded Address, вы можете увидеть, что это такое, на вкладке URL Info в нижней части окна.
• Регулярное выражение должно соответствовать всему URL, а не только его части.

исключать

Конфигурация exclude позволяет исключать URL-адреса из сканирования, предоставляя список регулярных выражений (регулярное выражение). URL, соответствующий исключению, вообще не сканируется (он не просто «скрыт» в интерфейсе). Следовательно, это будет означать, что другие URL-адреса, которые не соответствуют исключению, но могут быть доступны только с исключенной страницы, также не будут найдены при сканировании.

Список исключений применяется к новым URL-адресам, обнаруженным во время сканирования. Этот список исключений не применяется к исходным URL-адресам, предоставленным в режиме сканирования или просмотра. Изменение списка исключений во время сканирования повлияет на вновь обнаруженные URL-адреса и теперь будет применяться ретроспективно к списку ожидающих URL-адресов. Соответствие выполняется на URL-кодированной версии URL-адреса. Вы можете увидеть закодированную версию URL-адреса, выбрав ее в главном окне, а затем в нижней части окна на вкладке сведений, глядя на вкладку «Информация о URL-адресе», и во второй строке значения, помеченной как «URL-кодированный адрес».

Вот несколько общих примеров -

• Чтобы исключить конкретный URL или страницу, синтаксис:
  http://www.example.com/do-not-crawl-this-page.html

• Чтобы исключить подкаталог или папку, синтаксис:
  http://www.example.com/do-not-crawl-this-folder/.*

• Чтобы исключить все после бренда, где иногда могут быть другие папки:
  http://www.example.com/.*/brand.*

• Если вы хотите исключить URI с определенным параметром, таким как «? Price», содержащимся во множестве различных каталогов, которые вы можете просто использовать (обратите внимание, что? Является специальным символом в регулярном выражении и должен быть экранирован):
  .*\?цена.*

• Если вы хотите исключить все файлы, заканчивающиеся на jpg, регулярное выражение будет:
  . * JPG $

• Если вы хотите исключить какой-либо URI с «производить» внутри них, регулярное выражение будет:
  .*производить.*

• Защищенные (https) страницы будут:
  . * HTTPS. *

• Исключение всех страниц на http://www.domain.com будет:
  http://www.domain.com/.*

• Если вы хотите исключить URL-адрес, и он, кажется, не работает, вероятно, потому что он содержит специальные символы регулярного выражения, такие как?. Вместо того, чтобы пытаться найти и экранировать их по отдельности, вы можете экранировать всю строку, начиная с \ Q и заканчивая \ E следующим образом:
  \ QHttp: //www.example.com/test.php продукт = специальный \ E

• Не забудьте использовать закодированную версию URL. Так что, если вы хотите исключить любые URL с конвейером |, это будет:
  . *% 7C. *

Вы также можете просмотреть наше видео-руководство о функции исключения в SEO Spider -

скорость

Настройка скорости позволяет вам контролировать скорость SEO Spider, либо по количеству одновременных потоков, либо по URL-адресам, запрашиваемым в секунду.

При уменьшении скорости всегда проще управлять с помощью параметра «Макс. URI / s», который представляет собой максимальное количество запросов URL-адресов в секунду. Например, скриншот ниже будет означать сканирование со скоростью 1 URL в секунду -

Опцию «Макс. Потоков» можно просто оставить в покое, когда вы регулируете скорость с помощью URL-адресов в секунду.

Увеличение количества потоков позволяет значительно увеличить скорость SEO Spider. По умолчанию SEO Spider сканирует 5 потоков, чтобы не перегружать серверы.

Пожалуйста, ответственно используйте конфигурацию потоков, так как установка большого числа потоков для увеличения скорости сканирования увеличит количество HTTP-запросов на сервер и может повлиять на время ответа сайта. В очень экстремальных случаях вы можете перегрузить сервер и разбить его.

Мы рекомендуем сначала согласовать скорость сканирования с веб-мастером, отслеживать время отклика и настраивать скорость в случае каких-либо проблем.

Пользовательский агент

Вы можете найти конфигурацию «User-Agent» в «Configuration> HTTP Header> User-Agent».

Переключатель user-agent имеет встроенные предустановленные пользовательские агенты для Googlebot, Bingbot, Yahoo! Slurp, различные браузеры и многое другое. Эта функция также имеет пользовательскую настройку агента пользователя, которая позволяет вам указать свой собственный агент пользователя.

Подробности о том, как SEO Spider обрабатывает robots.txt, можно найти Вот ,

Пользовательский поиск

SEO Spider позволяет вам найти все, что вы хотите в исходном коде сайта. Пользовательская функция поиска по регулярному выражению будет проверять исходный код каждой страницы, которую вы решили сканировать, на предмет того, что именно вы хотите найти. Всего в «пользовательском» меню конфигурации есть десять фильтров, которые позволяют вам вводить регулярное выражение и находить страницы, которые «содержат» или «не содержат» выбранный вами ввод. SEO Spider использует библиотеку регулярных выражений Java, как описано Вот , Чтобы «почистить» или извлечь данные, используйте выборочное извлечение особенность.

Страницы, которые содержат или не содержат их, можно найти на вкладке «Пользовательские» и использовать соответствующий номер фильтра, который соответствует номерам в вашей конфигурации. Например, вы можете выбрать «содержит» для таких страниц, как «Нет в наличии», так как вы хотите найти любые страницы, на которых это есть. При поиске чего-то вроде кода Google Analytics имеет смысл выбрать фильтр «не содержит», чтобы найти страницы, которые не содержат код (а не просто перечислить все, что есть!). Например -

В этом примере выше все страницы с отсутствующими на них данными будут отображаться на пользовательской вкладке под фильтром 1. Любые страницы, на которых паук не может найти номер Analytics UA, будут перечислены в фильтре 2.

Поскольку пользовательский поиск использует регулярные выражения, вы можете сопоставить точные слова. Например -

\ Bexample \ б

Соответствует определенному слову (в данном случае 'example'), так как \ b соответствует границам слова.

Пожалуйста, помните - если вы не используете Режим рендеринга JavaScript Пользовательский поиск проверяет исходный HTML-код веб-сайта, который может не совпадать с текстом, отображаемым в вашем браузере. Поэтому, пожалуйста, убедитесь, что вы ищете правильный запрос из исходного кода. Пользовательский поиск нечувствителен к регистру, в настоящее время нет способа найти страницы, содержащие «SEO», а не «seo».

Интеграция с Google Analytics

Вы можете подключиться к Google Analytics API и получать данные непосредственно во время сканирования. SEO Spider может извлекать метрики пользователей и сеансов, а также данные о конверсиях целей и данных электронной торговли (транзакции и доходы) для целевых страниц, поэтому вы можете просматривать свои наиболее эффективные страницы при проведении технического аудита или аудита контента.

Если вы запускаете кампанию Adwords, вы также можете получить данные о показах, кликах, стоимости и конверсии, и SEO Spider также будет сопоставлять ваши целевые URL с ползанием сайта. Вы также можете собирать другие интересующие вас показатели, такие как данные Adsense (показы объявлений, доход от кликов и т. Д.), Скорость сайта или активность в социальных сетях и взаимодействия.

Чтобы настроить это, запустите SEO Spider и перейдите в «Конфигурация> Доступ к API> Google Analytics».

Затем вам просто нужно подключиться к учетной записи Google (которая имеет доступ к учетной записи Google Analytics, которую вы хотите запросить), предоставив приложению «Screaming Frog SEO Spider» разрешение на доступ к вашей учетной записи для получения данных. Google API используют протокол OAuth 2.0 для аутентификации и авторизации. SEO Spider запомнит все учетные записи Google, которые вы авторизуете в списке, поэтому вы можете быстро «подключиться» при каждом запуске приложения.

После подключения вы можете выбрать соответствующий аккаунт Google Analytics, свойство, вид, сегмент и диапазон дат!

Затем просто выберите метрики, которые вы хотите получить! SEO Spider в настоящее время позволяет вам выбрать до 30, которые мы могли бы расширить. Если вы сохраняете количество метрик до 10 или ниже в одном измерении (в качестве приблизительного ориентира), то, как правило, это будет один запрос API на 10 тыс. URL, что делает его очень быстрым -

По умолчанию SEO Spider собирает следующие 10 показателей -

1. сессии
2. % Новых сессий
3. Новые пользователи
4. Показатель отказов
5. Количество просмотров страницы за сеанс
6. Средняя продолжительность сеанса
7. Значение страницы
8. Коэффициент конверсии цели
9. Достижения цели Все
10. Ценность Цели Все

Вы можете прочитать больше о определение каждой метрики от Google ,

Вы также можете установить размер каждой отдельной метрики против путь к странице и или целевая страница которые весьма различны (и оба полезны в зависимости от вашего сценария и целей).

Существуют сценарии, в которых URL-адреса в Google Analytics могут не совпадать с URL-адресами при сканировании, поэтому мы покрываем их путем сопоставления конечных и непоследовательных наклонных URL-адресов и чувствительности к регистру (прописные и строчные буквы в URL-адресах). Google не передает протокол (HTTP или HTTPS) через их API, поэтому мы также автоматически сопоставляем эти данные.

При выборе любого из вышеуказанных параметров обратите внимание, что данные из Google Analytics сортируются по сеансам, поэтому сопоставление выполняется по URL с наибольшим количеством сеансов. Данные не агрегированы для этих URL.

• Сопоставлять URL-адреса с конечными и непоследовательными косыми чертами - позволяет http://example.com/contact и http://example.com/contact/ соответствовать http://example.com/contact или http: // example. com / contact / from GA, в зависимости от того, какое количество сеансов больше.
• Сопоставлять прописные и строчные URL-адреса - позволяет http://example.com/contact.html, http://example.com/Contact.html и http://example.com/CONTACT.html соответствовать версии этого URL-адреса из ГА с наибольшим количеством сеансов.

Если у вас есть сотни тысяч URL-адресов в GA, вы можете ограничить количество URL-адресов для запроса, которое по умолчанию предписывается сеансам для возврата самых эффективных данных страницы.

Когда вы нажмете «начать» для сканирования, данные Google Analytics будут извлечены и отображены в соответствующих столбцах на вкладках «Внутренняя» и «Аналитика». В правом верхнем углу есть отдельная индикатор выполнения «Аналитика», и когда она достигнет 100%, данные сканирования начнут появляться по URL-адресам. Чем больше URL-адресов вы запрашиваете, тем дольше этот процесс может занять, но, как правило, он очень быстрый.

В настоящее время на вкладке «Аналитика» есть 3 фильтра, которые позволяют фильтровать данные Google Analytics.

• Сеансы выше 0 - это просто означает, что рассматриваемый URL имеет 1 или более сеансов.
• Показатель отказов выше 70%. Это означает, что показатель отказов в URL превышает 70%. В некоторых случаях это нормально!
• Нет данных GA - это означает, что для запрошенных метрик и измерений API Google не возвращал никаких данных для URL-адресов в обходе. Таким образом, URL-адреса либо не посещали сеансы посещений, либо, возможно, по каким-то причинам URL-адреса в сканировании просто отличаются от таковых в GA.
• Не индексируется данными GA - это означает, что URL не индексируется, но все еще содержит данные из GA.
• Несвязанные URL-адреса - это означает, что URL-адрес был обнаружен только через GA, но не был найден по внутренней ссылке во время сканирования.

Как пример для нашего собственного веб-сайта, мы можем видеть, что «нет данных GA» для страниц категорий блогов и нескольких старых сообщений в блогах, как вы могли ожидать (запрос был целевой страницей, а не страницей). Помните, что здесь могут отображаться страницы «noindex» или «canonicalized», если у вас нет уважение noindex ' а также ' уважать каноники отмечен на вкладке «Дополнительные настройки».

Если данные GA не попадают в SEO Spider, как вы ожидали, проанализируйте URL-адреса в GA в разделах «Поведение> Содержимое сайта> Все страницы» и «Поведение> Содержимое сайта> Целевые страницы» в зависимости от того, какое измерение вы выбрали в своем запросе. , URL-адреса здесь должны совпадать с URL-адресами для сканирования, чтобы данные были точно сопоставлены. Если они не совпадают, то SEO Spider не сможет точно сопоставить данные.

Мы рекомендуем проверить настройки представления Google Analytics по умолчанию (например, «страница по умолчанию») и фильтры, которые влияют на отображение URL-адресов и, следовательно, на соответствие сканированию. Если вы хотите, чтобы URL совпадали, вы часто можете внести необходимые изменения в Google Analytics.

Интеграция Google Search Console

Вы можете подключиться к API Google Search Analytics и получать данные непосредственно во время сканирования. SEO Spider может получать показы, клики, CTR и метрики позиции из Google Search Analytics, поэтому вы можете просматривать свои наиболее эффективные страницы при проведении технического аудита или аудита контента.

Чтобы настроить это, запустите SEO Spider и перейдите в «Конфигурация> Доступ к API> Консоль поиска Google». Подключение к Google Search Console работает так же, как уже подробно описано в нашем пошаговом руководстве. Интеграция с Google Analytics руководство.

Вам просто нужно подключиться к учетной записи Google (у которой есть доступ к учетной записи Search Console, которую вы хотите запросить), предоставив приложению «Screaming Frog SEO Spider» разрешение на доступ к вашей учетной записи для получения данных. Google API используют протокол OAuth 2.0 для аутентификации и авторизации. SEO Spider запомнит все учетные записи Google, которые вы авторизуете в списке, поэтому вы можете быстро «подключиться» при каждом запуске приложения.

Подключившись, вы можете выбрать подходящее свойство сайта, диапазон дат и размеры!

По умолчанию SEO Spider собирает следующие показатели -

• щелчки
• Впечатления
• CTR
• Позиция

Вы можете прочитать больше о определение каждой метрики от Google ,

Для исключения запросов бренда в качестве примера используются три размерных фильтра: тип устройства (настольный, планшетный и мобильный), фильтр страны и фильтр поисковых запросов для слов «содержат» или «не содержат».

В настоящее время на вкладке «Консоль поиска» есть 2 фильтра, которые позволяют фильтровать данные консоли поиска Google.

• Клики выше 0 - это просто означает, что рассматриваемый URL имеет 1 или более кликов.
• Нет данных GSC - это означает, что API не возвращал никаких данных для URL-адресов в обходе. Таким образом, URL-адреса либо не получили никаких показов, либо, возможно, по какой-то причине URL-адреса в сканировании просто отличаются от таковых в GSC.
• Не индексируется данными GSC - это означает, что URL не индексируется, но все еще содержит данные из GSC.
• Несвязанные URL-адреса. Это означает, что URL-адрес был обнаружен только через GSC и не был найден по внутренней ссылке во время сканирования.

величавый

Чтобы использовать Majestic, вам понадобится подписка, которая позволяет вам получать данные из их API. Затем вам просто нужно перейти к «Конфигурация> Доступ к API> Majestic» и затем щелкнуть ссылку «Создать маркер доступа к открытым приложениям».

Затем вы попадете в Majestic, где вам нужно «предоставить» доступ к Screaming Frog SEO Spider.

Затем вам будет предоставлен уникальный токен доступа от Majestic.

Скопируйте и введите этот токен в поле ключа API в окне Majestic и нажмите «подключиться» -

Затем вы можете выбрать источник данных (свежий или исторический) и метрики на уровне URL, субдомена или домена.

Затем просто нажмите «Пуск», чтобы выполнить сканирование, и данные будут автоматически извлечены через их API и могут быть просмотрены на вкладках «Метрики ссылок» и «Внутренние».

Ahrefs

Чтобы использовать Ahrefs, вам понадобится подписка, которая позволит вам получать данные из их API. Затем вам просто нужно перейти к «Конфигурация> Доступ к API> Ahrefs» и затем щелкнуть ссылку «Создать маркер доступа к API».

Затем вы попадете в Ahrefs, где вам нужно «разрешить» доступ к Screaming Frog SEO Spider.

Затем вы получите уникальный токен доступа от Ahrefs (но размещенный в домене Screaming Frog).

Скопируйте и введите этот токен в поле ключа API в окне Ahrefs и нажмите «подключиться» -

Затем вы можете выбрать метрики, которые вы хотите использовать на уровне URL, субдомена или домена.

Затем просто нажмите «Пуск», чтобы выполнить сканирование, и данные будут автоматически извлечены через их API и могут быть просмотрены на вкладках «Метрики ссылок» и «Внутренние».

Мос

Вам потребуется учетная запись Moz для получения данных из API Mozscape. Moz предлагает бесплатный ограниченный API и отдельный платный API, который позволяет пользователям получать больше метрик с большей скоростью. Обратите внимание, что это отдельная подписка на стандартную учетную запись Moz PRO. Вы можете прочитать о бесплатный и платный доступ в Моз ,

Чтобы получить доступ к API с помощью бесплатной учетной записи или платной подписки, вам просто нужно войти в свою учетную запись Moz и просмотреть свой API-идентификатор и секретный ключ ,

Скопируйте и введите идентификатор доступа и секретный ключ в соответствующие поля ключей API в окне Moz в разделе «Конфигурация> Доступ к API> Moz», выберите тип своей учетной записи («бесплатный» или «платный»), а затем нажмите «подключиться». -

Затем вы можете выбрать доступные вам метрики на основе вашего бесплатного или платного плана. Просто выберите метрики, которые вы хотите использовать на уровне URL, субдомена или домена.

Затем просто нажмите «Пуск», чтобы выполнить сканирование, и данные будут автоматически извлечены через их API и могут быть просмотрены на вкладках «Метрики ссылок» и «Внутренние».

объем памяти

SEO Spider использует Java, который требует выделения памяти при запуске. По умолчанию SEO Spider разрешит 1 ГБ для 32-разрядных и 2 ГБ для 64-разрядных компьютеров.

Увеличение выделения памяти позволит SEO Spider сканировать больше URL-адресов, особенно когда в ОЗУ режим, но и когда хранение в базу данных ,

Мы рекомендуем установить выделение памяти на 2 ГБ ниже, чем ваша общая физическая память компьютера.

Если вы хотите узнать больше о сканировании больших веб-сайтов, распределении памяти и доступных вариантах хранения, см. Наше руководство на сканирование больших сайтов ,

Место хранения

Кричащая лягушка SEO Spider использует настраиваемый гибридный механизм, позволяющий пользователям выбирать для хранения данных сканирования в ОЗУ или в базе данных.

По умолчанию SEO Spider использует оперативную память, а не жесткий диск для хранения и обработки данных. Это обеспечивает удивительные преимущества, такие как скорость и гибкость, но у него также есть недостатки, в особенности, ползание в масштабе.

Однако, если у вас есть твердотельный накопитель, SEO Spider также может быть настроен на сохранение данных для сканирования на диск, выбрав режим «Хранилище базы данных» (в «Конфигурация> Система> Хранилище»), который позволяет ему сканировать в действительно беспрецедентном масштабе, в то время как сохраняя те же, знакомые отчеты в реальном времени и удобство использования.

По сути, оба режима хранения могут по-прежнему обеспечивать практически одинаковое сканирование, позволяя создавать отчеты, фильтровать и настраивать сканирование в режиме реального времени. Однако существуют некоторые ключевые различия, и идеальное хранилище будет зависеть от сценария сканирования и технических характеристик компьютера.

Память для хранения

Режим хранения в памяти позволяет осуществлять сверхбыстрое и гибкое сканирование практически для всех настроек. Однако, поскольку машины имеют меньше оперативной памяти, чем пространство на жестком диске, это означает, что SEO Spider, как правило, лучше подходит для сканирования сайтов с URL-адресами 500 000 в режиме хранения в памяти.

Пользователи могут сканировать больше, чем при правильной настройке, и в зависимости от того, насколько интенсивно выполняется сканирование сайта. Как очень грубое руководство, 64-битный компьютер с 8 ГБ оперативной памяти, как правило, позволяет сканировать пару сотен тысяч URL-адресов.

Помимо того, что это лучший вариант для небольших веб-сайтов, режим хранения в памяти также рекомендуется для компьютеров без SSD или там, где мало места на диске.

Хранение базы данных

Мы рекомендуем использовать его как хранилище по умолчанию для пользователей с твердотельным накопителем и для сканирования в масштабе. Режим хранения базы данных позволяет сканировать больше URL-адресов для заданного параметра памяти с близкой к скорости сканирования памяти ОЗУ для установок с твердотельным накопителем (SSD).

Ограничение сканирования по умолчанию составляет 5 миллионов URL-адресов, но это не жесткое ограничение - SEO Spider способен сканировать значительно больше (при правильной настройке). Например, машина с твердотельным накопителем на 500 ГБ и 16 ГБ ОЗУ должна позволять вам сканировать приблизительно до 10 миллионов URL-адресов.

Хотя это и не рекомендуется, если у вас есть быстрый жесткий диск (HDD), а не проданный диск состояния (SSD), тогда этот режим все же может позволить вам сканировать больше URL-адресов. Однако скорость записи и чтения жесткого диска становится узким местом при сканировании, поэтому и скорость сканирования, и сам интерфейс будут значительно медленнее. Использование сетевого диска не поддерживается - это будет слишком медленно. Использование локальной папки, которая синхронизируется удаленно, например Dropbox или OneDrive, не поддерживается. Использование таких папок бесполезно, так как невозможно восстановить обход содержимого базы данных.

Если вы работаете на машине во время сканирования, это также может повлиять на производительность машины, поэтому скорость сканирования может потребоваться уменьшить, чтобы справиться с нагрузкой. Твердотельные накопители настолько быстры, что, как правило, у них нет этой проблемы, и именно поэтому «хранилище базы данных» можно использовать по умолчанию как для малых, так и для больших обходов.

Поиск проблемы

• Файловые системы ExFAT / MS-DOS (FAT) не поддерживаются в macOS из-за JDK-8205404 ,

полномочие

Эта функция («Конфигурация> Система> Прокси») позволяет вам настроить SEO Spider на использование прокси-сервера.

Вам нужно будет настроить адрес и порт прокси в окне конфигурации. Чтобы отключить прокси-сервер, снимите флажок «Использовать прокси-сервер».

Пожалуйста, обратите внимание:

• Можно настроить только 1 прокси-сервер.
• Вы должны перезапустить, чтобы изменения вступили в силу.
• Никакие исключения не могут быть добавлены - либо весь HTTP / HTTPS-трафик проходит через прокси-сервер, либо не входит.
• Некоторые прокси-серверы могут потребовать ввода данных для входа в систему до сканирования с использованием проверка подлинности на основе форм ,

Режим

Режим паука

Это режим по умолчанию для SEO Spider. В этом режиме SEO Spider будет сканировать веб-сайт, собирая ссылки и классифицируя URL-адреса в различных вкладках и фильтрах. Просто введите URL по вашему выбору и нажмите «Пуск».

Режим списка

В этом режиме вы можете проверить предварительно определенный список URL-адресов. Этот список может быть получен из различных источников - простого копирования и вставки или файла .txt, .xls, .xlsx, .csv или .xml. Файлы будут проверены на наличие URL-адресов с префиксом http: // или https: //, весь остальной текст будет игнорироваться. Например, вы можете напрямую загрузить загрузку AdWords, и все URL-адреса будут найдены автоматически.

Если вы выполняете миграцию сайта и хотите проверить URL-адреса, мы настоятельно рекомендуем использовать всегда следовать перенаправлениям ', чтобы SEO Spider нашел окончательный целевой URL. Лучший способ просмотреть их - через отчет «Цепочки перенаправления», и мы более подробно рассмотрим наш Как проводить аудит перенаправлений ' руководство.

Режим списка изменяет значение глубины сканирования на ноль, что означает, что будут проверяться только загруженные URL-адреса. Если вы хотите проверить ссылки с этих URL-адресов, настройте глубину сканирования на 1 или более на вкладке «Ограничения» в «Конфигурация> Паук». Режим списка также заставляет паука игнорировать файл robots.txt по умолчанию, мы предполагаем, что если список загружается, то целью является сканирование всех URL-адресов в списке.

Если вы хотите экспортировать данные в режиме списка в том же порядке, в котором они были загружены, используйте кнопку «Экспорт», которая появляется рядом с кнопками «Загрузить» и «Пуск» в верхней части интерфейса пользователя.

Данные в экспорте будут в том же порядке и будут включать все точные URL-адреса в исходной загрузке, включая дубликаты или любые исправления.

Режим SERP

В этом режиме вы можете загружать заголовки страниц и метаописания прямо в SEO Spider, чтобы вычислить ширину пикселя (и длину символа!). В этом режиме нет сканирования, поэтому они не должны быть активны на веб-сайте.

Это означает, что вы можете экспортировать заголовки и описания страниц из SEO Spider, делать массовые изменения в Excel (если это ваше предпочтение, а не в самом инструменте), а затем загружать их обратно в инструмент, чтобы понять, как они могут отображаться в выдаче Google.

Под ' отчеты ', у нас есть новый отчет "SERP Summary" в формате, необходимом для повторной загрузки заголовков и описаний страниц. Нам просто требуются три заголовка для «URL», «Заголовок» и «Описание».

Например -

Вы можете загрузить файл в формате .txt, .csv или Excel.

Похожие

Комментарии