Категории

  • Огнетушители
  • Рукава пожарные
  • Оценка земли
  • Как бизнес
  • Оценка недвижимости
  • Услуги по оценке.
  • Индивидуальные средства защиты
  • ПротивоГАЗы
  • Новости
  • Новости

    Где купить держатель для Айфона в авто

    Сегодня очень многие автомобилисты задаются сакраментальным вопросом, который не может их не беспокоить - где купить держатель

    Где выбрать фотоаппарат

    С недавних пор увлекаюсь фото и видео съемкой. Приобрел фотоаппарат от Canon , т.к. доверяю данной компании и сталкивался с их продукцией не раз. И решил приобрести аксессуары для моей камеры. Начал

    Подтяжки
    С чем нужно носить купить подтяжки, как правильно их носить и что не нужно делать, чтобы не выглядеть глупо? Первоначально нужно разобраться, что если брюки немного слетают, то для этой цели существует

    Вызов электрика
    Все мы с удовольствием пользуемся результатами такого явления, как электрификация всей страны. Она позволила нашим соотечественникам получить прекрасную возможность не только улучшить качество своей

    Доставка пива
    За счет низкого содержания алкоголя и несравнимых вкусовых качеств пиво является самым популярным слабоалкогольным напитком в мире. Также оно занимает третье место по частоте употребления среди населения

    Слуховые аппараты в для пожилых людей
    Совершенно очевидно, что плохо слышать, очень нехорошо. Нужно лечиться, если, конечно, это возможно. Бывают случаи, когда не остается другого выхода, кроме, как поинтересоваться, где найти слуховые аппараты

    Диплом
    Самара комфортный и уютный город, в котором жить хорошо. Но еще лучше, если вы живете в Самаре и располагаете дипломом о высшем образование. Это позволяет занять руководящую или просто хлебную должность,

    Диплом
    Многие думают, что получать образование необходимо, так как нужен диплом для того чтобы получить приличную работу и не прозябать в безденежье. Но так не хочется терять драгоценные молодые годы, просиживая

    Диплом
    Любому здравомыслящему человеку не хочется терять драгоценные молодые годы, просиживая их в скучных аудиториях. Но тут, казалось бы, ничего не поделаешь. Ведь диплом нужен для того чтобы получить приличную

    Ремонт тентов полуприцепов
    Грузовиков с тентом в нашей стране насчитывается немало. А те, кто купил и активно используют грузовой тентованный автомобиль, всегда будут интересоваться-а где, собственно, производится ремонт тентов

    Использование журналов сервера для выявления проблем SEO

    1. Что такое журналы веб-сервера?
    2. 3 примера использования журналов сервера
    3. Преобразование необработанных данных журнала

    Иногда на сайтах возникают проблемы с поисковой оптимизацией, которые Google Search Console, Google Analytics и готовые инструменты SEO не могут обнаружить. Когда это происходит, я часто полагаюсь на метод старой школы: логи веб-сервера.

    Что такое журналы веб-сервера?

    Вы можете предположить, что Google Analytics или аналогичные аналитические платформы регистрируют каждое посещение вашего сайта. Однако аналитические платформы не регистрируют большинство посещений роботов, включая роботов поисковых систем.

    Журналы веб-сервера, тем не менее, регистрируют каждое посещение вашего сайта, будь то люди или роботы. Думайте о журналах веб-сервера как о автоматизированных журналах всей активности на вашем сайте. Обычно они включают исходный IP-адрес посетителя, агенты пользователя браузера, запрашиваемые страницы и страницу, с которой пришел посетитель.

    Основная проблема с журналами сервера заключается в том, что информация находится в необработанном формате. Вам нужно предпринять дополнительные шаги для анализа данных.

    Например, вот как выглядит комбинированный формат журнала Apache.

    66.249.64.34 - откровенный [05 / Apr / 2017: 13: 55: 36 -0700] "GET / product-123 HTTP / 1.1" 200 2326 "http://www.webstore.com/home.html" "Mozilla / 5.0 (совместимо; Googlebot /2.1; + http: //www.google.com/bot.html) "

    Я подчеркнул ключевые части журнала: IP-адрес посетителя, время посещения, посещенную страницу, ссылающуюся страницу и посетитель или бот. Вы можете использовать IP-адрес для проверить посещения Googlebot ,

    3 примера использования журналов сервера

    Вот три недавних примера, где я использовал логи веб-сервера, чтобы найти причину проблем SEO.

    Первый пример взят из моей работы с многонациональной корпорацией. Консоль поиска Google> Сканирование> Файлы Sitemap сообщили о более чем 100 000 страниц в файлах XML-сайтов, но Google проиндексировал менее 20 000 из них. Тем не менее, консоль поиска> Индекс Google> Статус индекса сообщает, что проиндексировано более 70 000 страниц.

    Как это возможно?

    Google может проиндексировать множество дублированных или устаревших страниц и пропустить «настоящие» страницы сайта. Сложнее всего определить, какие дубликаты страниц проиндексированы, а какие нет.

    К сожалению, Google Search Console не предоставляет список проиндексированных URL-адресов и не сообщает, какие страницы из ваших файлов Sitemap XML не проиндексированы. Чтобы решить проблему, нам нужен был ответ на оба эти вопроса.

    В этом случае я получил серверные журналы, охватывающие конец января - начало марта. Проанализировав их, мы узнали, что в тот период Google сканировал менее 9 процентов страниц в XML-карте сайта.

    Иногда на сайтах возникают проблемы с поисковой оптимизацией, которые Google Search Console, Google Analytics и готовые инструменты SEO не могут обнаружить

    В случае с этим клиентом 91,6 процента URL-адресов карты сайта не были просканированы.

    Когда мы внимательно посмотрели на не сканированные страницы, мы обнаружили, что большинство из них имеют одинаковый контент и шаблон. Единственным отличием было название продукта. Похоже, робот Google не сканировал их из-за одинакового содержания страниц. В дополнение к этому мы подтвердили, что робот Google потратил время на ловушки для ботов.

    Ранее я обращался к ловушкам ботов или бесконечным пространствам для сканирования. Они часто появляются на сайтах с обширными базами данных, таких как большинство платформ электронной коммерции, и заставляют роботов поисковых систем продолжать извлекать страницы в бесконечном цикле. Примером этого является многогранная или управляемая навигация, которая может привести к почти неограниченному количеству опций. Бесконечные пространства для сканирования мусора Googlebot's бюджет обхода и может помешать индексации важных страниц.

    Решением в этом случае стал болезненный процесс написания уникального контента для каждой страницы, начиная с самых продаваемых продуктов. (Измерение инвестиций в уникальный контент может помочь определить, имеет ли смысл делать это.)

    Второй пример взят с крупного сайта в автопроме. Мы перенесли сайт на HTTPS и столкнулись со многими задержками реиндексации, которые повредили обычному поисковому рейтингу сайта.

    Этот случай был особенно сложным, потому что мы подозревали, что на сайте были серьезные ловушки ботов, но нам пришлось обрабатывать терабайты данных журнала с нескольких веб-серверов, классифицировать страницы по типу страницы и эмулировать функциональность Search Console> Crawl> URL Parameters, чтобы понять эта проблема.

    Разбивка по типу страницы позволила нам сузить проблему с ловушкой для ботов до группы URL «Year-Make-Model-Category». Далее, мы хотели посмотреть, может ли необычное количество просканированных страниц - из-за параметров URL - привести нас к ловушке бота.

    Наш анализ журнала помог нам определить проблему. Мы нашли три новых параметра URL, которые не отображаются в списке Search Console> Crawl> URL Parameters , но они получили больше посещений, чем ожидалось. ( Категоризация параметров URL помогает Google избежать сканирования дубликатов URL.) Тот факт, что они не были перечислены в Консоли поиска> Сканирование> Параметры URL, помешал нам решить проблему. Я предполагал, что Google перечислит любые параметры, о которых нам нужно беспокоиться, но это было неправильно. У нас было около 100 проблемных параметров URL.

    Тема параметров URL может быть запутанной. Параметры URL-адреса задаются динамически в URL-адресе страницы и могут управляться ее шаблоном и источниками данных. Параметры URL состоят из ключа и значения, разделенных знаком равенства (=) и соединенных амперсандом (&). Первый параметр всегда идет после вопросительного знака в URL.

    Практически каждая платформа электронной коммерции имеет динамические страницы, которые автоматически генерируются из содержимого базы данных. Эти динамические страницы часто используют параметры URL-адреса, чтобы приложение электронной коммерции могло представить нужный контент. Одним из примеров этого являются страницы страниц, разбитые на страницы, как показано ниже.

    • http://www.webstore.com/shoes
    • http://www.webstore.com/shoes?page=2
    • http://www.webstore.com/shoes?page=3
    • http://www.webstore.com/shoes?page=4

    В этом случае «страница» является параметром URL. Google считает его активным параметром, потому что он изменяет или влияет на содержимое страницы. В консоли поиска Google мы установим параметр в Crawl> URL Parameters . Это будет указывать Google сканировать каждую страницу, чтобы она могла выбирать канонические теги и теги пагинации.

    Это будет указывать Google сканировать каждую страницу, чтобы она могла выбирать канонические теги и теги пагинации

    Настройка параметра «страница» в Консоли поиска> Сканирование> Параметры URL . Нажмите на изображение, чтобы увеличить.

    Другим примером является параметр, который мы добавляем на страницы для отслеживания, например, чтобы узнать, какие маркетинговые кампании работают лучше.

    • http://www.webstore.com/shoes?utm_source=Google
    • http://www.webstore.com/shoes?utm_source=Bing
    • http://www.webstore.com/shoes?utm_source=Facebook

    В этом случае это параметр «utm_source», который является стандартным параметром отслеживания Google Analytics. Это не влияет на содержание страницы. Google считает это пассивным параметром.

    Google считает это пассивным параметром

    Настройка utm_source в Консоли поиска> Сканирование> Параметры UTM . Google считает это пассивным параметром. Нажмите на изображение, чтобы увеличить.

    Последний пример связан с популярным веб-издателем. Наша проблема заключалась в том, что мы знали, что на сайте были дубликаты страниц, но когда мы запустили ScreamingFrog, инструмент-паук, мы не смогли найти их, потому что они не были связаны внутри. Однако, когда мы искали в Google, мы могли видеть несколько результатов поиска, подтверждая, что они были проиндексированы. Угадывание URL-адресов для проверки не особенно масштабируемо. Веб-журналы на помощь!

    Мы загрузили данные журнала с конца февраля до конца марта и сосредоточились на том, чтобы получить ответ на вопрос: по каким URL-адресам сканировал робот Googlebot, которые не включены в карту сайта XML?

    Когда вы выполняете этот тип анализа, если сайт является блогом, вы можете ожидать появления списков статей в категории и страниц с избыточными параметрами URL, поскольку эти страницы обычно не включаются в XML-карты сайта. Я обычно рекомендую включать страницы списков - например, списки статей в категории - в отдельные XML-карты сайта (даже если вы назначаете им канонические теги), поскольку это помогает подтвердить, индексируются ли они.

    Используя серверные журналы, мы были удивлены, обнаружив на сайте несколько бесполезных страниц с такими же заголовками, что и у других законных страниц, но без уникального контента. Мы не знали, что эти страницы существуют, но робот Googlebot смог их найти и, к сожалению, проиндексировать многие из них. Таким образом, сайт требует серьезной работы по удалению ненужных страниц.

    Кроме того, робот Googlebot может найти веб-страницы, которые инструменты паука, такие как ScreamingFrog, не могут - по следующим причинам.

    • Google использует ссылки с любого сайта в Интернете, а не только внутренние ссылки.
    • Сайты WordPress и большинство блоговых платформ, поисковые машины когда создается новый контент.
    • У Google долгая память. Если страница была просканирована в прошлом, Google может пересмотреть ее в будущем.
    • Google не подтверждает это, но может обнаружить новые страницы из журналов Chrome или Google Analytics.

    Преобразование необработанных данных журнала

    Мы пишем код для всех журналов анализа клиентов. Вот упрощенный двухэтапный процесс для начала.

    Сначала преобразуйте данные журнала в формат структурированных данных, например CSV, используя регулярное выражение - «регулярное выражение». Вот регулярное выражение, которое работает в PHP.

    ^ (\ S +) \ S + \ S + \ [([^ \]] +) \] "[AZ] + \ s ([^ \ s] +) [^"] + "\ d + \ d +" [^ " ] * "" ([^ "] *)" $

    Регулярные выражения могут быть сложными, особенно если вы не веб-разработчик. В двух словах, регулярные выражения - это шаблоны поиска. Вы можете быть знакомы с подстановочными знаками. Примером является использование термина * .docx в командной строке вашего компьютера для перечисления всех документов Microsoft Word в каталоге. Регулярные выражения разрешить аналогичные, но более сложные поиски.

    использование Регулярные выражения 101 проверить и понять, как работает приведенное выше регулярное выражение. Введите регулярное выражение выше в инструмент. Вам также нужно будет ввести тестовую строку. В этом примере я буду использовать пример журнала Apache, который был подчеркнут ранее в этой статье.

    Используя RegEx 101, мы можем вставить запись журнала сервера, на которую мы ссылались ранее в статье, как «тестовую строку» и применить приведенное выше регулярное выражение. Результатом являются наши извлеченные данные. Нажмите на изображение, чтобы увеличить.

    В этом случае инструмент использует шаблон поиска регулярных выражений в указанной выше записи журнала сервера для извлечения IP-адреса робота Google, даты посещения, посещаемой страницы и пользовательского агента браузера (в данном случае Googlebot).

    Если вы прокрутите вниз в разделе «Информация о матче» справа, вы увидите извлеченную информацию. Это регулярное выражение работает специально с комбинированным журналом Apache. Если ваш веб-сервер - Microsoft IIS или Nginx, например, это регулярное выражение не будет работать.

    Следующим шагом является написание простого PHP-скрипта для чтения файлов журнала, по одной строке за раз, и выполнения этого регулярного выражения для поиска и захвата нужных вам точек данных. Затем вы запишите их в файл CSV. Вы можете найти бесплатный пример сценария, который делает это Вот , Кодексу шесть лет, но, как я уже сказал, журналы веб-сервера устарели.

    Получив записи журнала в формате CSV, используйте инструмент бизнес-аналитики, который извлекает и анализирует данные, чтобы прочитать файл и получить ответы на свои вопросы. Я использую Tableau, который дорогой. Но есть много других опций, которые начинаются со свободного уровня, такие как Microsoft Power BI ,