Самое полное руководство по работе с TweetDeck :: (12) Oleg Michman 25% �� 146% ☢️ ☣️⚠️ (@CASBT_UA) / Твіттер

English: Stamp of Germany, 1948, 24 pfennigs. Deutsch: 24-Pfennige Briefmarke, Deutsche Post, 1948. Русский: Почтовая марка Германии, 24 пфеннига, 1948, чистая (штемпель ставился на блок марок, на данную марку штемпель не попал). (Photo credit: Wikipedia)

Сайт под фильтром Яндекса. Как мой блог попал под фильтр АГС и как из под него выбрался

Всем привет! Сегодня на seo-mayak.com я Вам расскажу историю, как мой блог попал под фильтр АГС и какие мне пришлось предпринять усилия, чтобы из под него выйти.

Еще поговорим о политике Яндекса в сфере авторского права, о работе службы поддержки Яндекса и о многом другом, так что будет интересно.

Как на Руси говориться «От сумы да тюрьмы не зарекайся». Если Вы думаете, что Ваш проект Яндексу не за что наказывать, то лучше в слух об этом не говорите, а вдруг есть за что, просто Вы об этом еще не знаете.

Яндекс очень крут! Он может быть прокурором, судьей и палачом в одном лице, а если Вы уж впали к нему в немилость, то молитесь, он катком пройдется по Вашему сайту, не оставив на нем живого места.

И это вовсе не пустые слова, моя история яркое тому доказательство.

За что мой блог попал под АГС

Яндекс.Браузер 0+getyabrowser.comgetyabrowser.comБез проблем откроет сервисы ЯндексаСкрыть рекламу:Не интересуюсь этой темойТовар куплен или услуга найденаНарушает закон или спамМешает просмотру контента Спасибо, объявление скрыто. Скрыть объявление

Яндекс.Директ

Был обычный весенний день, погода стояла солнечная, журчали ручьи, птички чирикали и помню я находился в прекрасном расположении духа. В общем ничего не предвещало беды.

Закончив написание очередной статьи, предвкушая вечерний отдых за просмотром буржуйского кинематографа, напоследок я решил проверить, как обстоят дела с добавлением моего блога в каталог Rambler ТОП100. Как раз на кануне я подал соответствующую заявку.

Запустив своего незаменимого помощника программу Site-Auditor, я с удивлением обнаружил, что в индексе Яндекса у меня всего одна страница. Первая мысль, которая мне пришла в голову — «Сайт под фильтром!».

Была надежда, что это какой-то глюк программы, но Яндекс Вебмастер быстро ее развеял. Все страницы блога, кроме морды, были исключены из поисковой выдачи, а это верный признак фильтра АГС (в народе — анти говносайт).

Досада — это наверное самое мягкое описание эмоций, которые я испытывал в тот момент. Я просто был в не себя от чувства несправедливости. За что? Что за идиотские санкции?

Первое мое письмо Платону было переполнено разными необдуманными выражениями за что теперь мне хочется извиниться перед службой поддержки Яндекса. Но я ведь тогда был на все 100% уверен, что это какая-то грубейшая ошибка робота и за мной нет никакой вины.

Немного остыв, я принялся анализировать блог на различные технические ошибки и недоработки. Проверка страниц на дубли, показала полный порядок, битых ссылок на блоге я тоже не нашел, в файле robots.txt тоже все было сделано правильно (о файле robots.txt читайте тут).

По каталогам я свой блог не прогонял, ссылки не продавал, рекламы у меня тогда вообще никакой не было, все нежелательные ссылки с шаблона я давно убрал, в том числе замаскированные под точку. Вопрос «За что?» не выходил у меня из головы.

На следующий день я получил ответ на свое гневное письмо:

Здравствуйте!
Спасибо за письмо, мы проверим, все ли сейчас в порядке с Вашим сайтом, и сообщим Вам.
С уважением, Платон Щукин
Служба поддержки Яндекса

Честно скажу, у меня тогда в душе затеплилась надежда, что все обойдется. Вот сейчас спецы Яндекса «подкрутят мозги» своему поисковому роботу и все вернется на свои места. Я даже перестал искать причины санкций и принялся ждать пока все утрясется само собой.

Через несколько дней от Платона пришел ответ, вернее будет сказать — приговор:

Здравствуйте, Виталий!
После анализа и классификации страниц Вашего сайта наши алгоритмы приняли решение временно ограничить его в поиске. Обратите внимание, не все страницы, известные поиску Яндекса, включены в индекс и ранжируются высоко. Их включение и позиция зависят от качества сайта и его контента. В случае, если сайт не соответствует нашему пониманию качественного сайта, он может быть ограничен в поиске.Наше понимание качественных сайтов отражено в следующих документах:
http://help.yandex.ru/webmaster/?id=995342
http://webmaster.ya.ru/replies.xml?item_no=325&ncrnd=2022
http://webmaster.ya.ru/replies.xml?item_no=3772
http://webmaster.ya.ru/replies.xml?item_no=4967&ncrnd=1743
http://company.yandex.ru/rules/optimization/index.xml
Если Вы будете развивать свой сайт для пользователей, размещать на нём уникальную и полезную информацию, следуя нашим рекомендациям, то со временем он будет представлен в поиске большим количеством страниц.
С уважением, Платон Щукин
Служба поддержки Яндекса

У меня даже дар речи пропал, несколько минут я смотрел на экран не веря своим глазам.

— ЗА ЧТО?

Немного оправившись от первоначального шока и уже наверное на 301 раз прочитав письмо, мне показалась не случайной одна фраза:

… размещать на нём уникальную и полезную информацию…

Чтобы проверить свою догадку, я обратился к сервису copyscape и стал поочередно проверять страницы своего блога на внешние дубли и вскоре я просто обомлел от изумления.

Хотя чему было удивляться, воровство в России явление вполне обыденное, но вопрос в другом. С какой целью осуществляется сие деяние?

Если с целью наживы, то тут все понятно, но какой смысл воровать мои статьи и размешать их на бесплатном украинском хостинге uСoz.

Ведь не спроста же были созданы сайты на доменах третьего уровня с разными URL, причем в URL каждой площадки присутствовало слово news (с англ. новости), а как известно, новости, поисковые системы индексируют махом.

Напрашивается вывод. Кому-то мой блог сильно помешал или кто-то мне очень хочет «насолить».

Проиндексировав страницы с ворованными статьями, а на момент санкций моему блогу было всего 3 месяца, Яндекс, наплевав на дату публикации, выкинул из поиска источник, оставив в нем явный плагиат. Причем разница в дате публикаций составляла до двух недель.

Конечно никаких доказательств у меня нет, а без имеющихся достаточных оснований я никого обвинять не хочу, но определенные догадки, кто бы это мог сделать, у меня все же имеются.

За что сайт может попасть под АГС

Яндекс.Браузер 0+getyabrowser.comgetyabrowser.comБез проблем откроет сервисы ЯндексаСкрыть рекламу:Не интересуюсь этой темойТовар куплен или услуга найденаНарушает закон или спамМешает просмотру контента Спасибо, объявление скрыто. Скрыть объявление

Яндекс.Директ

АГС -17 и АГС-30 — это марки автоматического гранатомета, состоящего на вооружении вооруженных сил Российской Федерации. Почему Яндекс выбрал для своего фильтра именно эту аббревиатуру, я не знаю, но думаю не случайно.

Фильтр АГС-17 был внедрен в алгоритмы робота Яндекса в  2009 году и наделал много шума, так как многое сайты были исключены из поисковой выдачи.

Немного позже была разработана усовершенствованная модель — АГС-30, которая пришла на замену АГС-17 и действует по сей день.

Так за что сайт может попасть под действие фильтра АГС? Причин может быть несколько:

Причина №1. Молодой домен. Действительно молодые домены находятся в особой группе риска и за малейшее нарушение правил игры, установленных Яндексом, сайт может угодить под АГС или другие фильтры.

Я считаю, что Яндекс не совсем по-справедливости настроил алгоритмы своего поискового робота. Я думаю, что надо более тщательно разбираться с каждым отдельным случаем, а не мести все молодые домены под одну метелку.

Причина №2. Бесплатный движок. На самом деле движок тут не причем, скорее виной всему являются одинаковые бесплатные шаблоны, которых пруд пруди в интернете.

Яндекс с особой настороженностью относится к ресурсам, у которых много «близнецов». Пусть даже контент будет разный, но морда-то одинаковая.  Такие сайты также находятся в повышенной зоне риска.

Причина №3. Внутренние дубли страниц. Если веб-мастер вовремя не позаботился о запрете индексации страниц с полными, а также с частичными дублями контента, то шанс попадания под АГС очень велик.

Надо очень серьезно относится к внутренним дублям, обязательно надо настраивать ссылки ЧПУ, создавать понятную карту сайта для поисковиков и правильно составлять файл robots.txt.

Причина №4. Внешние дубли страниц. Как Вы поняли, именно по этой причине мой блог и угодил под АГС. Дублей может быть всего 2-3 страницы и этого будет вполне достаточно, для наложения санкций.

Мое мнение здесь однозначно. Неужели нельзя научить робота Яндекса отличать источник от плагиата, ведь программистам Гугла это как-то же удалось сделать и буржуйский поисковик без труда смог разобраться в российский действительности.

А вот поисковая система Bing последовала примеру Яндекса и выкинула страницы моего блога из своей выдачи, что конечно не делает ей чести.

Причина №5. Внешние ссылки. Наличие большого количества внешних ссылок с молодого сайта говорит поисковику о низком качестве ресурса.

Внешние ссылки в любом их проявлении, негативно сказываются на продвижении молодого проекта. Будь это продажные ссылки или ссылки проставленные веб-мастером для указания источника материала, это не важно. Если внешних ссылок без меры много — жди санкций от Яндекса.

Причина №6. Одинаковые анкоры ссылок. Ситуацию с анкорами ссылок, я подробно описал здесь.

Суда же можно отнести злоупотребление внутренней перелинковкой.

Причина №7. Большой процент отказов. Я решил включить этот пункт, так как пресловутый поведенческий фактор тоже может стать причиной попадания сайта под фильтр АГС.

Если пользователь пробыл на вашем сайте менее 15 секунд и вернулся обратно в поиск, то это считается отказом и если отказов много, больше 30%, то робот сочтет такой ресурс низкопробным, с контентом, который не интересен пользователям и выкинет его из выдачи.

Следить за процентами отказов очень удобно с помощью Яндекс Метрики. Об установке Метрики на сайт можете почитать тут.

Причина №8. Большое количество рекламы. Не удивляйтесь, на молодом сайте не должно быть рекламы и я считаю такой подход правильным.

В рунете миллионы сайтов. Ежедневно появляются тысячи новых и примерно столько же прекращают свое существование. И размещение рекламы на сайте надо сначала заслужить. Ведь не зря в рекламную сеть Яндекса принимают ресурсы с посещаемостью 300 уников в сутки.

Причина №9. Входящие ссылки с сомнительных ресурсов. Например ссылки с немодерируемых каталогов, с ресурсов взрослой тематики, с сайтов, находящихся по действием фильтров и др.

В интернете полно предложений, типа «Прогон сайта по 100000 каталогам за 100 р». Я бы не советовал Вам идти на поводу у таких «прогонщиков», так как качество многих каталогов наверняка окажется сомнительным и АГС не заставит себя ждать.

Причина №10. Битые ссылки. Большое количество битых (неработающих) ссылок на сайте, также может стать причиной наложения фильтра АГС.

Существуют специальные плагины и программы по обнаружению таких линков, но многие веб-мастера по незнанию или каким-то другим причинам не уделяют этой проблеме должного внимания, а зря. АГС не дремлет!

Я не стал включать в общей список причин такую, как не уникальность контента. Таким сайтам вообще в выдаче делать нечего.

Скорее всего я перечислил не все причины. Слышал, что в алгоритмы АГС заложено около 100 факторов, определяющих «виновность» того или иного ресурса и если у Вас имеются еще какие-то соображения по-поводу возможных причин попадания сайта под АГС, прощу поделится ими в комментариях.

Как я вывел свой блог из под действия фильтра АГС

Яндекс.Браузер 0+getyabrowser.comgetyabrowser.comБез проблем откроет сервисы ЯндексаСкрыть рекламу:Не интересуюсь этой темойТовар куплен или услуга найденаНарушает закон или спамМешает просмотру контента Спасибо, объявление скрыто. Скрыть объявление

Яндекс.Директ

После того как я обнаружил внешние дубли своих статей, я конечно написал об этом в службу поддержки Яндекса, с указанием URL источника и плагиата.

На что где-то через неделю от Платона я получил следующий ответ:

Здравствуйте, Виталий!
Прошу прощения за задержку с ответом.
Спасибо за письмо, мы проверим, оправданно ли сайт отсутствует в поиске, и при необходимости внесем соответствующие изменения в наши алгоритмы.
С уважением, Платон Щукин
Служба поддержки Яндекса

Конечно я обрадовался и принялся ждать, пока робот «образумится» и вернет страницы моего блога обратно в поиск.

Шли дни, затем недели, но ничего не менялось, если не считать того, что в Яндекс Вебмастере, во вкладке «Страницы в поиске», кроме главной появились еще 3 страницы. Но посетителей с Яндекса, как не было так и нет.

Я прочитал массу статей, посвященных теме АГС, пытаясь разобраться в сроках снятия санкций и не выдержав ожидания, написал еще одно письмо Платону, в котором еще раз указал адреса с ворованными статьями и более настойчиво попросил заняться моей проблемой.

Ответ был в стиле Яндекса:

Здравствуйте, Виталий!
Поисковая система Яндекс является лишь зеркалом интернета, поэтому мы не правомочны разбираться в вопросах плагиата.

— Вот те раз! Значит наказывать за плагиат Вы уполномочены, а разбираться в вопросах плагиата нет. Зеркало интернета блин!

Я конечно упустил некоторые выражения, которые слетели у меня с уст, так как  моему разочарованию не было предела.

Где-то в глубине души зазвучали нотки отчаянья и я уже был готов похоронить свой проект, но чувство несправедливости заставляло меня бороться.

Я решил написать в службу поддержки украинского хостинга, на площадках которого были размещены сворованные у меня статьи.

Сознаюсь, я ожидал примерно такого же ответа, как от Платона, но к моему удивлению пришло письмо следующего содержания:

Здравствуйте!
Интернет-ресурсы, ставшие предметом Вашего обращения, заблокированы.
С уважением, Илья
Служба технической поддержки веб-сервиса uCoz

Примерно через неделю, после очередного апдейта поисковой выдачи, все страницы моего блога вернулись в поиск, конечно далеко не на ведущие позиции, но это уже было не важно. Самое главное, что блог выбрался из под действия фильтра АГС и это уже являлось моей маленькой победой.

Надо сказать, что вскоре я опять обнаружил дубли своих статей на том же хостинге, но уже на других площадках, что еще раз доказывает не случайность воровства. Повторное мое обращение в службу поддержки uCoz, также нашло понимание и больше внешних дублей своего контента я не встречал.

Сайт под фильтром Яндекса — это еще не приговор. Надеюсь моя статья кому-нибудь поможет вывести свой сайт или блог из под действия АГС, что будет еще одной моей маленькой победой в борьбе за авторские права.

Спасибо за внимание! На сегодня у меня все.

Успехов!

С уважением, Виталий Кириллов

iReader

Просмотры: