|
Буквально на днях я обдумывал интересный способ для создания «ловушки» для сапы, чисто в теоретическом плане. Идея была в том, чтоб поисковику выдавать одно, а пользователю – другое. То есть – пользователь видит ссылки (и робот сапы тоже), а поисковик видит простой текст.
Так что же такое клоакинг и почему это плохо?
Термин клоакинг происходит от английского cloak - покров, маска, личина; to cloak - прятать, скрывать.
Суть метода основана на том, чтобы определять, кто обращается к документу – поисковик или пользователь и в зависимости от этого выдавать разные страницы или части страниц. То есть поисковику можно показывать очень оптимизированную под какие-то запросы страницу, дабы вывести ее на первое место (как правило такие страницы выглядят ужасно и читаются человеком очень тяжело), а пользователю – нормальную, «читабельную» версию.
По поводу моих мыслей обмануть сапу – то же самое: поисковикам показываем просто текст, а пользователю – ссылки. Решить эту проблему достаточно просто – сапе нужно сделать так, чтобы ссылки выводились в том виде, в котором их отдает сапа или не выводились вовсе. Например, с помощью яваскрипта или «зазенденного» кода функции вывода (без функции echo). Хотя… Хотя изворотливый мозг программиста всегда найдет выход…
Итак, продолжаю повествование :). Как можно отличить поисковик от пользователя? Тут все просто – можно отличить по IP и по User Agent (то есть – браузер, через который пользователь зашел на сайте; поисковики обычно пишут что-то вродея «Y Crawler», «Google» и т.п., а у пользователей это обычно «Mozilla/5.0″ и подобное). Причем, обычно эти методы используются в комплексе. Но сотрудники поисковой системы могут легко проверить сайт – достаточно воспользоваться прокси-сервером и посмотреть на сайт оттуда.
Клоакинг считается поисковым спамом (коим и является), поэтому сайты, его использующие, получают бан в поисковике. Думаю, уже не надо объяснять, почему это бан. Удачи!
Оставьте свой комментарий
|
29.06.2008 в 9:56 пп
Привет, комментари не в тему конечно, но, не мог бы написать что нибудь про «сапу», вернее про то что это такое…не очень понятно что и как работает.. заранее спс..:)
29.06.2008 в 10:15 пп
Конечно, не вопрос :)
29.06.2008 в 10:19 пп
Вот тут у меня уже было написано:
Заработок в интернет, первый способ. Заработок с помощью Сапы (Sape)
Если там непонятно, я попробую переписать другими словами.
08.07.2008 в 2:08 дп
> отличить поисковик от пользователя? Тут все просто
Несколько лет назад просто было, сейчас уже не просто :)
Боты могут «прикидываться» пользователем, менять IP и прочее.
Была еще такая тема раньше: выдавать посетителям, которые пришли по ссылке с поисковика одну страницу, а обычным посетителям (и поисковым ботам) другую. Очень хорошо, кстати, работал метод. Пока поисковики не научились его обходить. Яндекс сам стал прикидываться пользователем, делать вид, что перешел из результатов поиска, а потом сравнивать страницу с обычным заходом.
В целом, клоакингом обмануть поисковик сейчас очень трудно.
P.S. Есть еще swapping (свопинг) – это замена содержимого страницы после того, как она была проиндексирована поисковиком.