Reddit теперь блокирует индексацию своего сайта всеми поисковыми системами, кроме Google, поскольку фактически внедряет платный доступ к обучению ИИ.
Еще в феврале стало известно, что Google платит Reddit более 60 миллионов долларов в год за доступ к сообщениям пользователей для обучения своих моделей искусственного интеллекта…
Reddit блокирует все поисковые системы, кроме Google
Reddit обновил свой файл robots.txt, чтобы заблокировать все поисковые системы. Файл сообщает всем веб-сканерам, что им не разрешено индексировать сайт, вместе с пояснительным сообщением.
Reddit верит в открытый Интернет, но не в неправомерное использование публичного контента.
404 Медиа был первым, кто сообщил об этом, отметив, что другие поисковые системы перестали выдавать какие-либо результаты по публикациям, опубликованным в течение последней недели.
Если вы используете Bing, DuckDuckGo, Mojeek, Qwant или любую другую альтернативную поисковую систему, которая не полагается на индексацию Google, и ищете Reddit, используя «site:reddit.com», вы не увидите никаких результатов за последнюю неделю. DuckDuckGo в настоящее время выдает семь ссылок при поиске Reddit, но не предоставляет никаких данных о том, куда ведут ссылки или почему, вместо этого сообщая только, что «Мы хотели бы показать вам здесь описание, но сайт не позволяет нам этого».
Единственным исключением являются поисковые системы, которые покупают результаты у Google.
Reddit делает несостоятельное заявление
Reddit утверждает, что изменение не связано со сделкой с Google.
«Это вообще не связано с нашим недавним партнерством с Google. Неверно говорить, что последние результаты Reddit не появляются в поисковых системах, отличных от Google, из-за нашей недавней сделки с Google», — сказал мне в электронном письме представитель Reddit Тим Ратшмидт. Он сказал, что Reddit блокирует всех краулеров, которые не желают брать на себя обязательство не использовать данные сканирования для обучения ИИ, и что Reddit «вел переговоры с несколькими поисковыми системами. Мы не смогли достичь соглашений со всеми из них, поскольку некоторые из них не могут или не хотят давать подлежащие исполнению обещания относительно использования ими контента Reddit, включая использование для ИИ».
Однако это утверждение не имеет смысла, потому что единственным исключением является компания, которая платит им десятки миллионов долларов в год за эту привилегию. Очевидно, что компания сообщает поисковым системам, что индексация сайта для целей ИИ теперь является платой за игру.
Microsoft и Reddit в тупике
Engadget сообщается, что Microsoft вела переговоры с Reddit о предоставлении доступа Bing, но обе стороны не смогли прийти к соглашению.
Источник, знакомый с ходом мыслей Reddit, сообщил Engadget в среду, что упущение Bing связано с отказом Microsoft согласиться с условиями Reddit относительно сканирования ИИ. Вместо этого производитель Bing якобы заявил, что его стандартные веб-элементы управления достаточны. Источник утверждает, что позиция Microsoft противоречит политике конфиденциальности данных Reddit, что приводит к тупику и пустым результатам поиска.
Мнение
Как уже отмечалось, заявление Reddit о том, что это не имеет никакого отношения к деньгам, не выдерживает критики.
Если дело не в деньгах, то либо использование Reddit для обучения ИИ допустимо, и в этом случае все поисковые системы должны иметь такую возможность, либо нет, и в этом случае не следовало бы продавать этот доступ Google.
Последнее событие, по всей видимости, лишь еще больше разозлит пользователей Reddit после предыдущего возмущения по поводу закрытия популярного стороннего приложения Apollo и удаления модераторов, которые протестовали.
Изображение: скриншот на заднем плане Криса Аппано на Unsplash
