Cloudflare, поставщик облачной инфраструктуры, обслуживающий 20 % веб-сайтов, объявил во вторник о запуске нового рынка, который переосмысливает отношения между владельцами веб-сайтов и компаниями, занимающимися искусственным интеллектом, — в идеале давая издателям больший контроль над своим контентом.
В течение последнего года Cloudflare запустила инструменты для издателей, позволяющие бороться с стремительным ростом числа ИИ-краулеров, в том числе решение, позволяющее одним щелчком мыши заблокировать всех ИИ-ботов, а также панель управления, на которой можно просматривать, как ИИ-краулеры посещают их сайты. В интервью 2024 года генеральный директор Cloudflare Мэтью Принс рассказал TechCrunch, что эти продукты закладывают основу для нового типа торговой площадки, на которой издатели могут распространять свой контент среди компаний, занимающихся искусственным интеллектом, и получать за это вознаграждение.
Теперь Cloudflare воплощает эту торговую площадку в жизнь.
Она называется Pay per Crawl, и Cloudflare запускает «эксперимент» в закрытой бета-версии во вторник. Владельцы веб-сайтов, участвующие в эксперименте, могут разрешить AI-краулерам на индивидуальной основе сканировать их сайт по установленной ставке — микроплатеж за каждое «сканирование». В качестве альтернативы владельцы веб-сайтов могут разрешить AI-краулерам сканировать их сайт бесплатно или полностью заблокировать их. Cloudflare утверждает, что ее инструменты позволят владельцам веб-сайтов видеть, сканируют ли краулеры их сайт для обучения AI, для появления в результатах поиска AI или для других целей.
В масштабе рынок Cloudflare — это большая идея, которая может предложить издателям потенциальную бизнес-модель для эпохи ИИ, а также ставит Cloudflare в центр всего этого. Запуск рынка происходит в то время, когда издатели новостей сталкиваются с экзистенциальными вопросами о том, как достичь читателей, поскольку трафик Google Search исчезает, а популярность чат-ботов ИИ растет.
Нет однозначного ответа на вопрос, как издатели новостей будут выживать в эпоху искусственного интеллекта. Некоторые, такие как The New York Times, подали иски против технологических компаний за обучение своих моделей искусственного интеллекта на новостных статьях без разрешения. Между тем, другие издатели заключили многолетние соглашения о лицензировании своего контента для обучения моделей искусственного интеллекта и для того, чтобы их контент появлялся в ответах чат-ботов искусственного интеллекта.
Тем не менее, только крупные издатели заключили соглашения о лицензировании ИИ, и пока неясно, являются ли они значимым источником дохода. Cloudflare стремится создать более устойчивую систему, в которой издатели могут устанавливать цены на своих условиях.
Компания также объявила во вторник, что новые веб-сайты, созданные с помощью Cloudflare, теперь по умолчанию будут блокировать все ИИ-краулеры. Владельцы сайтов должны будут предоставлять определенным ИИ-краулерам разрешение на доступ к своим сайтам — изменение, которое, по словам Cloudflare, даст каждому новому домену «контроль по умолчанию».
Несколько крупных издателей, в том числе Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK и Fortune, подписали соглашение с Cloudflare о блокировке ИИ-краулеров по умолчанию в поддержку более широкой цели компании — «подхода к сканированию на основе разрешений».
Бизнес-модель, на которую многие из этих издателей полагались на протяжении десятилетий, постепенно теряет свою надежность. Исторически сложилось так, что онлайн-издатели позволяли Google сканировать свои сайты в обмен на рефералы в Google Search, что приводило к трафику на их сайты и, в конечном итоге, к доходам от рекламы.
Однако новые данные Cloudflare показывают, что в эпоху искусственного интеллекта издатели могут получить худшие условия, чем в эпоху Google Search. Хотя некоторые веб-сайты называют ChatGPT основным источником трафика, в целом это не соответствует действительности.
В июне этого года Cloudflare сообщила, что обнаружила, что сканер Google сканировал ее веб-сайты 14 раз за каждый реферал, который он им давал. Между тем, сканер OpenAI сканировал веб-сайты 1700 раз за каждый реферал, а Anthropic — 73 000 раз за каждый реферал.
Между тем OpenAI и Google создают ИИ-агентов, которые предназначены для посещения веб-сайтов от имени пользователей, сбора информации и ее прямой передачи пользователям. Будущее, в котором эти инструменты станут mainstream, имеет огромные последствия для издателей, которые полагаются на посещение своих сайтов читателями.
Cloudflare отмечает, что «истинный потенциал» Pay per Crawl может проявиться в «агентном» будущем.
«Что, если агентская платная стена могла бы работать на границе сети, полностью программно? Представьте, что вы просите свою любимую программу глубокого исследования помочь вам обобщить последние исследования рака или юридический отчет, или просто помочь вам найти лучший ресторан в Сохо — а затем даете этому агенту бюджет, который он может потратить на приобретение лучшего и наиболее релевантного контента», — говорится в блоге Cloudflare.
Чтобы участвовать в экспериментальном рынке Cloudflare, компании, занимающиеся искусственным интеллектом, и издатели должны иметь учетные записи Cloudflare. В своих учетных записях обе стороны могут устанавливать ставки, по которым они хотели бы покупать и продавать «сканирование» контента издателя. Cloudflare выступает посредником в этих транзакциях, взимая плату с компании, занимающейся искусственным интеллектом, и распределяя доходы издателю.
Оригинал
Уникальность
