Cloudflare新市場將讓網站向AI機器人收費進行爬蟲

Cloudflare宣布計劃在明年推出一個市場,讓網站所有者向AI模型提供者出售訪問權以爬取其網站內容。該市場是Cloudflare首席執行官Matthew Prince的更大計劃的最後一步,旨在讓發布者對AI機器人何時以及如何爬取其網站擁有更大控制權。在一次接受TechCrunch採訪時,Prince表示:「如果您不以某種方式償還創作者,那麼他們就會停止創作,這是必須解決的問題。」 作為新計劃的第一步,Cloudflare於週一推出了名為AI Audit的免費可觀察性工具,供客戶使用。網站所有者將獲得一個儀表板,可以查看為什麼、何時以及多久AI模型在爬取他們的網站信息。Cloudflare還將允許客戶通過點擊按鈕阻止AI機器人訪問其網站。網站所有者可以使用AI Audit阻止所有使用AI的網站爬蟲,或者如果有協議或發現其爬取有益,可以允許某些網站爬蟲訪問。 TechCrunch分享的AI Audit演示顯示了網站所有者如何使用這個工具,該工具能夠查看訪問您網站的每個爬蟲來自哪裡,並提供選擇性視窗,看看OpenAI、Meta、亞馬遜等AI模型提供者的爬蟲訪問您網站的次數。Cloudflare正試圖解決AI行業面臨的一個問題:如果人們前往ChatGPT而不是其網站,那麼小型發布商在AI時代該如何生存?如今,AI模型提供者爬取數千個小型網站的信息,以供其LLM使用。雖然一些較大的發布商已與OpenAI達成協議授權內容,但大多數網站卻一無所得,但其內容仍然每天被餵入熱門AI模型。這可能會破壞許多網站的業務模式,減少它們迫切需要的流量。今年夏天早些時候,AI動力搜索初創公司Perplexity被指控爬取明確表示不希望被爬取的網站,使用機器人排除協議。不久之後,Cloudflare推出了一個按鈕,以確保客戶可以一鍵阻止所有AI機器人。Prince說:「那是我們聽到的挫折感,人們感到他們的內容被盜用。」 一些網站所有者告訴商業內幕,AI機器人爬取其網站的頻率如此之高,使其感覺像是一場破壞其服務器的DDoS攻擊。您的網站被爬取不僅可能令人惱火,還可能增加您的雲端費用並影響您的服務。 但如果您想要阻止Perplexity的機器人,但不想讓OpenAI的機器人進入?Prince告訴TechCrunch,Cloudflare的客戶正在要求允許他們選擇何種AI模型可以訪問他們的網站的工具。今天推出的Cloudflare的新工具將允許客戶阻止一些AI爬蟲,同時允許其他爬蟲訪問。根據Prince的說法,即使已與OpenAI達成授權協議的大型發布商(如TIME、康泰納仕和大西洋),也對ChatGPT爬取其網站的次數了解相對很少。他們中的許多人必須接受OpenAI告訴他們的內容,但這個答案將決定這些發布商是否得到了良好的授權協議。但Cloudflare的市場,預計在明年推出,也旨在讓小型發布商與AI模型提供者達成協議。Prince表示:「讓你們所有人都能做的事情只有Reddit、Quora和世界上的大發布商以前才能做到。假如我們讓你設定,有效地為訪問和取得您的內容以吸收這些系統。」 儘管這是一個大膽的想法,Cloudflare並未分享其市場將是什麼樣子。Prince表示,網站可能根據AI爬取個別網站的速率收費,但尚不清楚他們將支付多少。此外,他表示,網站可能收取一筆金錢費用以進行爬取,或者只是要求AI實驗室給予他們信譽。細節尚不明朗。 儘管AI公司最初可能對於支付他們目前免費獲得的內容並不感到興奮,但Cloudflare首席執行官表示,他認為這對AI生態系統來說是好事。Prince表示,當前的局面,一些AI公司永遠不會為內容付費,這是不可持續的。