IT资讯Win系统
手机之家搜索引擎
其他系统数码之家
VR之家智能时代
业界网络
业界网络
业界网络

一键屏蔽恶意 AI 模型爬虫机器人,Cloudflare 推出

2024-09-29 10:56 来源:未知 作者:小卓 责编:小卓

IT之家 9 月 26 日消息,网络服务商Cloudflare本周推出一系列防AI 爬虫的工具,包括可查看 AI 爬虫具体活动的 AI Audit 和一键屏蔽所有 AI 爬虫的 Block AI Scrapers and Crawlers。站长们可以部署相关服务,从而防止自己网站的内容被用于训练AI的机器人爬虫扒取。

IT之家注:爬虫是一种自动化的程序,可以在互联网上搜索和获取信息,目前许多厂商使用相关爬虫扒取各大网站信息用于训练AI模型,相关爬虫容易导致被扒网站产生大量异常流量,为此站长需支付高昂的网络带宽费用,同时也容易导致网站上大量原创/隐私内容泄露

Cloudflare推出的相关工具主要利用签名比对、启发式算法、机器学习和行为分析技术来辨别爬虫,用户可以查看 AI 爬虫的各种行为,包括爬虫类型、访问频率和扫描内容,站长还可以按照需要放行“善意的 AI机器人”抓取信息(此类“善意的AI机器人”主要寻找网站的robots.txt来获取信息,通常不会对网站本身产生异常流量,也不会将网页所有数据直接用于全盘训练模型)。

如果不确定如何处理这些 AI 爬虫,站长们也可以使用 Block AI Scrapers and Crawlers 功能,一键屏蔽所有 AI 爬虫。

互联网为许多大语言模型(如OpenAI的GPT模型和谷歌的Bard)提供了大部分的训练数据,如今许多厂商为了刷自家AI模型分数,大肆通过网络爬虫“拿来式”地获取训练数据,从而让本应你情我愿的行为变得“污名化”,各大网络商直接推出此类禁用AI爬虫的服务也在意料之中。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

关键词:

友情链接(欢迎PR>=6的业界知名网站交换链接)

快之站坚持积极、学习、责任、创新、诚信、合作的核心价值观,让每一个人享受互联网,是享联科技的使!

闽ICP备20010713号-1    闽公网安备 35020602001684号