雨果服务
独立站
谷歌专家线上1V1
立即报名
扫码领取1V1在线福利
独立站近期活动

美国200家零售商测试:63家拦截AI爬虫却有58家在robots.txt中声明欢迎

调查机构Human Forward近日将英国版测试引入美国市场,调用8款购物助手对200家零售商及直面消费者品牌展开评估。测试结果显示,在顺利完成读取的48家大型零售商中,仅2家允许AI代理完成结账流程;全部200个测试站点中,有98个直接拒绝爬虫访问或导致页面无法正常打开。

规则声明与实际执行之间存在明显矛盾:在63个拦截爬虫的站点中,多达58个在robots.txt文件中明确声明欢迎AI抓取。此外,7款购物助手在被询问床垫品牌Purple时均将其识别为颜色而非品牌,反映出该品牌在AI认知体系中尚未形成有效实体身份。

目前距离黑色星期五已不足一个月,商家可从三个维度开展自查:合理配置robots.txt放行名单、确保商品页结构化数据完整,并核实品牌词在助手回答中的实体指向对象。