一个运行了三十年、藏有十六万源文件的电影数据活化石,被AI爬虫硬生生挠崩了。这不是演习,The Numbers 在今年三月五日的突然死亡,撕开了生成式AI时代最血腥的一道伤口:当你的网站90%的访客都不是人,而是一群永不疲倦、贪婪抓取的数据蝗虫时,开放网络还有活路吗?创始人 Bruce Nash 的服务器在持续重压下直接宕机,更讽刺的是,日志还显示有人在趁乱搞针对后门的恶意攻击。
一周后,The Numbers 以一个被阉割得干干净净的极简版重新上线。那些沉淀了电影工业兴衰的历史图表不见了,细致到毛细血管的电影页面消失了,那个让数据分析师爱不释手的 Report Builder 也被彻底移除。Nash 和他的团队没有选择,他们只能在新基础设施上从头来过,忍痛把旧系统里庞大的160,000个源文件扔进了历史的垃圾堆。这不是产品升级,这是一场惨烈的断臂求生。那些AI智能体挥舞着看不见的爪子,不是为了读懂数据,只是为了训练下一个模型时能多啃一口文本。
这绝不仅是某个小众数据库的独家苦难。AI爬虫带来的工业化规模抓取,正在系统性地摧毁互联网那些脆弱的中立地带。当获取成本趋近于零,掠夺就变得毫无节制。人们嘴上惋惜旧互联网的坍塌,手却在为这场抓取狂欢鼓掌。如果连默默服务了三十年的数据灯塔都只能在AI洪流中粉身碎骨,那么所有依赖公开数据存活的独立网站,离重蹈覆辙还剩几次疯狂爬取?

