netnr
V2EX  ›  全球工单系统

吐槽爬虫(来自火山引擎 IP)伪装 UserAgent

By netnr at 2025 年 7 月 19 日 · 3708 次点击
IP Count
180.184.145.7 11353
180.184.147.195 5781
106.92.145.252 234

China Beijing
Beijing Volcano Engine Technology Co. Ltd.

前三名的 IP 请求统计,前面两个都是火山引擎的 IP ,不清楚这个是火山引擎自己的爬虫还是卖给用户的云服务器,UserAgent 不带 Bot 而是伪装正常的用户访问,非常鄙视这种行为,网站本身对爬虫无限制,但是将爬虫进行了分类,方便统计有效的用户数据,而这种行为有被恶心到。

图片说明

12 条回复  •  2025-07-19 14:14:54 +08:00
nomagick
   1
nomagick  
   2025 年 7 月 19 日
什么叫伪装

用 LLM 操纵浏览器访问你的网站,UA 是浏览器,算 bot 还是算正常用户
用程序操纵浏览器访问你的网站,UA 是浏览器,算 bot 还是算正常用户
用浏览器插件访问你的网站,UA 是浏览器,算 bot 还是算正常用户
用户用 Curl 访问你的网站,UA 是 Curl ,算 bot 还是算正常用户

世界是在不断发展的,现实和你的假设不一致,你吐槽现实说真恶心,有意义么
netnr
   2
netnr  
OP
   2025 年 7 月 19 日
附一张同一时段的爬虫统计 @nomagick

abcopp
   3
abcopp  
   2025 年 7 月 19 日
这个是什么统计
netnr
   4
netnr  
OP
   2025 年 7 月 19 日
UserAgent 识别使用的是 https://github.com/matomo-org/device-detector 数据

从日志记录看 还特意改了版本号

H97794
   5
H97794  
   2025 年 7 月 19 日
@nomagick 的确应该与时俱进...







netnr
   6
netnr  
OP
   2025 年 7 月 19 日
@abcopp ,这是自己站点开发的,UserAgent 识别 + 纯真 IP 解析 + DuckDB + ECharts
Seanfuck
   7
Seanfuck  
   2025 年 7 月 19 日
火山有搜索 api 业务的
ClericPy
   8
ClericPy  
   2025 年 7 月 19 日
借路问一句

现在大模型调用浏览器访问网页,遵循 robots 吗
nomagick
   9
nomagick  
   2025 年 7 月 19 日   ❤️ 1
@netnr 现在无头浏览器,SSL 指纹伪装都是基操,还有大量基于 Chrome 或者 Electron 的各类应用和浏览器, 早就没办法只通过 UA 就精准分类用户了。
jimages123
   10
jimages123  
   2025 年 7 月 19 日
现在的基操,都是访问直接先做一段计算工作,要求使用 js 进行计算出结果才能继续访问了
netnr
   11
netnr  
OP
   2025 年 7 月 19 日
@nomagick @jimages123 正规军还是遵循的,至少不会像现在这样故意伪装随机版本号
abcopp
   12
abcopp  
   2025 年 7 月 19 日
直接限流吧,根据 ip 。
工单节点使用指南
• 请用平和的语言准确描述你所遇到的问题
• 厂商的技术支持和你一样也是有喜怒哀乐的普通人类,尊重是相互的
• 如果是关于 V2EX 本身的问题反馈,请使用 反馈 节点
© 2026 V2EX · 32ms · 3.9.8.5