talentliuyang
V2EX  ›  问与答

正抓取谷歌学术( not intensive),什么姿势可以躲过谷歌的封锁?在用 selenium, sys sleep 为 1s,但还是无情被封。难道需要随机的 sys sleep 时间和随机的 click 动作吗?大家有什么思路没?

By talentliuyang at 2016 年 4 月 26 日 · 6588 次点击
9 条回复  •  2016-04-27 10:03:05 +08:00
gamexg
   1
gamexg  
   2016 年 4 月 26 日
挂代理,经常更换自己的 ip 。
或者 扫 google ip ,循环更换对方的 ip 。
msg7086
   2
msg7086  
   2016 年 4 月 26 日   ❤️ 2
(首先,你要比 Google 的工程师更聪明。
htfy96
   3
htfy96  
   2016 年 4 月 26 日 via Android
Google scholar 太难爬了 用代理池可能会好一点
qqmishi
   4
qqmishi  
   2016 年 4 月 26 日
其实我一直想试试用 GAE 爬谷歌看会不会封自己,,,
fengxing
   5
fengxing  
   2016 年 4 月 26 日
@qqmishi 我感觉 google 不会封自己的出口 IP 吧,但是应该会封号?
mcone
   6
mcone  
   2016 年 4 月 26 日
别想了,还 1s ……真人操作+账号登陆,有时候点的快一点都会被判为机器人,更何况你本来就是机器。。。。。。

要么想办法比 google 那群人更聪明,要么换一个爬。。。。
Landarky
   7
Landarky  
   2016 年 4 月 26 日
Google 防机器爬虫也是有点牛逼的
yech1990
   8
yech1990  
   2016 年 4 月 27 日 via Android   ❤️ 1
Google scholars 本身限制太严格,就是普通搜索稍微频繁一点都会被验证。 试过用 python 自动查询几十篇,立马就被封 IP 了。 爬虫的话,我觉得是十分不现实的。


倒是可以爬爬百度学术的,我觉得百度学术就是完全爬的 Google 的内容。毕竟流氓的技术水平高
talentliuyang
   9
talentliuyang  
OP
   2016 年 4 月 27 日
@yech1990 好的,我试试百度学术。

@Landarky @fengxing @gamexg @htfy96 @mcone @msg7086 @qqmishi 感谢大家的回复,我放弃爬谷歌学术了。
© 2026 V2EX · 37ms · 3.9.8.5