爬取IP代理偷偷给文章刷阅读量

桂林seo半杯酒博客

我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答、求职一站式搞定!

对商业智能BI、大数据分析挖掘、机器学习,python,R等

一、前言

原本是想开始维护IP代理池,继续python爬虫进阶之路,但在看其他人写的IP代理爬取的文章

想当初开始python爬虫和数据可视化的写作时,写完处女作《爬取张佳玮138w+知乎关注者:数据可视化》后,立马注册了简书、CSDN账号,并分别投放了文章,但两者的境遇可谓天差地别,简书上一日之间上了网站首页并被加入今日看点等诸多专题,而CSDN上几乎无人问津,截止昨日过去20多天,才120+左右阅读......相比之下,明显感受到了简书对小透明的友善,截止今晚“阅读 2605 评论 22 喜欢 82 赞赏 3”,当然和大V的文章不能比,但也还算过得去。

二、代码

代码直接参考了下文,更多解读参见原文,其中将ip提取部分修改了下,并将用来测试IP是否可用的百度url改成了CSDN博客里文章的url

爬虫(2)--- 构建简单代理IP池

http://www.jianshu.com/p/ecf5353333f6

当然也可以去试试其他网站能不能刷阅读量,最开始试了下简书,发现无效,可能记录的是每个用户的阅读,所以单纯IP访问而账号未登录的话,可能无法增加阅读量。

再就是试了下CSDN,发现阅读量蹭蹭上涨后,也是有点害怕,不知道会不会被封IP和账号,后续也还是不敢放开地刷数据,只能算是娱乐下。(两篇文章分别从20+和120+阅读刷到了现在的数据,请不要举报我)

另外也试了下豆瓣......嗯,立马就“403”,上不去了,所以看了本文想刷其他网站数据的朋友,还是三思而行,如果账号被封,概不负责哦。==。

代码(py3.5版本):

三、小结

关于爬取和维护IP代理池的文章网上其实不少,简书上也不少,对于想要爬虫进阶的人来说一定是会碰到的,毕竟当你想大规模爬取某网站数据时,只靠自己电脑的IP在单位时间里大量访问的话,多半会出事,而为了爬取效率起见,就需要大量IP车轮战,前仆后继地上了。

提供免费IP代理的网站也不少,当然质量并不好,大多IP并不能用,这也是在维护IP代理池时,需要靠不断爬取、检测和更新IP解决的。

最后,重要的事情去说三遍:

看了本文想刷其他网站数据的朋友,还是三思而行,如果账号被封,概不负责哦。==。