网络爬虫抓取网站数据?

网络爬虫抓取网站数据?

首先要自己会写代码。

学习爬虫可以从下面一些知识点入手学习。

1、http相关知识。

2、浏览器拦截、抓包。

3、python2 中编码知识,python3 中bytes 和str类型转换。

4、抓取javascript 动态生成的内容。

4、模拟post、get,header等

5、cookie处理,登录。

6、代理访问。

7、多线程访问、python 3 asyncio 异步。

8、正则表达式、xpath等

等等。。。。

还有scrapy requests等第三方库的使用。

请看看

Python爬虫联想词视频和代码

跟黄哥学Python爬虫抓取代理IP和验证。

跟黄哥学Python爬虫抓取代理IP