从轻量级爬虫的实践入手，掌握常用利器如Requests、Xpath和Pandas等的使用技巧·通过爬取百度、豆瓣、知乎、拉勾、淘宝、京东等实战项目，掌握静态网页和动态网页的爬取，给你一个从数据获取到网页解析再到数据入库的清晰地爬虫无痛学习流程·进一步讲解Scrapy框架，实现高效的分布式爬虫，工程化你的爬虫，并分享各种反爬与反反爬的博弈攻略·从头到尾贯穿老师在爬虫道路上踩过各种坑后的经验，让你少走弯路。

【课程内容】

第一章 : Python爬虫入门

什么是爬虫

初识Python爬虫

使用Requests爬取豆瓣短评

使用Xpath解析豆瓣短评

使用pandas保存豆瓣短评数据

浏览器抓包及headers设置（案例一：抓取知乎）

数据入库及MongoDB（案例二：爬取拉勾）

使用自动化神器Selenium爬取动态网页（案例三：爬取淘宝）

第二章 : Python爬虫之Scrapy框架

爬虫工程化及Scrapy框架初窥

Scrapy安装及基本使用

Scrapy选择器的用法

Scrapy的项目管道

Scrapy的中间件

Scrapy的Request和Response详解

第三章 : Python爬虫进阶操作

网络进阶之谷歌浏览器抓包分析

数据入库之去重与数据库

第四章 : 分布式爬虫及实训项目

大规模并发采集——分布式爬虫

实训项目（一）——58同城出租信息抓取

实训项目（二）——去哪儿网模拟登陆

实训项目（三）——京东商品数据抓取