课程大纲

• 网络爬虫
• 简介
• .爬虫的价值
• .爬虫的合法性问题
• .通用爬虫与聚焦爬虫
• HTTP与HTTPS
• .HTTP原理
• .HTTP和HTTPS
• .HTTP请求过程
• .get和post请求
• .常用请求报头
• .响应
• 网页的组成
• 与结构
• .HTML与HTML5
• .CSS&CSS3
• .Javascript
• 掌握Xpath
• .什么是XPath？
• .XPath 开发工具
• .XPath语法交互环境
• requests的使用
• .requests的get请求
• .requests的post请求
• .编码格式
• .requests高级操作-文件上传
• .requests高级操作-获取cookie
• .requests高级操作-证书验证
• .案例1：《抓取CoinDesk新闻》
• ｕrllib的使用
• .urllib的基本使用
• .urllib的get请求
• .urllib的post请求
• .Handler处理器和自定义Opener
• .URLError与HTTPError
• .案例2：《抓取网易公开课视频》
• BeautifulSoup
• 的使用
• .BeautifulSoup介绍
• .基本用法
• .节点选择器
• .方法选择器
• .CSS选择器
• .案例3:《抓取allitebooks网站所有电子书》
• 正则表达式
• .什么是正则表达式
• .正则表达式匹配规则
• .re 模块的使用
• .match、search、sub、compile方法
• .group分组
• .案例4：《时间格式化》
• 使用代理
• .代理种类：HTTP、HTTPS、SOCKS5
• .抓取免费代理
• .使用付费代理
• .urllib和requests使用代理
• .案例5：《自建代理池》
• 数据存储
• .txt、json、csv文件存储
• .MySQL数据库的使用
• .NoSql是什么
• .MongoDB简介
• .MongoDB的使用
• .Redis数据库的使用
• Scrapy的简介
• .安装Scrapy
• .Scrapy架构
• .Scrapy的数据流
• .Scrapy Shell的使用
• .Spider类的使用
• Ｓcrapy选择器
• .css选择器与Scrapy选择器对比
• .使用选择器
• 快速创建
• Scrapy爬虫
• .新建项目
• .明确目标 （编写items.py）
• .制作爬虫 （spiders/xxspider.py）
• .存储内容 （pipelines.py）
• 下载器与爬虫
• 中间件的使用
• .反爬虫机制与策略
• .突破反爬虫策略
• .设置下载中间件
• .DOWNLOADER_MIDDLEWARES 设置
• 使用管道
• Pipelines
• .管道的介绍
• .管道的设置
• .管道的使用
• .案例6：《抓取麦田租房信息》
• Selenium与
• PhantomJSbr
• 的使用
• .Selenium与PhantomJS的介绍和安装
• .Selenium 库里的WebDriver
• .页面操作
• .鼠标动作链
• .填充表单
• .弹窗处理
• .页面切换
• Headless Chrome 与Headless FireFox
• .Headless Chrome 与 Headless FireFox
• 的详细介绍
• .Headless Chrome 与 Headless FireFox
• 对浏览器版本的支持
• .Headless模式运行selenium
• .案例7：《抓取微信公众号》
• 使用Splash
• .Splash介绍
• .Splash的安装
• .Splash与Scrapy结合
• .使用Splash执行Javascript
• Ａjax数据抓取
• .Ajax的工作原理
• .Ajax的分析方法
• .json数据的分析
• .提取json数据的有用信息
• Scrapy-Redis
• 源码分析及实现
• .Scrapy 和 scrapy-redis的区别
• .分布式技术原理
• .connection、Dupefiler、PicklecompatPipelines、Queue、Scheduler源码分析
• .增量式抓取与布隆过滤器
• .案例8：《分布式抓取麦田二手房信息》
• Python
• 实现模拟登陆
• .分析登录过程（豆瓣、果壳、京东等）
• .案例9：《模拟登录微博》
• cookies池使用
• .cookies池架构设计
• .cookies池架构实现
• 破解常见验证码
• （OCR工具、
• 打码工具）
• .使用tesserocr
• .点触验证码
• .geetest验证码
• App数据抓取
• .使用fiddler、charles、wireshark、mitmproxy
• .案例10：《抓取得到电子书信息》
• .Appium的使用
• .案例11:《抓取拼多多商品信息》
• 抓包工具
• .使用fiddler、charles、wireshark、mitmproxy
• 抓包过程分析
• .案例10：《抓取得到电子书信息》
• Appium
• .Appium的使用
• Appium与mitmproxy
• 结合使用
• .案例11:《抓取拼多多商品信息》
• 基于Scrapy框架的北京房产信息多平台抓取实现
• 基于Docker的分布式抓取平台的设计与实现