课程介绍

本课程从 0 到 1 构建完整的爬虫知识体系，精选 20 + 案例，可接单级项目，应用热门爬虫框架 Scrapy、Selenium、多种验证码识别技术，JS 逆向修改层层突破反爬，带你从容抓取主流网站数据，掌握爬虫工程师硬核技能

课程目录

• 1
• 1-1爬虫能解决什么问题1115
• 1-2为什么要学习python爬虫开发0307
• 1-3课程内容介绍学习目标0556
• 1-5必看行有行规爬虫有虫规0320
• 2
• 2-1环境准备搭建爬虫开发环境0906
• 2-2方法准备好的学习方法让编程事半功倍0703
• 2-3心态准备克除浮躁港大学霸带你一路坚持下去0523
• 3
• 3-1爬虫请求的基础HTTP基础知识1020
• 3-2Requests模块请求网页数据0618
• 3-3携带Headers请求头模拟真人请求0511
• 3-4设置Proxy代理IP突破IP封锁0556
• 4
• 4-10实战纵横中文网排行榜全部小说爬取0846
• 4-1如何提取网页关键数据0309
• 4-2第一种方法正则表达式解析数据0647
• 4-3补充正则表达式语法基础一1746
• 4-4补充正则表达式语法基础二1503
• 4-5实战电影天堂爬取电影详情页1505
• 4-6实战电影天堂全站分页数据爬取1056
• 4-7第二种方法XPath解析数据0723
• 4-8补充XPath语法基础1920
• 4-9实战纵横中文网爬取小说详情页1040
• 5
• 5-1如何持久化存储数据主流的数据存储方式0646
• 5-2MongoDB数据库概述0353
• 5-3MongoDB安装配置MacOS0746
• 5-4MongoDB安装配置Windows0448
• 5-5Python连接MongoDB数据库1010
• 5-6实战豆瓣网爬取电影排行榜数据0936
• 5-7实战豆瓣网获取下滑加载的翻页数据0443
• 5-8实战豆瓣网将数据存入MongoDB数据库0410
• 6
• 6-10实战豆瓣图书Scrapy伪装爬虫爬取新书速递1118
• 6-11实战豆瓣图书新书速递数据解析存储1050
• 6-12CrawlSpider爬虫为全站爬取而生的Scrapy爬虫子类0644
• 6-13实战聚美优品CrawlSpider爬取并储存商品信息0852
• 6-1如何高效爬取海量数据0325
• 6-2第一个Scrapy爬虫项目0716
• 6-3Scrapy框架架构梳理0411
• 6-4ScrapyXPath解析数据0614
• 6-5通过Pipelines管道实现数据保存0543
• 6-6ScrapyMongoDB数据持久化存储0307
• 6-7Middleware中间件处理引擎与下载器之间的请求及响应0507
• 6-8Scrapy伪装爬虫手段一设置动态User-Agent0325
• 6-9Scrapy伪装爬虫手段二设置代理IP0243
• 7
• 7-10实战京东商城分布式爬虫二0427
• 7-1如何让爬取效率更高0227
• 7-2什么是Scrapy-Redis分布式爬虫0626
• 7-3Redis数据库概述0303
• 7-4Redis数据库安装配置MacOS0400
• 7-5Redis数据库安装配置Windows0420
• 7-6Python操作Redis数据库1029
• 7-7从零实现一个简单的分布式爬虫1454
• 7-8Redis数据保存至MongoDB数据库0520
• 7-9实战京东商城分布式爬虫一1325
• 8
• 8-1通过Cookie和Session实现用户登陆的原理0557
• 8-2模拟登录方法一Requests模块Cookie实现登录0607
• 8-3CookieSession实现登录并获取数据0627
• 8-4模拟登录方法二Selenium实现自动化登录0247
• 8-5补充Selenium基础安装配置0551
• 8-6补充Selenium基础元素定位方法0740
• 8-7补充Selenium基础元素交互0552
• 8-8ScrapySelenium实现登录0456
• 8-9ScrapySelenium登录后抓取数据0624
• 9
• 9-1什么是OpenCV图像识别技术0236
• 9-2OpenCV图像基础操作0526
• 9-3修改图像像素与色彩0615
• 9-4修改图像regionofinterest指定区域0235
• 9-5图像数值运算二值化处理0927
• 9-6图像平滑处理0317
• 9-7形态学图像处理0748
• 9-8滑块验证码的基础模版匹配0439
• 10
• 10-10实战猎聘网处理识别出错的问题0332
• 10-1百度OCR文字识别云服务0545
• 10-2实战维普网获取图片验证码0503
• 10-3实战维普网OpenCVOCR识别验证码0728
• 10-4实战维普网Selenium登录并获取数据0455
• 10-5实战维普网处理识别出错的问题0321
• 10-6滑块验证码识别逻辑梳理0211
• 10-7实战猎聘网获取滑块验证码0924
• 10-8实战猎聘网OpenCV计算滑动距离0845
• 10-9实战猎聘网Selenium模拟滑动轨迹0838
• 11
• 11-1EasyDL机器学习基础0403
• 11-2实战京东商城批量获取验证码图片0756
• 11-3实战京东商城信息标注训练模型0423
• 11-4实战京东商城调用EasyDLAPI接口识别验证码0520
• 11-5云码平台使用基础0129
• 11-6实战豆瓣网获取验证码图片0710
• 11-7实战豆瓣网云码平台滑块验证码识别0423
• 12
• 12-1常见的反爬手段介绍0758
• 12-2常见文字加解密方式有哪些0336
• 12-3补充文字加解密基础二进制与十六进制0438
• 12-4补充文字加解密基础ASCIIUTF-8Unicode编码0457
• 12-5补充文字加解密基础Python实现EncodeDecode编码转换0316
• 12-6修改Unicode与HTML字符实体加密0420
• 12-7修改CSS偏移文字加密0757
• 12-8实战ZiRoom修改CSS偏移文字加密0956
• 12-9实战ZiRoom获取租房信息数据0949