课程目录

• 1.课件
• 01-爬虫基本介绍
• PPT
• 01-爬虫介绍.pptx
• 代码
• 01-1 开班.py
• 01-2 爬虫介绍.py
• 01-3 爬虫工作流程.py
• 01-4 robots协议介绍.py
• 02-http协议&请求头
• PPT
• 代码
• 03-requests库使用
• requests库安装问题
• 代码
• 03-1 requests库的使用.py
• 03-2 响应response其它属性.py
• 03-3 用户代理User-Agent使用.py
• baidu_01.html
• baidu_02.html
• baidu_04.html
• baidu_05.html
• 03-requests使用.pptx
• 04-url传参
• PPT
• 04-url传参.pptx
• 代码
• 04-1 User-Agent池.py
• 04-2 url传参.py
• 04-3 作业布置.py
• sougou_长沙美食.html
• sougou_春节.html
• 05-POST请求&模拟登录
• PPT
• 代码
• 06-代理IP使用
• PPT
• 06-代理IP介绍与使用.pptx
• 代码
• 06-1 SSL认证.py
• 06-2 代理IP介绍.py
• 06-3 代理IP使用.py
• 06-4 timeout参数使用.py
• 06-5 retrying模块使用.py
• 07-网易云案例&referer反爬
• PPT
• 07-网易云案例&referer反爬.pptx
• 代码
• 07-1 网易云案例.py
• 07-2 VIP歌曲下载.py
• 07-3 referer反爬.py
• 08-Ajax异步数据之股票案例
• ppt
• 08-Ajax异步数据之股票案例.pptx
• 09-字典、集合.pptx
• 代码
• 01-字典.py
• 02-字典增删改查的方法.py
• 03-字典的其它操作.py
• 04-集合.py
• 05-字典和集合的推导式.py
• 06-集合的运算符.py
• 08-1 Ajax异步加载动态数据.py
• 08-2 抓取上证A股中所有的股票数据.py
• 08-3 提取上证A股中的关键数据.py
• 08-4 翻页抓取上证A股.py
• 08-5 数据结构分类.py
• 08-6 json数据转换.py
• moviepy补充.py
• 课后练习09.py
• 09-数据提取之jsonpath
• PPT
• 代码
• 10-数据提取之xpath
• PPT
• 10-xpath.pptx
• 代码
• 10-1 xpath_helper安装.py
• 10-2 xpath提取豆瓣电影250.py
• xpath_helper_2.0.2
• 11-数据存储之excel
• PPT
• 11-数据存储之excel
• 代码
• 11-1 处理空格数据.py
• 11-2 python操作已存在的excel文件.py
• 11-3 将数据写入新的excel文件中.py
• 11-4 指定创建表格的名字.py
• 11-5 爬虫数据入表excel.py
• 11-6 优化兼容追加写入功能.py
• 11-7 判断文件是否存在.py
• 11-8 csv文件数据写入.py
• 11-9 使用json文件存储数据.py
• datas.csv
• datas01.csv
• 股票.json
• 上证A股.xlsx
• 数据.xls
• 数据2.xlsx
• 数据3.xlsx
• 数据4.xlsx
• 数据6.xlsx
• 12-数据存储之mongodb
• PPT
• 代码
• 13-playwright入门
• PPT
• 13-playwright入门.pptx
• 代码
• 13-1 爬虫代封装.py
• 13-2 豆瓣250爬虫代码封装.py
• 13-3 playwright介绍.py
• 13-4 playwright简单使用.py
• 13-5 作业讲解.py
• 链家二手房数据.xlsx
• 14-playwright进阶(一)
• PPT
• 14-playwright高级(一).pptx
• 代码
• 14-1 playwright元素定位.py
• 14-2 文本和属性值获取.py
• 14-3 窗口切换.py
• 14-4 iframe嵌套案例.py
• 15-playwright进阶(二)
• PPT
• 15-playwright高级(二).pptx
• 代码
• 15-1 滚动页面&执行js代码.py
• 15-2 playwright反检测.py
• 15-3 携带本地登录状态.py
• 15-4 playwright连接开启远程调试的谷歌.py
• 15-5 作业布置.py
• 16-playwright项目实战
• PPT
• 16-playwright项目实战.pptx
• 代码
• 16-1 playwright终极模板.py
• 16-2 playwright抓取淘宝数据.py
• 16-3 playwrigth抓取京东联盟数据.py
• 淘宝手机数据.csv
• 淘宝手机数据001.csv
• 17-playwright抓取图片视频
• PPT
• 17-playwright抓取图片视频.pptx
• 代码
• 17-1 playwright抓取单页图片.py
• 17-2 playwright翻页获取图片.py
• 17-3 playwright抓取快手视频.py
• 视频
• 17-2 playwright爬取单页图片02
• 17-playwright抓取图片视频
• 18-图片验证码处理
• PPT
• 18-图片验证码案例破解
• 18-图片验证码处理.pptx
• 代码
• 18-1 验证码分类.py
• 18-2 使用第三方库识别验证码.py
• 18-3 使用打码平台识别验证码.py
• 18-4 验证码识别登录.py
• 18-5 playwright登录.py
• chaojiying.py
• 19-滑动验证码处理
• PPT
• 19-滑动验证码处理.pptx
• 19-滑块验证码案例破解
• 代码
• 19-1 滑动验证处理.py
• 19-2 滑动轨迹识别演示.py
• 20-js逆向介绍&TLS指纹校验
• PPT
• 20-js逆向介绍&TLS指纹校验.pptx
• 20-TLS指纹
• 代码
• 20-1 js加密&js逆向介绍.py
• 20-2 base64加密算法.py
• 20-3 md5加密算法.py
• 20-4 hmac模块介绍.py
• 20-5 加盐操作.py
• 20-6 TLS指纹校验介绍.py
• 20-7 TLS指纹校验绕过.py
• 20-8 作业布置.py
• 21-js加密案例
• PPT
• 21-js加密案例.pptx
• 代码
• 21-1 作业讲解.py
• 21-2 fm案例.py
• 21-3 作业布置.py
• 22-js逆向解析案例
• PPT
• 22-js逆向解析案例.pptx
• 代码
• 22-1 js逆向解析.py
• 22-2 通过python代码调用js文件执行js代码.py
• 22-3 评论数据js逆向案例.py
• A.js
• demo.js
• wyy.js
• 23-js反调试破解
• PPT
• 23-反调试代码分析
• 23-反调试破解.pptx
• 代码
• 23-1 补充.py
• 24-字体反爬
• PPT
• 24-字体反爬.pptx
• 24-字体反爬PDF_加水印
• 代码
• 字体反爬的实现
• 24-1 字体反爬介绍.py
• 24-2 字体解析.py
• 24-3 图像绘制.py
• 58tc.xml
• 58tongcheng.ttf
• xxs.woff
• 25-移动端数据抓取
• PPT
• 25-fiddler介绍&移动端案例.pptx
• 代码
• 25-1 实习僧字体反爬补充.py
• 25-2 fiddler抓包工具使用.py
• 25-3 模拟器配置.py
• 25-4 抓取移动端数据案例.py
• 25-5 作业布置.py
• xss.woff
• 26-异步爬虫
• PPT
• 26-异步爬虫(详细注释版)
• 26-异步爬虫.pptx
• 代码
• 26-1 demo.py
• 26-2 多进程爬虫模拟.py
• 26-3 多进程爬虫实战.py
• 26-4 线程池使用.py
• 26-5 多任务异步协程.py
• 26-6 note.py
• 26-7 并发量控制.py
• 26-8 作业布置.py
• 27-scrapy介绍与使用
• PPT
• 27-scrapy介绍与使用.pptx
• scrapy使用问题
• scrapy安装失败的解决方法.txt
• 代码
• Douban
• 27-1 scrapy框架介绍.py
• 27-2 scrapy框架工作原理.py
• 27-3 scrapy项目搭建.py
• 27-4 作业布置.py
• 28-scrapy数据提取
• PPT
• 28-scrapy数据提取保存.pptx
• 代码
• Douban
• 28-1 scrapy工作流程原理.py
• 29-scrapy详情页&翻页
• PPT
• 29-scrapy详情页&翻页.pptx
• 代码
• Douban
• 29-1 项目流程.py
• 29-2 另外一种scrapy保存方式.py
• 29-2 另外一种开启scrapy的方式.py
• 29-4 详情页数据获取.py
• 29-5 翻页.py
• 29-6 作业布置.py
• 30-scrapy中间件&post请求
• PPT
• 30-scrapy中间件&post请求.pptx
• 代码
• Douban
• NEWS
• XIAOSHUO
• 30-1 总结.py
• 30-2 中间件参数的添加.py
• 30-2 中间件介绍.py
• 30-3 scrapy发送post请求.py
• 31-crawlspider&图片管道
• PPT
• 31-crawlspider&图片管道.pptx
• 代码
• Douban
• Pic
• 31-1 crawlspider模板介绍.py
• 31-2 图片管道介绍.py
• 32.scrapy-redis分布式爬虫
• PPT
• 32-分布式爬虫.pptx
• 代码
• Douban
• 32-1 scrapy-redis分布式爬虫.py
• 32-2 scrapy-redis配置模板.py
• 32-3 面试tips.py
• 2.安装包
• 3.预习资料
• 回放链接.txt