课程介绍

爬虫技术进阶体现在反爬对抗和规模化抓取上

目前网页的对抗难度上限是跟浏览器特征绑定的高度混淆 JS 和验证码拖拽等；APP 的加固，SO 混淆，抓包和设备特征检测等

这套爬虫课程内容涉及反混淆极具难度的 JS 和拖拽验证码；以及 APP 的 HOOK 抓取，安卓容器虚拟化技术做设备指纹对抗和安卓群控抓取技术

课程还包含爬虫工程化经验，诸如规模化抓取优化窍门，社会工程，还有我们实战经验总结的一点点黑科技

课程目录

• 爬虫逆向高阶课
• 第1章-框架设计
• 章节1-lesson1-基础-download和MySQL封装
• 章节1-lesson2-网址池的实现
• 章节1-lesson3-大规模异步并发
• 章节1-lesson4-分布式异步和js逆向-Google翻译
• 章节1-lesson5-新闻网页正文提取算法
• 章节1-lesson6-ezpymysql的讲解链接
• 第2、3章 安卓逆向（新版）
• 章节2-lesson1-安卓基础环境与逆向工具
• 章节2-lesson10-反序列化protobuf和简单so
• 章节2-lesson11-抓包环境配置
• 章节2-lesson12-抓包场景和阻碍解决方案基本概念
• 章节2-lesson13-vpn中间人抓包TCPdemo
• 章节2-lesson14-tcp与ssl发包java和native层溯源
• 章节2-lesson15-r0capture与tcpdump与wireshark基本使用
• 章节2-lesson16-r0capture拓展之Thread源码溯源
• 章节2-lesson17-udp溯源与hook系统底层AllInOne
• 章节2-lesson18-抓包拓展了解与脚本大致使用步骤
• 章节2-lesson19-noProxy与vpn检测与sslpinning案例实战
• 章节2-lesson2-frida配置-frida使用基础
• 章节2-lesson3-frida定位签名校验
• 章节2-lesson4-frida定位和还原简单请求参数
• 章节2-lesson5-frida-还原RSA加密登录过程
• 章节2-lesson6-续lesson5-object打印-frida-rpc
• 章节2-lesson7-科普RSA
• 章节2-lesson8-响应数据有加密
• 章节2-lesson9-nexus6p刷1机root
• 章节6-lesson7-平头哥框架主动调用Java类函数
• 第4章 js逆向
• 章节4-lesson1-js逆向开发环境配置与网络协议基础
• 章节4-lesson10-AST基础
• 章节4-lesson11-AST组件介绍及其应用
• 章节4-lesson12-AST解ob混淆实战
• 章节4-lesson13-练习题20实战（较大难度）
• 章节4-lesson14-基于sekiro的jsRPC安装与实战新版教程
• 章节4-lesson15-新型反爬手段汇总与解决方案
• 章节4-lesson2-DevTool与fiddler使用实战
• 章节4-lesson3-js基础与js反爬原理1
• 章节4-lesson4-js基础与js反爬原理2
• 章节4-lesson5-对抗调试干扰策略与实战
• 章节4-lesson6-hook与抠代码实战之_硬抠高度ob混淆
• 章节4-lesson7-常见混淆对抗与补环境入门
• 章节4-lesson8-浏览器指纹与node指纹
• 章节4-lesson9-js暗坑玩法、webpack与jsdom
• 第5章-工程经验-及-挣钱实践经验
• lesson3-程序
• client_socket .py
• proxy_server_update_dns_record .py
• server_socket .py
• 讲义
• APP分析2_
• IT技术的流量与商业化实践
• 简历 .docx
• 简历与面试小技巧
• 章节5-lesson1-优化1
• 章节5-lesson2-优化2
• 章节5-lesson3-IP的获取与使用
• 章节5-lesson4-简历写作技巧
• 章节5-lesson5-IT流量的运营和商业化实践
• 章节5-lesson6-整合数据的流量机会和挣钱机会
• 第6章 安卓逆向平头哥技术栈
• 章节6-lesson1-android开发基础
• 章节6-lesson10-ratel一机多号相关API的使用
• 章节6-lesson11-ratel任务调度相关API的使用
• 章节6-lesson2-Android网络请求库的使用
• 章节6-lesson3-平头哥框架(ratel)的安装及其简单应用
• 章节6-lesson4-Java反射相关知识以及平头哥框架hook构造函数
• 章节6-lesson5-平头哥框架hook简介
• 章节6-lesson6-平头哥框架hook实战(一个通用的Java层加密算法hook程序)
• 章节6-lesson8-Sekiro框架的使用
• 章节6-lesson9-sekiro_dump相关API的使用
• 第7章 直播经验分享
• j补环境，知识点复习，http2.0等js答疑直播录屏（三次）
• 第二次js答疑直播录屏
• 第一次js答疑直播录屏
• 第一期找工作经验经历直播分享会-音频 .wma
• 章节7-lesson1-第八章ASOP相关答疑直播
• 章节7-lesson4-js答疑直播4之一节课学会补环境
• 章节7-lesson5-js答疑直播5之js内存漫游方案与缩放算法
• 第8章 基于深度学习验证码识别
• 深度学习资料 .exe
• 章节9-lesson1-深度学习基础与环境搭建
• 章节9-lesson10-细节修正与原理入门
• 章节9-lesson2-pytorch基础语法
• 章节9-lesson3-数据加载、模型等API介绍
• 章节9-lesson4-第一次训练与手写数字
• 章节9-lesson5-卷积神经网络、cifar10
• 章节9-lesson6-自定义数据集与定长图文识别
• 章节9-lesson7-循环神经网络、CRNN、不定长图文识别
• 章节9-lesson8-数据标注、VOC数据集、目标检测框架
• 章节9-lesson9-API搭建与课程总结