课程介绍

本课程以实现社交平台内容抓取平台为背景项目，深入讲解Nodejs 后端相关内容，包括：

– 基础：Git、Linux 命令行、npm 的使用

– 进阶：Express 的使用、MVC 的概念、Mongodb/Mongoose实操、 Node 的异步机制、错误处理和日志处理

– 高级：鉴权、Redis、PM2、微服务、AWS 部署、Auth 认证等

另外课程还会覆盖微信开发、分布式系统、数据库开发设计、高可用高可拓展服务、消息队列、REST接口设计、负载均衡和调优等知识

课程目录

• 基于Node.js开发个性化爬虫抓取平台项目
• 00【先导】课前预习内容
• 1. 文章：课前预习内容.md
• 2. 文章：Git命令行讲义.md
• 3. 视频：Git Bash 安装
• 4. 视频：命令行基本概念
• 01 搭建http服务
• 1. 视频：搭建http服务-1
• 2. 视频：搭建http服务-答疑1
• 3. 视频：搭建http服务-2
• 6. 文章：第一课讲义.md
• simple_http_server.js
• 02 Express基础
• 1. 文章：讲义.md
• 1. 视频：Express-1
• 2. 视频：Express-1 答疑
• 3. 视频：Express-2
• 4. 视频：Express-2 答疑
• 03 Express中的MVC
• 03Express中的MVC实战-2
• 1. Express复习和拾遗
• 2. Express中的MVC实战-1
• 文章：讲义.txt
• 04 MongoDB实操
• 1.视频：MongoDB实操-1
• 2.视频：MongoDB实操1-答疑
• 3.视频：MongoDB实操-2
• 05 mongoose
• 1.视频：mongoose的基本使用
• 2.视频：mongoose的基本使用-答疑
• 3.视频：mongoose构建的model层
• 文章：讲义.docx
• 06 Node.js异步最佳实践
• 文章：异步基础讲义.docx
• 视频：异步基础-1
• 视频：异步基础-2-答疑
• 视频：异步基础-2
• 视频：异步基础-3
• 07 错误处理和日志
• 1.视频：错误处理-1
• 2.视频：错误处理-2
• 3.视频：日志处理
• 文章：讲义.docx
• 08 鉴权
• 1.视频：鉴权-1
• 2.视频：鉴权-2
• 3.视频：session bug终结篇
• 4.视频：session bug解决篇（可以跳过）
• 文章：讲义.docx
• 09 爬虫系统初步
• 文章：讲义.docx
• 视频：Acfun文章爬取-1
• 视频：Acfun文章爬取-2
• 视频：爬虫系统架构初步
• 10 鉴权实战和爬虫实战
• 视频：鉴权实战和爬虫实战1
• 11 Redis+爬虫实战
• 1.视频：Redis-1
• 2.视频：Redis-2
• 3.视频：爬虫实战
• 12 使用pm2管理爬虫进程
• 视频：爬虫实战-1
• 视频：爬虫实战-2
• 13 推荐系统初步
• 1.视频：推荐系统初步
• 2.视频：爬虫实战
• 3.视频：部署爬虫
• 14 微服务初步和实战
• 文章：自定义协议-可以最后看.docx
• 文章：自定义协议.docx
• 视频：微服务和实战-1
• 视频：微服务和实战-1_20240325_142639
• 视频：微服务和实战-2
• 15 在AWS部署服务
• 1.视频：部署服务-1
• 2.视频：部署服务-2
• 16 推荐系统实战-爬虫协议的实现
• 1.视频：服务发现与注册
• 2.视频：校验数据并开始爬取
• 3.视频：持续自动爬取
• 17 ElasticSearch 基础
• 1.视频：ES的安装与使用
• 2.视频：ES的使用-文档管理和搜索
• 3.视频：搜索中的分数
• 18 OAuth2.0 和微信登录
• 1.视频：OAuth2.0和微信登陆-1
• 2.视频：OAuth2.0和微信登陆-2
• 3.视频：ES评分初步-1
• 19 使用单元测试风格调试ES相关代码
• 1.视频：NCR的处理
• 2.视频：Mocha初探
• 3.视频：单元测试风格调试ES的CRUD
• 4.视频：调试ES评分
• 20 评分完结篇和实战
• 1.视频：课程简结
• 2.视频：使用内嵌文档实现数组元素分值的算分
• 3.视频：对爬取内容标签评分进行归一化
• 4.视频：对爬取内容标签评分进行归一化2
• 5.视频：整合ES到推荐项目，拉取spider提供的内容