课程目录

• 第八章 支持向量机与Kaggle案例：澳大利亚天气数据集
• 0 目录：本周将学习什么内容
• 1.1 简单复习支持向量机的基本原理
• 1.2 参数C的深入理解：多个支持向量存在的理由
• 1.3 二分类SVC中的样本不均衡问题
• 1.3 如何使用参数class_weight (1)
• 1.3 如何使用参数class_weight (2)
• 2 SVC的模型评估指标
• 2.1 混淆矩阵与准确率
• 2.1 样本不平衡的艺术(1)：精确度Precision
• 2.1 样本不平衡的艺术(2)：召回率Recall与F1 measure
• 2.1.3 对多数类样本的关怀：特异度Specificity和假正率
• 2.1.4 sklearn中的混淆矩阵
• 2.2 ROC曲线：Recall与假正率FPR的平衡
• 2.2.1 概率与阈值
• 2.2.2 SVM做概率预测
• 2.2.3 绘制ROC曲线 (1)
• 2.2.3 绘制ROC曲线 (2)
• 2.2.3 绘制ROC曲线 (3)
• 2.2.4 sklearn中的ROC曲线和AUC面积
• 2.2.5 利用ROC曲线求解最佳阈值
• 3 选学说明：使用SVC时的其他考虑
• 4 案例：预测明天是否会下雨 – 案例背景
• 4.1 案例：导库导数据，探索特征
• 4.2 案例：分集，优先处理标签
• 4.3.1 案例：描述性统计，处理异常值
• 4.3.2 案例：现实数据上的数据预处理 – 处理时间
• 4.3.3 案例：现实数据上的数据预处理 – 处理地点 (1)
• 4.3.3 案例：现实数据上的数据预处理 – 处理地点 (2)
• 4.3.3 案例：现实数据上的数据预处理 – 处理地点 (3)
• 4.3.3 案例：现实数据上的数据预处理 – 处理地点 (4)
• 4.3.4 案例：现实数据上的数据预处理 – 填补分类型变量的缺失值
• 4.3.5 案例：现实数据上的数据预处理 – 编码分类型变量
• 4.3.6 & 4.3.7 案例：现实数据集上的数据预处理：连续型变量
• 4.4 案例：建模与模型评估 (1)
• 4.4 案例：建模与模型评估 (2)
• 4.5.1 案例：模型调参：追求最高的recall
• 4.5.2 案例：模型调参：追求最高的精确度 (1)
• 4.5.2 案例：模型调参：追求最高的精确度 (2)
• 4.5.3 案例：模型调参：追求精确度与recall的平衡
• 4.6 SVM总结与结语
• 第二章 随机森林与医疗数据集调参
• 任务20：1 集成算法概述
• 任务21：2.1 随机森林分类器 参数n_estimators与建立一片森林
• 任务22：2.2 参数boostrap & oob_score + 重要属性和接口
• 任务23：2.3 [选学] 袋装法的另一个必要条件
• 任务24：3.1 随机森林回归器
• 任务25：3.2 案例：用随机森林填补缺失值 (1)
• 任务26：3.3 案例：用随机森林填补缺失值 (2)
• 任务27：3.4 案例：用随机森林填补缺失值 (3)
• 任务28：3.5 案例：用随机森林填补缺失值 (4)
• 任务29：4. 机器学习中调参的基本思想
• 任务30：5. 案例：随机森林在乳腺癌数据上的调参 (1)
• 任务31：5. 案例：随机森林在乳腺癌数据上的调参 (2)
• 第九章 回归大家族：线性，岭回归，Lasso，多项式
• 0 本周要学习什么
• 1 概述，sklearn中的线性回归大家族
• 2.1 多元线性回归的基本原理和损失函数
• 2.2 用最小二乘法求解多元线性回归的过程
• 2.3 多元线性回归的参数，属性及建模代码
• 3.1 回归类模型的评估指标：是否预测准确？
• 3.2 回归类模型的评估指标：是否拟合了足够的信息？
• 4.1 多重共线性：含义，数学，以及解决方案
• 4.2.1 岭回归处理多重共线性
• 4.2.2 sklearn中的岭回归：linear_model.Ridge
• 4.2.3 为岭回归选择最佳正则化参数
• 4.3.1 Lasso处理多重共线性
• 4.3.2 Lasso的核心作用：特征选择
• 4.3.3 Lasso选择最佳正则化参数
• 5.1.1 & 5.1.2 线性数据与非线性数据
• 5.1.3 线性vs非线性模型 (1)：线性模型在非线性数据集上的表现
• 5.1.3 线性vs非线性模型 (2)：拟合，效果与特点
• 5.2 离散化：帮助线性回归解决非线性问题
• 5.3.1 多项式对数据做了什么？
• 5.3.2 多项式回归提升模型表现
• 5.3.3 多项式回归的可解释性
• 5.3.4 多项式回归：线性还是非线性模型？ + 本周结语
• 第六章 聚类算法与量化案例
• 0 概述
• 1.1 无监督学习概述，聚类vs分类
• 1.2 sklearn当中的聚类算法
• 2.1 Kmeans是如何工作的？
• 2.2 & 2.3 簇内平方和，时间复杂度
• 3.1.1 KMeans – 重要参数n_clusters
• 3.1.2 聚类算法的模型评估指标 (1)
• 3.1.2 聚类算法的模型评估指标 (2) – 轮廓系数
• 3.1.2 聚类算法的模型评估指标 (3) – CHI
• 3.1.3 案例：轮廓系数找最佳n_clusters (1)
• 3.1.3 案例：轮廓系数找最佳n_clusters (2)
• 3.1.3 案例：轮廓系数找最佳n_clusters (3)
• 3.2 重要参数init & random_state & n_init：初始质心怎么决定？
• 3.3 重要参数max_iter & tol：如何让聚类停下来？
• 3.5 重要属性与接口 & 函数k_means
• 4 案例：Kmeans做矢量量化 (1)：案例背景
• 4 案例：Kmeans做矢量量化 (2)
• 4 案例：Kmeans做矢量量化 (3)
• 4 案例：Kmeans做矢量量化 (4)
• 第七章 支持向量机与医疗数据集调参
• 0 本周要学习什么
• 1.1 支持向量机概述：最强大的机器学习算法
• 1.2 支持向量机是如何工作的 & sklearn中的SVM
• 2.1.1 线性SVC的损失函数 (1)
• 2.1.1 线性SVC的损失函数 (2)
• 2.1.2 函数间隔与几何间隔
• 2.1.3.1 损失函数的拉格朗日乘数形态
• 2.1.3.2 拉格朗日对偶函数 (1)
• 2.1.3.2 拉格朗日对偶函数 (2)
• 2.1.3.3 求解拉格朗日对偶函数极其后续过程
• 2.1.4 SVM求解可视化 (1)：理解等高线函数contour
• 2.1.4 SVM求解可视化 (2)：理解网格制作函数meshgrid与vstack
• 2.1.4 SVM求解可视化 (3)：建模，绘制图像并包装函数
• 2.1.4 SVM求解可视化 (4)：探索建立好的模型
• 2.1.4 SVM求解可视化（5）：非线性数据集上的推广与3D可视化
• 2.1.4 SVM求解可视化（6）：Jupyter Notebook中的3D交互功能
• 2.2.1 & 2.2.2 非线性SVM与核函数：重要参数kernel
• 2.2.3 案例：如何选取最佳核函数 (1)
• 2.2.3 案例：如何选取最佳核函数 (2)
• 2.2.4 案例：在乳腺癌数据集上探索核函数的性质
• 2.2.5 案例：在乳腺癌数据集上对核函数进行调参 (1）
• 2.2.5 案例：在乳腺癌数据集上对核函数进行调参 (2)
• 2.3.1 SVM在软间隔数据上的推广
• 2.3.2 重要参数C & 总结
• 第三章 数据预处理与特征工程
• 任务33：概述 + 12期课纲
• 任务34：数据预处理1：无量纲化：数据归一化
• 任务35：数据预处理2：无量纲化：数据标准化
• 任务36：数据预处理3：缺失值 (1)
• 任务37：数据预处理4：缺失值 (2)
• 任务38：数据预处理5：处理分类型数据：编码与哑变量
• 任务39：数据预处理6：处理连续型数据：二值化和分箱
• 任务40：特征选择1：过滤法：方差过滤 (1)
• 任务41：特征选择2：过滤法：方差过滤 (2)
• 任务42：特征选择3：过滤法：卡方过滤
• 任务43：特征选择4：过滤法：F检验和互信息法 (1)
• 任务44：特征选择5：过滤法：互信息法(2) + 总结
• 任务45：特征选择6：嵌入法 (1)
• 任务46：特征选择7：嵌入法 (2)
• 任务47：特征选择8：包装法 + 总结
• 第十二章 神经网络
• 012 神经网络-课件
• 第十二章 神经网络【1】
• 012 神经网络-课件
• 12-神经网络
• 神经网络1
• 神经网络2
• 神经网络3
• 第十一章 XGBoost
• 0 本周要学习什么
• 1 XGBoost前瞻：安装xgboost，xgboost库与skleanAPI
• 2.1 梯度提升树(1)：集成算法回顾，重要参数n_estimators
• 2.1 梯度提升树(2)：参数n_estimators下的建模
• 2.1 梯度提升树(3)：参数n_estimators的学习曲线
• 2.1 梯度提升树(4)：基于方差-偏差困境改进的学习曲线
• 2.2 梯度提升树(5)：控制有放回随机抽样，参数subsample
• 2.3 梯度提升树(6)：迭代决策树：重要参数eta
• 2.3 梯度提升树(7)：迭代决策树：重要参数eta
• 3.1 XGBoost的智慧 (1)：选择弱评估器：重要参数booster
• 3.2 XGBoost的智慧 (2)：XGBoost的目标函数，使用xgboost库建模
• 3.3 XGBoost的智慧 (3)：求解XGBoost的目标函数 – 推导过程
• 3.3 XGBoost的智慧 (4)：XGboost的目标函数 – 泰勒展开相关问题
• 3.4 XGBoost的智慧 (5)：参数化决策树，正则化参数lambda与alpha
• 3.5 XGBoost的智慧 (6)：建立目标函数与树结构的直接联系
• 3.5 XGBoost的智慧 (7)：最优树结构，求解w和T
• 3.6 XGBoost的智慧 (8)：贪婪算法求解最优树
• 3.7 XGBoost的智慧 (9)：让树停止生长：参数gamma与工具xgb.cv
• 4.1 XGBoost应用 (1)：减轻过拟合：XGBoost中的剪枝参数
• 4.1 XGBoost应用 (2)：使用xgb.cv进行剪枝参数的调参
• 4.2 XGBoost应用 (3)：使用pickle保存和调用训练好的XGB模型
• 4.2 XGBoost应用 (4)：使用joblib保存和调用训练好的XGB模型
• 4.3 XGBoost应用 (5)：XGB分类中的样本不平衡问题 – sklearnAPI
• 4.3 XGBoost应用 (6)：XGB分类中的样本不平衡问题 – xgboost库
• 4.4 XGBoost应用 (7)：XGB应用中的其他问题
• 第十章 朴素贝叶斯
• 0 本周要讲解的内容
• 1.1 为什么需要朴素贝叶斯
• 1.2 概率论基础 – 贝叶斯理论等式
• 1.2.1 瓢虫冬眠：理解条件概率 (1)
• 1.2.1 瓢虫冬眠：理解条件概率 (2)
• 1.2.1 瓢虫冬眠：理解条件概率 (3)
• 1.2.2 贝叶斯的性质与最大后验估计
• 1.2.3 汉堡称重：连续型变量的概率估计 (1)
• 1.2.3 汉堡称重：连续型变量的概率估计 (2)
• 1.3 sklearn中的朴素贝叶斯
• 2.1.1 认识高斯朴素贝叶斯
• 2.1.2 高斯朴素贝叶斯擅长的数据集
• 2.1.3 探索贝叶斯 – 拟合中的特性与运行速度 (1)
• 2.1.3 探索贝叶斯 – 拟合中的特性与运行速度 (2) – 代码讲解 (1)
• 2.1.3 探索贝叶斯 – 拟合中的特性与运行速度 (3) – 代码讲解 (2)
• 2.1.3 探索贝叶斯 – 拟合中的特性与运行速度 (4) – 分析与结论
• 2.2.1 概率类模型的评估指标 (1) – 布里尔分数
• 2.2.1 概率类模型的评估指标 (2) – 布里尔分数可视化
• 2.2.2 概率类模型的评估指标 (3) – 对数损失Logloss
• 2.2.3 概率类模型的评估指标 (4) – 可靠性曲线 (1)
• 2.2.3 概率类模型的评估指标 (5) – 可靠性曲线 (2)
• 2.2.4 概率类模型的评估指标 (6) – 概率分布直方图
• 2.2.5 概率类模型的评估指标 (7) – 概率校准 (1)
• 2.2.5 概率类模型的评估指标 (8) – 概率校准 (2)
• 2.3.1 多项式朴素贝叶斯 (1) – 认识多项式朴素贝叶斯
• 2.3.1 多项式朴素贝叶斯 (2) – 数学原理
• 2.3.1 多项式朴素贝叶斯 (3) – sklearn中的类与参数
• 2.3.1 多项式朴素贝叶斯 (4) – 来构造一个分类器吧
• 2.3.2 伯努利朴素贝叶斯 (1) – 认识伯努利朴素贝叶斯
• 2.3.2 伯努利朴素贝叶斯 (2) – sklearn中的类与参数
• 2.3.2 伯努利朴素贝叶斯 (3) – 构造一个分类器
• 2.3.3 探索贝叶斯 – 朴素贝叶斯的样本不均衡问题
• 2.3.4 补集朴素贝叶斯 – 补集朴素贝叶斯的原理 (1)
• 2.3.4 补集朴素贝叶斯 – 补集朴素贝叶斯的原理 (2)
• 2.3.4 补集朴素贝叶斯 – 处理样本不均衡问题
• 3.1.1 案例：贝叶斯做文本分类 (1) – 单词计数向量技术
• 3.1.1 案例：贝叶斯做文本分类 (2) – 单词计数向量的问题
• 3.1.2 案例：贝叶斯做文本分类 (3) – TF-IDF技术
• 3.2 案例：贝叶斯做文本分类 (4) – 探索和提取文本数据
• 3.3 案例：贝叶斯做文本分类 (5) – 使用TF-IDF编码文本数据
• 3.4 案例：贝叶斯做文本分类 (6) – 算法应用与概率校准
• 第四章 降维算法PCA与手写数字识别
• 1 降维算法概述
• 2.1 降维究竟怎样实现？
• 2.2 参数 + 案例：高维数据的可视化 (1)
• 2.2 参数 + 案例：高维数据的可视化 (2)
• 2.3 PCA中的SVD，重要参数svd_solver
• 2.3 参数 + 案例：人脸识别中的components_应用
• 2.4 重要接口 + 案例1：用人脸识别看PCA降维后的信息保存量
• 2.4 重要接口 + 案例2：用PCA实现手写数字的噪音过滤
• 2.5 原理，流程，重要属性接口和参数的总结
• 3.1 案例：PCA实现784个特征的手写数字的降维 (1
• 3.2 案例：PCA实现784个特征的手写数字的降维 (2)
• 第五章 逻辑回归和信用评分卡
• 0 前言
• 1.1 逻辑回归概述：名为“回归”的分类器
• 1.2 为什么需要逻辑回归
• 1.3 sklearn当中的逻辑回归
• 2.1.1 二元逻辑回归的损失函数
• 2.2.1 正则化：重要参数penalty & C
• 2.2.2 逻辑回归的特征工程 (1)
• 2.2.2 逻辑回归的特征工程 (2)
• 2.2.2 逻辑回归的特征工程 (3)
• 2.2.2 逻辑回归的特征工程 (4)
• 2.3.1 重要参数max_iter – 梯度下降求解逻辑回归的过程
• 2.3.2 梯度的概念与解惑
• 2.3.3 步长的概念与解惑
• 2.4 二元回归与多元回归：重要参数solver & multi_class
• 2.5 样本不均衡与参数class_weight
• 3.1 案例：评分卡与完整的模型开发流程
• 3.2.1~2 案例：评分卡 – 数据预处理(1) – 重复值与缺失值
• 3.2.3 案例：评分卡 – 数据预处理 (2) – 异常值
• 3.2.4 案例：评分卡 – 数据预处理 (3) – 标准化
• 3.2.5 案例：评分卡 – 数据预处理 (4) – 样本不均衡问题
• 3.2.6 案例：评分卡 – 数据预处理 (5) – 保存训练集和测试集数据
• 3.3 案例：评分卡 – 分箱 (1) – 概述与概念
• 3.3.1 案例：评分卡 – 分箱 (2) – 等频分箱 (1)
• 3.3.1 案例：评分卡 – 分箱 (3) – 等频分箱 (2)
• 3.3.2 案例：评分卡 – 分箱 (4) – 选学说明
• 3.3.3 案例：评分卡 – 分箱 (5) – 计算WOE与IV
• 3.3.4 案例：评分卡 – 分箱 (6) – 卡方检验、箱体合并、IV值等
• 3.3.5 案例：评分卡 – 分箱 (7) – 包装分箱函数
• 3.3.6 案例：评分卡 – 分箱 (8) – 包装判断分箱个数的函数
• 3.3.7 案例：评分卡 – 分箱 (9) – 对所有特征进行分箱
• 3.4 案例：评分卡 – 映射数据 (1)
• 3.4 案例：评分卡 – 映射数据 (2)
• 3.5 案例：评分卡 – 建模与模型验证
• 3.6 案例：评分卡 – 评分卡的输出和建立
• 第一章 决策树与泰坦尼克号生存预测
• 任务10：6. 分类树：重要属性和接口
• 任务11：7. 回归树：参数，属性和接口
• 任务12：7. 回归树：交叉验证 (1)
• 任务13：7. 回归树：交叉验证(2)
• 任务14：8. 回归树案例：用回归树拟合正弦曲线
• 任务15：9. 案例：泰坦尼克号生存者预测 (1)
• 任务16：9. 案例：泰坦尼克号生存者预测 (2)
• 任务17：9. 案例：泰坦尼克号生存者预测 (3)
• 任务18：9.案例：泰坦尼克号生存者预测 (4)
• 任务4：1. 引言，sklearn入门
• 任务5：2. 决策树：概述
• 任务6：3. 分类树：参数Criterion
• 任务7： 4. 分类树：实现一棵树，随机性参数
• 任务8：5. 分类树：剪枝参数调优(1)
• 任务9：5. 分类树：剪枝参数调优(2)
• 菜菜sklearn课件