机器学习教程
目录
第 1 周 .............................................................................................................................................. 1
1、 引言(Introduction) .................................................................................................... 1
1.1 欢迎............................................................................................................................ 1
1.2 机器学习是什么？ .................................................................................................... 4
1.3 监督学习 .................................................................................................................... 6
1.4 无监督学习 .............................................................................................................. 10
2、 单变量线性回归(Linear Regression with One Variable) ........................................ 15
2.1 模型表示 .................................................................................................................. 15
2.2 代价函数 .................................................................................................................. 17
2.3 代价函数的直观理解 I ............................................................................................ 19
2.4 代价函数的直观理解 II ........................................................................................... 20
2.5 梯度下降 .................................................................................................................. 21
2.6 梯度下降的直观理解 .............................................................................................. 24
2.7 梯度下降的线性回归 .............................................................................................. 27
2.8 接下来的内容 .......................................................................................................... 29
3、 线性代数回顾(Linear Algebra Review) ................................................................... 30
3.1 矩阵和向量 .............................................................................................................. 30
3.2 加法和标量乘法 ...................................................................................................... 31
3.3 矩阵向量乘法 .......................................................................................................... 32
3.4 矩阵乘法 .................................................................................................................. 33
3.5 矩阵乘法的性质 ...................................................................................................... 34
3.6 逆、转置 .................................................................................................................. 35
第 2 周 ............................................................................................................................................ 36
4、 多变量线性回归(Linear Regression with Multiple Variables) ................................ 36
4.1 多维特征 .................................................................................................................. 36
4.2 多变量梯度下降 ...................................................................................................... 37
4.3 梯度下降法实践 1-特征缩放 ................................................................................. 39
4.4 梯度下降法实践 2-学习率 ..................................................................................... 40
4.5 特征和多项式回归 .................................................................................................. 41
4.6 正规方程 .................................................................................................................. 42
4.7 正规方程及不可逆性（选修） .............................................................................. 44
5、 Octave 教程(Octave Tutorial) .................................................................................. 47
5.1 基本操作 .................................................................................................................. 47
5.2 移动数据 .................................................................................................................. 54
5.3 计算数据 .................................................................................................................. 62
5.4 绘图数据 .................................................................................................................. 70
5.5 控制语句：for，while，if 语句 ............................................................................. 76
5.6 向量化 ...................................................................................................................... 82
5.7 工作和提交的编程练习 .......................................................................................... 86
第 3 周 ............................................................................................................................................ 88
6、 逻辑回归(Logistic Regression) ................................................................................ 88
6.1 分类问题 .................................................................................................................. 88
II
6.2 假说表示 .................................................................................................................. 90
6.3 判定边界 .................................................................................................................. 92
6.4 代价函数 .................................................................................................................. 94
6.5 简化的成本函数和梯度下降 .................................................................................. 98
6.6 高级优化 ................................................................................................................ 101
6.7 多类别分类：一对多 ............................................................................................ 105
7、 正则化(Regularization) ......................................................................................... 108
7.1 过拟合的问题 ........................................................................................................ 108
7.2 代价函数 ................................................................................................................ 110
7.3 正则化线性回归 .................................................................................................... 112
7.4 正则化的逻辑回归模型 ........................................................................................ 113
第 4 周 .......................................................................................................................................... 115
8、 神经网络：表述(Neural Networks: Representation) ........................................... 115
8.1 非线性假设 ............................................................................................................ 115
8.2 神经元和大脑 ........................................................................................................ 117
8.3 模型表示 1 ............................................................................................................. 121
8.4 模型表示 2 ............................................................................................................. 124
8.5 特征和直观理解 1 ................................................................................................. 126
8.6 样本和直观理解 II ................................................................................................. 128
8.7 多类分类 ................................................................................................................ 130
第 5 周 .......................................................................................................................................... 131
9、 神经网络的学习(Neural Networks: Learning) ..................................................... 131
9.1 代价函数 ................................................................................................................ 131
9.2 反向传播算法 ........................................................................................................ 133
9.3 反向传播算法的直观理解 .................................................................................... 136
9.4 实现注意：展开参数 ............................................................................................ 138
9.5 梯度检验 ................................................................................................................ 139
9.6 随机初始化 ............................................................................................................ 141
9.7 综合起来 ................................................................................................................ 142
9.8 自主驾驶 ................................................................................................................ 143
第 6 周 .......................................................................................................................................... 146
10、 应用机器学习的建议(Advice for Applying Machine Learning) ........................... 146
10.1 决定下一步做什么 .............................................................................................. 146
10.2 评估一个假设 ...................................................................................................... 149
10.3 模型选择和交叉验证集 ...................................................................................... 151
10.4 诊断偏差和方差 .................................................................................................. 153
10.5 正则化和偏差/方差 ............................................................................................ 155
10.6 学习曲线 .............................................................................................................. 157
10.7 决定下一步做什么 .............................................................................................. 159
11、 机器学习系统的设计(Machine Learning System Design) ................................... 161
11.1 首先要做什么 ...................................................................................................... 161
11.2 误差分析 .............................................................................................................. 162
11.3 类偏斜的误差度量 .............................................................................................. 165
11.4 查准率和查全率之间的权衡 .............................................................................. 166
III
11.5 机器学习的数据 .................................................................................................. 168
第 7 周 .......................................................................................................................................... 172
12、 支持向量机(Support Vector Machines) ............................................................... 172
12.1 优化目标 .............................................................................................................. 172
12.2 大边界的直观理解 .............................................................................................. 178
12.3 大边界分类背后的数学（选修） ....................................................................... 183
12.4 核函数 1............................................................................................................... 190
12.5 核函数 2............................................................................................................... 192
12.6 使用支持向量机 .................................................................................................. 194
第 8 周 .......................................................................................................................................... 197
13、 聚类(Clustering) .................................................................................................... 197
13.1 无监督学习：简介 .............................................................................................. 197
13.2 K-均值算法 ........................................................................................................... 200
13.3 优化目标 .............................................................................................................. 202
13.4 随机初始化 .......................................................................................................... 203
13.5 选择聚类数 .......................................................................................................... 204
14、 降维(Dimensionality Reduction) ........................................................................... 207
14.1 动机一：数据压缩 .............................................................................................. 207
14.2 动机二：数据可视化 .......................................................................................... 210
14.3 主成分分析问题 .................................................................................................. 211
14.4 主成分分析算法 .................................................................................................. 213
14.5 选择主成分的数量 .............................................................................................. 214
14.6 重建的压缩表示 .................................................................................................. 215
14.7 主成分分析法的应用建议 .................................................................................. 217
第 9 周 .......................................................................................................................................... 218
15、 异常检测(Anomaly Detection) ............................................................................. 218
15.1 问题的动机 .......................................................................................................... 218
15.2 高斯分布 .............................................................................................................. 220
15.3 算法...................................................................................................................... 221
15.4 开发和评价一个异常检测系统 .......................................................................... 223
15.5 异常检测与监督学习对比 .................................................................................. 224
15.6 选择特征 .............................................................................................................. 225
15.7 多元高斯分布（选修） ...................................................................................... 227
15.8 使用多元高斯分布进行异常检测（选修） ...................................................... 230
16、 推荐系统(Recommender Systems) ....................................................................... 233
16.1 问题形式化 .......................................................................................................... 233
16.2 基于内容的推荐系统 .......................................................................................... 235
16.3 协同过滤 .............................................................................................................. 237
16.4 协同过滤算法 ...................................................................................................... 239
16.5 向量化：低秩矩阵分解 ...................................................................................... 240
16.6 推行工作上的细节：均值归一化 ...................................................................... 242
第 10 周 ........................................................................................................................................ 243
17、 大规模机器学习(Large Scale Machine Learning) ................................................. 243
17.1 大型数据集的学习 .............................................................................................. 243
IV
17.2 随机梯度下降法 .................................................................................................. 244
17.3 小批量梯度下降 .................................................................................................. 245
17.4 随机梯度下降收敛 .............................................................................................. 246
17.5 在线学习 .............................................................................................................. 248
17.6 映射化简和数据并行 .......................................................................................... 250
18、 应用实例：图片文字识别(Application Example: Photo OCR) ............................ 251
18.1 问题描述和流程图 .............................................................................................. 251
18.2 滑动窗口 .............................................................................................................. 252
18.3 获取大量数据和人工数据 .................................................................................. 254
18.4 上限分析：哪部分管道的接下去做 .................................................................. 255
19、 总结(Conclusion) ................................................................................................... 256
19.1 总结和致谢 .......................................................................................................... 256
附件 .............................................................................................................................................. 258
CS229 机器学习课程复习材料-线性代数 .......................................................................... 258
1. 基础概念和符号 ...................................................................................................... 258
2. 矩阵乘法 .................................................................................................................. 259
3 运算和属性 ............................................................................................................... 263
4.矩阵微积分 ................................................................................................................ 276
CS229 机器学习课程复习材料-概率论 .............................................................................. 283
1. 概率的基本要素 ...................................................................................................... 283
2. 随机变量 .................................................................................................................. 284
3. 两个随机变量 .......................................................................................................... 290
4. 多个随机变量 .......................................................................................................... 294
5. 其他资源 .................................................................................................................. 298
机器学习的数学基础（国内教材） ................................................................................... 299
高等数学 ....................................................................................................................... 299
线性代数 ....................................................................................................................... 307
概率论和数理统计 ....................................................................................................... 317
评论