前语
本篇首要学习下线代中向量与矩阵相关的常识，包含多维向量内积与机器学习中递推的联系，矩阵的根底概念和核算等；在书中也只说到与机器学习有相关的根底常识点，全体难度不算高；
正文
向量的界说
假定现在有两个点 A和B，那么 A->B 便是一个 有方位 （A的方位） 有方向 （A指向B的方向） 有巨细 （AB线段的长度）的向量
一个向量能够由如下三种方法表达
坐标表明
假如咱们树立一个直角坐标系，把A点移动到坐标原点，B点相对A点的方位不变，那么B点的坐标就能够看作是向量 A->B 的坐标表明
也能够把这个界说推行到三维乃至N维直角坐标系上，下图表明 A(1, 1, 1) 向量
向量的巨细
向量的巨细用 |a| 表明，与绝对值符号相同
向量的巨细即向量的长度，经过直角坐标系能够很便利的了解，比方 a = (3, 4)，依据勾股定理，该向量的巨细便是 5
再推行到三维，a = (1, 2, 2)，那么向量 a 的巨细便是：
向量内积
向量的内积界说为两个向量的巨细乘以向量夹角的 cos
a和b，只需有一个为0，那么内积便是0
同理，这种解法也适用于三维向量
柯西不等式
由于恣意的θ都会另 -1 < cos(θ) < 1，所以很简单推出下面的不等式
结合这个不等式，能够得到如下三种状况
- 两个向量方向相反时，内积最小
- 两个向量方向相同是，内积最大
- 两个向量方向夹脚在 0 ~ 180° 时，内积巨细会从最大到最小
书中特意说到，第一条性质（两个向量方向相反时，内积最小） 是日后梯度下降法的基本原理
内积的坐标表明
仍是首先以二维直角坐标系为例，内积能够以坐标的方式进行核算
三维向量相同有这样的性质
多维向量一般化（要点）
关于推导，我也尝试用我撇脚的数学推算过，算了一两页纸发现越算越杂乱，推不出来，找了个别人的推导进程，有爱好的能够研讨下
看到这个向量内积公式，有没有想到之前说到的神经单元的加权输入：
就能够体现为两个向量的内积加上偏置，向量 w = (w1, w2, w3, w4, …)，x = (x1, x2, x3, x4, …)，即：
矩阵的界说
矩阵是数的阵列，横排为行，竖排为列，行数与列数相同称为 方阵 （类比正方形）
以及如下图X,Y所示的 行向量和列向量
能够界说一个 m行n列的向量，第 i 行 j 列的元素用 aij 表明，
单位矩阵
单位矩阵是一个特别的矩阵，矩阵的斜对角线元素(aii)都是1，其他元素都是0
矩阵的运算
矩阵比较、和差常数积
A和B持平的意义是两个矩阵对应的元素包含行数列数彻底持平
两个矩阵的和、差、常数倍都契合四则运算，和与差都是相同方位的元素直接进行加减，常数倍的乘法直接乘到对应的元素中去，如下：
矩阵乘积（要点）
把 向量A的i行 看作行向量， 向量B的j列 看作列向量， 其内积 作为成果的 i行j列 的元素
比方，两个向量乘积核算进程如下：
哈达玛积
Hadamard积适用于两个相同形状的矩阵，符号的意义是相同行数相同列数的数相乘，作为新矩阵对应函数和列数的值
下图体现了哈达玛积的核算进程，很直观
转置矩阵
转置矩阵是将矩阵A的i行j列的元素转换为新矩阵的j行i列，转置矩阵在原矩阵左上角加上一个小t表明
总结
本片博客首要介绍向量和矩阵的根底常识，其间多维向量内积与神经单元加权输入的联系（w = (w1, w2, w3, w4, …)，b = (x1, x2, x3, x4, …)，则 z = w*x + b）以及矩阵的乘积核算（i行j列 = A的i行向量与B的j列向量内积）是要点。
