CNN-Study
Welcome file Ch3.深度学习基础 3.1.线性回归 3.1.1 线性回归的基本要素 模型：weight,bias 模型训练 训练数据；sample,label,feature 损失函数：loss function, square loss 优化算法：analytical solution, numerical solution, mini-batch stochastic gradient descent, learning rate, hyperparameter 模型预测 3.1.2 线性回归的表示方法 1.神经网络图：fully-connected layer, dense layer 2.矢量计算表达式： 广义上讲，当样本数据数为 n n n 时，特征数为 d d d 时，线性回归的矢量计算表达式为 y ^ = X w + b \hat{y}=Xw+b y ^ = Xw + b 设模型参数 θ = [ w 1 , w 2 , b ] T \theta=[w_1,w_2,b]^T θ = [ w 1 , w 2 , b ] T ，我们将损失函数重写为： l ( θ ) = 1 2 n ( y ^ − y ) T ( y ^ − y ) \mathcal{l}(\theta)=\frac{1}{2n}(\hat{y}-y)^T(\hat{y}-y) l ( θ ) = 2 n 1 ( y ^ − y ) T ( y ^ − y ) 小批量随机梯度下降的迭代步骤相应的改写为： θ ← θ − η ∣ B ∣ ∑ i ∈ B ∇ θ l ( i ) ( θ ) \theta \leftarrow \theta-\frac{\eta}{|\mathcal{B}|}\sum\limits_{i\in \mathcal{B}}\nabla_{\theta}\mathcal{l}^{(i)}(\theta) θ ← θ − ∣ B ∣ η i ∈ B ∑ ∇ θ l ( i ) ( θ ) 3.2.softmax回归 考虑如下问题： o 1 = x 1 w 11 + x 2 w 21 + x 3 w 31 + x 4 w 41 + b 1 o_1...