说明：采用动量梯度下降算法训练 BP 网络。 采用贝叶斯正则化算法提高 BP 网络的推广能力。在本例中，我们采用两种训练方法，即 L-M 优化算法（trainlm）和贝叶斯正则化算法（trainbr），用以训练 BP 网络，使其能够拟合某一附加有白噪声的正弦样本数据。

BP 网络 贝叶斯正则化算法 L-M 优化算法 trainlm 贝叶斯正则化算法 trainbr 白噪声

说明：BP神经网络进行数据分类，是一种多层前馈神经网络，该网络的主要特点是信号前向传递，误差反向传播。运用梯度下降法。

pullu1e 前向传播 BP分类 梯度下降 前馈神经网络

说明：梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函...

说明：matlab经典算法的程序最速下降梯度法matlab程序

梯度下降 最速下降 Steepest descent-matlab gradient-descent

说明：用matlab编的共轭梯度法源程序以及一个国外教材里的最速下降法matlab程序。

daima-共轭梯度 共轭梯度 梯度法 共轭梯度法-matlab-程序 梯度

说明：matlab最优化程序包括 无约束一维极值问题 进退法 黄金分割法 斐波那契法 牛顿法基本牛顿法 全局牛顿法 割线法 抛物线法 三次插值法 可接受搜索法 Goidstein法 Wolfe.Powell法 单纯形搜索法 Powell法 最速下降法 共轭梯度法 牛顿法 修正牛顿法 拟牛顿法 信赖域法 ...

极值优化 梯度下降 约束-粒子群 最优乘子法 最优化算法

说明：matlab最优化程序包括 无约束一维极值问题 进退法 黄金分割法 斐波那契法 牛顿法基本牛顿法 全局牛顿法 割线法 抛物线法 三次插值法 可接受搜索法 Goidstein法 Wolfe.Powell法 单纯形搜索法 Powell法 最速下降法 共轭梯度法 牛顿法 修正牛顿法 拟牛顿法 信赖域法 ...

极值优化 梯度下降 约束-粒子群 最优乘子法 最优化算法

说明：非线性规划中的最陡下降法、BFGS方法和共轭梯度法matlab源程序（3－拟牛顿BFGS方法）.m

conjugate-gradient 拟牛顿法matlab BFGS法 拟牛顿法 最陡梯度法

说明：BP神经网络的matlab程序（动量梯度下降算法训练 、贝叶斯正则化算法）。

BP神经网络 bp正则化 动量BP ann-bp ANN

说明：采用随机梯度下降和牛顿法优化无约束优化问题，优化方法作业。运行demo，其中有说明。