说明：在matlab中开发的最速梯度法算例
说明：此代码包括牛顿法和梯度下降法的实现过程，最优化以及算法中常见的问题解决方式。
说明：共轭梯度法（Conjugate Gradient）是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。 在各...
说明：约束最优化方法－－最速下降法(也叫梯度法)，是人们用来求多个变量函数极值问题的最早的一种方法。
说明：最速下降法是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失...
说明：用matlab编的共轭梯度法源程序以及一个国外教材里的最速下降法matlab程序。