参考资料

在求解高维问题时，Hessian矩阵的逆矩阵计算之所以会很繁琐，主要原因如下：

1. 计算复杂度高：Hessian矩阵的逆矩阵计算复杂度为O(n^3)，其中n是问题的维度。在大数据时代，n通常达到千万以上，导致n^3的计算代价过大。

2. 存储空间需求大：对于一个n×n的Hessian矩阵，需要O(n^2)的存储空间。在高维问题中，随着n的增加，所需的存储空间迅速增长。

3. 数值稳定性问题：在实际计算中，Hessian矩阵可能不是正定的，这会导致求逆过程中出现数值稳定性问题。

4. 计算成本高昂：每次迭代都需要重新计算Hessian矩阵及其逆矩阵，对于高维问题，这种计算成本非常高昂。

为了解决这些问题，研究者们提出了一些方法，如使用拟牛顿算法通过一个正定矩阵来近似代替Hessian矩阵的逆矩阵，从而降低运算复杂度。此外，还有通过外积近似来高效计算Hessian矩阵的逆的方法。

引用来源：

• 高精度Hessian逆矩阵秩1修正: 算法优化与实践 - CSDN博客
• 机器学习与运筹优化（三）从牛顿法到l-bfgs - 知乎
• 【傻瓜攻略】深度学习之海森矩阵（九） - Csdn博客
• Hessian矩阵的逆 · prml - mqshen.gitbooks.io
• [AI随记 - 0.1]从梯度下降到Hessian-Free优化 - 知乎