优化

本文简单讲解优化问题中的一些基本知识和技巧

什么是优化

凸优化

$$z = x^2 + y^2$$

Boyd

非凸优化

• Jacobian矩阵

• Hessian矩阵

  ​

$$y = x^3$$ $$z = 2xy$$

$$z = x^2 - y^2$$

Rosenbrock函数

$$z = 100 (y - x^2)^2 + (1 - x)^2$$

$$F = 7 + 2(x+y)^2 - ysiny - x^3$$

$$f = 2x^2 + 4xy + y^2$$

函数F和f来自于Gil Strang, “Linear Algebra and Its Applications”，对应函数具有一般形式

$$f(x,y) = ax^2 + 2bxy + cy^2$$

a,b,c之间存在特殊关系

$$z = x^4 - 2 x^2 + y^2$$

$$z = x^4 - y^4$$

monkey saddle

$$z = Re(x+iy)$$

that is,

$$z(x, y) = x^3 -3xy^2$$

鞍点问题

机器学习中的应用

Written on September 1st , 2017 by 李军