典型的，A一般为欧几里得空间中的子集，通常由一个A必须满足的约束等式或者不等式来规定。 A的元素被称为是可行解。函数f被称为目标函数，或者费用函数。一个最小化（或者最大化）目标函数的可行解被称为最优解。
一般情况下，会存在若干个局部的极小值或者极大值。局部极小值x * 定义为对于一些δ > 0，以及所有的x 满足
}-;
公式
成立。这就是说，在周围的一些闭球上，所有的函数值都大于或者等于在该点的函数值。一般的，求局部极小值是容易的，但是要确保其为全域性的最小值，则需要一些附加性的条件，例如，该函数必须是凸函数。