什么是凸函数? | Way To Machine Learning

# 什么是凸函数?

$f(x)$ 满足下面的关系就是凸的:

$f\left(\frac{x_{1}+x_{2}}{2}\right) \leq \frac{f\left(x_{1}\right)+f\left(x_{2}\right)}{2}$

sup是supremum单词的缩写，意思是最小上界。inf是单词infimum的简写，意思是最大下界。数学中，经常出现的表示方式是 lim sup 或者 lim inf，即找上界或者下界的极限。

sup{S}就是S的上确界，即S的所有上界组成的集合的最小元。

举例:

集合S=[0,1], sup{S} = 1, max{S} = 1;
集合S=[0,1), sup{S} = 1, max{S} 不存在。

揭示点线对偶的实际就是直线方程：

$ax + by = C$

可以写成( $f$ 是一个线性函数):

$f(x,y) = C$

为了更广泛地表示不同维度的情况，把 $x,y$ 写作 $\vec v$ :

$f(\vec v) = C$

之前提到的“点动成线”实际上就是 $\vec v$ 在变化:

线动成点”则是 $f$ 在变化:

我们可以认为:

$V=\vec{v_{1}}, \vec{v_{2}},\vec{v_{3}}, \cdots$

代表点，而

$V^{*}=f_{1}, f_{2}, f_{3}, \cdots$

代表线。认为 $V^{*}$ 是 $V$ 的对偶空间。

$f: \mathbb{N} \rightarrow \mathbb{N}$

表示: 函数 $f$ 的定义域是 $\mathbb{N}$ ,(自然数), 而陪域也是 $\mathbb{N}$

$f: x \mapsto x^{2}$

或者

$f(x) = x^2$

表示: 函数 $f$ 的输入是 $x$ ,而返回值是 $x^2$

$Dom(f)$ 或者 $Dom f$ 的意思是: 函数 $f$ 的定义域;
$Ran(f)$ 或者 $Ran f$ 的意思是: 函数 $f$ 的值域。

凸共轭也叫作Fenchel Conjugate, 不过名字什么的都不是那么重要啦。我们说每个凸函数 $f$ 都有一个伙伴 $f^*$ 。它是这样定义的:

$f^*(t) = \max _{x \in dom(f)}\{x t-f(x)\}$

先不要放弃，再坚持一会儿。举个例子，我们想要算 $f^*(t_1)$ 的值是多少, 我们是这样做的:

算个t时的凸共轭

带入 $t_1$ 到 $x t-f(x)$ 得到 $x t_1-f(x)$
穷举所有的 $x$ $x$ ,得到下面一组数:
- $x_1 t_1-f(x_1)$
- $x_2 t_1-f(x_2)$
- ...
- $x_n t_1-f(x_n)$
比较哪一组数最大(假设第一组数最大)
得到 $f^*(t_1) = x_1 t_1-f(x_1)$

对于 $t$ 取其他的值，重复上面的过程，取完所有的 $t$ 就得到了函数 $f^*(t)$ ;

用上的方式找到 $f^*(t)$ 貌似有些复杂，我们可以有更简单的方式找到 $f^*(t)$

一种求凸共轭函数更好的方法

疑问