微积分备忘

[TOC]

级数

极限、序列的极限、函数的极限、连续

导数、偏导数、微分

设有定义域和取值都在实数域中的函数 y=f(x)。若 f(x) 在点 x0 的某个邻域内有定义,则当自变量 x 在 x0 处取得增量 Δx(点 x0+x 仍在该邻域内)时,相应地函数 y 取得增量 Δy=f(x0+Δx)-f(x)-f(x0);如果 Δy 与 Δx 之比当 Δx→0 时的极限存在,则称函数 y=f(x) 在点 y 与 Δx 之比当Δx→0 时的极限存在,则称函数 y=f(x) 在点 x0 处可导,并称这个极限为函数 y=f(x) 在点 x0 处的导数,记为 f’(x0),即:

微分也是一种线性描述函数在一点附近变化的方式。

微分和导数是两个不同的概念。但是,对一元函数来说,可微与可导是完全等价的。

可微的函数,其微分等于导数乘以自变量的微分dx,换句话说,函数的微分与自变量的微分之商等于该函数的导数。因此,导数也叫做微商。

函数y = f(x)的微分又可记作dy = f’(x)dx。 在数学中,一个多变量的函数的偏导数是它关于其中一个变量的导数,而保持其他变量恒定(相对于全导数,在其中所有变量都允许变化)。函数f关于变量x的偏导数写为 f’x 或者:。

  • 全导数
  • 偏导数:标量,函数在坐标轴上的变化率
  • 方向导数:标量,函数在特定方向上的变化率
  • 梯度:向量,既有大小(该点最大的方向导数),也有方向
  • 全微分

梯度、雅可比矩阵、海森矩阵

Gradient
梯度用于向量微积分(多元函数),即函数f在各个基的方向上的偏导数组成的向量。
Jacobian
对于值为标量的多变量的函数 f(x),我们使用梯度,但是如果是值为向量的多变量的函数(y为向量)怎么办呢?雅克比矩阵实际上是对于梯度的一种泛化。

记m为函数值的维度,记n为变量维度:

  • m = 1时,函数的雅克比矩阵就是梯度;
  • m = 1而且n=1时,函数的雅克比矩阵和梯度就是简单的导数。
Hessian
某种意义上说,梯度和雅克比矩阵都是一种一阶导数(二者针对的函数的值不同)。二阶导数是什么呢? 一个值为标量的多变量函数的梯度的雅克比矩阵就是二阶导数,也就是Hessian矩阵。

导数和泰勒展开

导数(Derivative)的概念非常基础,在优化理论中求极值一般都搭配泰勒公式使用。

derivative

可以看到当$h\to 0$时候,该直线的方向就是导数方向。

一般只用到二阶泰勒展开:

所谓的梯度下降,就是使用一阶泰勒展开,直接沿着梯度方向迭代求解f(x),当f(x)不变时,就求得了极值。

泰勒公式的意义

将复杂的函数近似表达成易于处理的多项式形式。

https://www.coursera.org/learn/single-variable-calculus

微分、偏微分

积分、定积分、不定积分