Chapter 5 概率密度 Probability Density
这一章的重点内容是正态分布与联合分布
连续随机变量和概率密度函数
对于区间 ，分成 个区间，每个区间长度都是 ，第 个区间的高度记作 ，一段小区间的概率就是这段的面积。这个 就是概率密度函数。 如果 足够小，那么 就是一个光滑的函数图。整个的面积 。 所以，
由于是连续的，所以对于一个 单独的点上的概率，是零，因为线的面积是零。于是：。 这个叫做 概率密度函数（probability density function），也可以叫做概率密度，满足：
- ,
- 它的累积分布函数 ，显然满足：
- 定义式：
- 一段上的概率：
- 导数：，因为「先积分再求导就是函数本身」 例子 5.2（课本 5.3），为啥
期望和方差
定义期望
，定义方差
，依然满足「平方的期望减去期望的平方」。
回顾：分部积分
，可以简写成
LIATE
按照以下优先级顺序，从上往下依次选择 ，从下往上选择 ：
- 对数函数， 等
- 反三角函数， 等
- 幂函数（代数函数），, 等
- 三角函数， 等
- 指数函数， 等
正态分布 normal distribution（在 上取值）
定义正态分布表达式：
，其中的 和 分别表示期望和方差，但是这里的计算（积分）不做要求。 根据图像可以得知，正态分布图像是以 为对称轴，左右对称的。
标准正态分布（在 上取值）
期望是零、方差是一 的正态分布叫做 标准正态分布（standard normal distribution）：
，它的积分也不做要求。 （标准正态分布习惯上喜欢用字母 代替 ），它的概率密度函数（Excel 可以算）是：
关于分位点
的点就是 ，即 ，在 Excel 当中可以用 NORM.S.INV() 计算。 换句话说， 表示，横坐标 之后的部分的面积是 .，，，这三个分位点在数据分析和假设检验等领域很常用。
正态分布转化到标准正态分布
对于一个普通正态分布函数，先平移 个单位，期望就从 变成 了；再伸缩到 ，标准差就从 变成 了，于是它变成了一个标准正态分布函数。 因此，如果 满足正态分布，那么 就满足标准正态分布。 于是，对于正态分布：
，也就是说所有正态分布都可以转化成标准的正态分布再进行计算。
用实数正态分布逼近整数正态分布
在图中用 表示。因此：
用正态分布近似计算二项分布
棣莫弗-拉普拉斯中心极限定理 de Moivre-Laplace Central Limit Theorem
之前已经用泊松分布进行过近似计算。 若随机变量 服从参数是 和 的二项分布，且 很大，那么组合数和阶乘很难算。此时的 跟正态分布长得很像。 
于是只要 足够大，那么
将会满足标准正态分布。按照规律经验，当 与 均 ，则可以用标准正态分布进行估算二项分布。 由于二项分布当中的 都是整数，所以这里要注意 的问题。
对数正态分布 log-normal distribution（在 上取值）
，其中 是 的均值， 是 的标准差。这个式子里面多了个奇怪的 ，这其实是 的导数。根据某个定理，变换的时候必须要乘上这个导数。 助教课：若某一个变量 ，经过对数变换 之后，假如 服从正态分布即 ，那么就说 服从对数正态分布。 若 服从对数正态分布，那么 就服从正态分布，从而 可以经过变换变成服从标准正态分布。因此对数正态分布的计算也可以转化成标准正态分布的计算
的期望和标准差分别是 , ，对于 是：
- 期望：
- 方差：
均匀分布 uniform distribution（在 上取值）
均匀分布有两个参数 ，，它的概率密度函数是
。均值是 ，方差是 。 
伽马分布 Gamma Distribution（在 上取值）
定义伽马分布（取值只能是正的）：
，其中 是伽马函数的值，定义为：
伽马函数性质
当 ，有
，这个性质可以用 推导。 另外，由于
，因此当 是正整数的时候，伽马函数表示阶乘，容易得到：
。顺带一提，。
伽马分布的期望与方差
- 期望：
- 方差：
指数分布
当 ，伽马分布就变成了一个 指数分布（exponential distribution） 的形式：
二级结论：关于泊松过程与指数分布
先回顾一下，泊松分布的式子是：，泊松过程是 即 。 若在一个泊松过程当中，单位时间内的发生次数是 ，那么，相邻两次发生之间的 间隔时间，服从参数 的指数分布。代入指数分布的式子，得到
例题 5.13
假如每个小时平均会有三辆卡车到仓库卸货。求：
- 连续两辆车到达之间的间隔时间，少于 5min 的概率
- 连续两辆车到达之间的间隔时间，不少于 45min 的概率
方法一：用泊松过程计算
- 此时 。题目要求间隔时间小于 5min，那 5min 内再来 1 个、2 个、3 个…只要不是零个，都行。所以答案就是 1 减去 0 个来的概率
- 此时 。题目要求间隔时间至少 45min，那 45min 内一个都不能来，只能是零个，所以答案是
方法二：用指数分布计算
贝塔分布 Beta Distribution（在 上取值）
定义贝塔分布
，期望方差分别是
。
韦伯分布 Weibull distribution（在 上取值）
，它的累积分布函数是
，它的期望和方差分别是
，表示寿命或生存时间的时候，有可能用到韦伯分布，具体例子参考课件 example 5.15。
联合分布 joint distribution
关于两个变量联合起来。 先考虑 离散 的随机变量 ，那么 的值，服从联合分布。
边际分布 marginal probability distribution
对于 离散 的变量，就是表格求和。形式化的说：
，也就是固定 ，遍历 求和。 如果变量是 连续 的，那就把求和换成积分：
。注意求和的是 还是 。
概率密度函数
定义 表示单点的概率密度函数，那么一个区间上的密度函数呢？ , ，那么这个范围上的密度函数是：
。大写的累积分布函数，就是无穷到 范围上的密度函数：
二重积分的计算
二重积分的常用方法是，降维到一重积分。关键是考虑二重积分的区域（底面）。底面假如是矩形区域，那就比较简单，如果不是矩形，那就复杂一点。 假如，底面是，直角边贴着或垂直于 轴、斜边是 的直角边长度为 的等腰直角三角形：
。其中，，，积分符号的上标下标就是对应变量的范围。这样是先积了 再积 ，也可以反过来：
对于底面是圆 的情况，
。其中，，，积分符号的上标和下标还是对应变量的范围。由于极佳的对称性，反过来也一样：
注意，计算关于 的积分的时候，要把 当作常量。计算关于 的积分的时候， 当作常量。老师说考试的题目也就是个矩形的难度。
条件概率（判断独立）
对于 离散 的，若 ，那么就意味着这个条件概率跟 无关，即 ，于是，两个随机变量是独立的。注意，以上两个式子，都需要满足对于所有的 ，才能得到结论。 对于 连续 的， 则独立。但是这个式子也能化简成 ，也就是联合概率密度等于两个对应的边缘密度。 总结起来说，无论是离散的还是连续的，判断独立，公式可以用一样的：
条件概率密度 conditional probability density
定义：
表示 条件下 的概率，其中边缘概率
期望
对于离散的，，对于连续的，就换成积分 。 扩展一下。如果现在考虑一个离散的 的函数 ，那么
，注意求和好里面是 函数，而概率密度那里不是 而是 。如果连续就类比换积分。
二元函数的期望
对于离散：
，连续换积分形式。
期望的线性性与方差的性质
- 对于 ，当 ，则根据期望的线性性，任意时刻有
。当它们 独立 的时候，还有
，这个式子的意义在于，独立的时候，期望增加到 倍，方差没有变成 倍而是 倍，也就是标准差只变成了 倍，也就是降低了风险。所以买股票的时候，五万块钱分成五份买五个不同行业的，相比五万块钱全都投给同一个，风险更低。 还有一个意义：为什么要多次测量取平均值？每次测量都是独立的，服从相同的分布（例题 5.29），那么测量 次，期望不变，方差会变成 。 当 独立，那么：
- 的期望是 ，方差是
- 的期望是 ，方差是 也就是说：
- ，不管前面是啥，后面一律是加
推论
对于独立同分布的随机变量（简单样本），若总体的平均值是 ，方差是 ，那么 对于这个样本 来说：
- 平均值
- 方差
协方差 covariance
定义：协方差（也可记为 ）
。当 与 是独立的的时候，它们的协方差就是 。（但如果协方差是 ，不一定独立，比如： 的协方差是 ，这个有点复杂，暂不关注）。 方差可以是平方的期望减去期望的平方，协方差也可以是「乘积的期望减去期望的乘积」：
协方差越大，线性相关性越小。