的确有些奇怪，R里并没有自带的求众数的函数的。

不过我们可以自己动手写一个。有两个常用方法。

方法一：自己定义一个函数。

FindMode <- function(x) {

    ux <- unique(x)

    ux[which.max(tabulate(match(x, ux)))]

}

注意这里返回的是字符型。

举个例子，比如s=c(1,2,1,1,2,3)的众数是1.

> FindMode(s)

返回"1"。 

输入的样本也可以是字符类型，比如s=c("China","USA","China","England")

> FindMode(s)

返回"China"。

注意：如果有多个元素出现的次数并列第一，那么它只将返回最早出现的那个，比如s=c("man","woman","woman","man")

> FindMode(s)

返回"man"。

方法二：直接使用下面的命令。

> s = c("China","USA","China","England")

> names(sort(-table(s)))[1]

返回"China".

R里的方差var是计算样本方差，也就是分母是n-1。这个不难，自己一试就发现了

> var(c(1,2,3))

[1] 1

当然也可以用Pearson $\rho$。

但是针对于有序分类变量，另外一个很适用的叫做Kendall $\tau$，也叫做肯达尔秩相关系数。与皮尔逊系数类似，肯达尔秩相关系数的范围也是-1到1。-1表示完全负相关，1表示完全正相关。公式为

$$\tau=2\frac{有序对的个数-逆序对的个数}{n(n-1)}$$

对于样本$A=\{a_1,a_2,\cdots, a_n\}$与样本$B=\{b_1,b_2,\cdots,b_n\}$。如果存在一对$(i,j)$，当$a_ i \lt a_j $时，$b_i \lt b_j$；或者当$a_i>a_j$时，$b_i\gt b_j$；这样的一对就称作有序对。反过来就是一个逆序对。

比如样本$A=\{1, 3, 5\}$，$B=\{4 , 6, 3\}$

有序对为

$a_1 < a_2$，$b_1 < b_2$

逆序对为

$a_1 < a_3$，$b_1 > b_3$

$a_2 < a_3$，$b_2 > b_3$

所以上面两个数列的Kendall $\tau$为

$$\tau=2\frac{1-2}{3\times2}=-\frac{1}{3}$$

PS，感谢s3040608090发现笔误，现在已经更正。

除了弼码温提到的Kendall $\tau$，另一个也许更常用的是Spearman秩相关系数，也称为Spearman $\rho$。

对于两组样本，先对它们取序。

$A=(1, 2, 5, 3, 7)$，$B=(2, 10, 50, 11, 20)$这两组数，取序之后的结果为

$A'=(1, 2, 4, 3, 5)$，$B'=(1, 2, 5, 3, 4)$，然后再对$A'$和$B'$求正常的皮尔逊相关系数

$$\frac{\text{Cov}(A', B')}{\sigma_{A'}\sigma_{B'}}$$

$A'$和$B'$的皮尔逊相关系数就是$A$和$B$的Spearman秩相关系数。

标准差(Standard Deviation)描述总体或者样本中数据的分散程度。

标准误(Standard Error)就是某个样本统计量的标准差。换句话，可以认为描述估计值和真实值的偏差程度。

比如说，你有一个样本（1，8，5，3，6，7，4，5，4，6）。

这个样本的标准差$\sigma=2.025$。

现在你要根据这个样本来估计总体的均值，均值的点估计是4.9。那么怎么衡量这个估计值和真实值的偏差程度呢？我们就需要用到标准误。因为这个样本的标准差是2.025，样本数量是10，那么标准误就是

$$SE=\frac{\sigma}{\sqrt{n}}=\frac{2.025}{\sqrt{10}}=0.6403.$$

可以考虑做bootstrap。

对$Y$有放回的抽样，抽出1000个，记为$Y_b$；对$A$有放回的抽样，抽出1000个，记为$A_b$；对B有放回的抽样，抽出1000个，记为$B_b$。

然后计算$Cor(Y_b,A_b)$和$Cor(Y_b,B_b)$。

重复$N$次。得到$N$个$Cor(Y_b,A_b)$和$N$个$Cor(Y_b,B_b)$。下面就是常规的单侧T检验了，可以得到你要的p value。

Ps. 题主有个概念弄错了，你这个情形下做假设检验，原假设应该是$Cor(Y,A) = Cor(Y,B)$，对立假设是$Cor(Y,A) > Cor(Y,B)$。

其实样本的方差就是服从卡方分布。

假设估计的方差是$s^2$，真实的方差是$\sigma^2$，样本数量是$n$。

$$(n-1)\frac{s^2}{\sigma^2}\sim \chi^2_{n-1}$$

所以方差的期望是$$\sigma^2$$

方差的方差是$$\frac{2\sigma^4}{n-1}$$

把两个物品的属性看成向量，那么这两个物品的余弦相似就是这两个向量夹角的余弦。

余弦的定义如下

$$\cos(\theta)=\frac{<A, B>}{|A||B|}$$

用你的例子的话就是

$$\cos(\theta)=\frac{2\times 1+ 3\times4+4\times 2}{\sqrt{2^2+3^2+4^2}\sqrt{1^2+4^2+2^2}}$$

余弦的取值范围是-1到1。若1，说明这两个物品极其相似；若-1就说明完全相反。

可以把它看作是逻辑回归，连续变量是自变量，二元变量是因变量，回归系数或者logloss都能反映出两个变量的相关性

Point-biserial相关系数，了解一下。

总体来说，其实它就是等价于皮尔逊系数的，直接用皮尔逊就好了。

有个蒙特卡洛加bootstrap的方法。用bootstrap（sample with replacement ）造N（比如10000）份新的sample，分别算出median  。再把这10000个median排序，第250和第9750的median区间就是（0.025，0.975）的median置信区间。

参考https://stats.stackexchange.com/questions/21103/confidence-interval-for-median

可以只考虑rank。

比如一共有$n$个数

第$\frac{n}{2}-\frac{1.96\sqrt{n}}{2}$个数作为0.95置信区间的下界

第$\frac{n+2}{2}+\frac{1.96\sqrt{n}}{2}$个数作为0.95置信区间的上界

均值的置信区间可以求是因为中心极限定理。中位数有类似的定理存在吗？如果没有的话我想可以观察一下你研究的总体样本中位数的分布，然后求出方差计算置信区间。

Suppose likelihood is $L(X; \theta)$, log likelihood is $l(X; \theta)$, then

(1) Fisher Information is second moment (and variance) of the gradient of log likelihood

Fisher information $I(\theta)= \mathbb{E}[(\frac{\mathrm{d}l}{\mathrm{d}\theta})^2| \theta]  = Var(\frac{\mathrm{d}l}{\mathrm{d}\tilde{\theta}}| \theta)$

since $\mathbb{E}(\frac{\mathrm{d}l}{\mathrm{d}\theta}| \theta)=0$ (Proof)

(2) Fisher information is related to asymptotic distribution of MLE $\hat{\theta}_{MLE}$

By CLT and slutsky theorem, we can conclude that $$\sqrt{n}(\hat{\theta}_{MLE}-\theta) \overset{p}{\to} N(0, I(\theta)^{-1})$$

Applications: Cramer Rao Bound

Under regularity conditions, the variance of any unbiased estimator ${\hat{\theta }}$ of  $\theta$  is then bounded by inverse of Fisher information $I(\theta)$ with 

$$Var(\hat{\theta}) \geq \frac{1}{I(\theta)}$$

Note that this CR lower bound is just a "theoretical" lower bound, which means that it may not be applicable (i.e. fail to satisfy regularity conditions) or attainable (can't reach lower bound)

e.g.

CR applicable but not attainable for estimating $\sigma^2$ when $X \overset{i.i.d} \sim N(\mu, \sigma^2)$ since $var(s^2)= \frac{2\sigma^4}{n-1} > \frac{2\sigma^4}{n} = $CR bound.

Reference: 

Sinho Chewi's Theoretical Statistics Note

Fisher Information

首先，我们先看看方差的计算公式

$$\text{Var}(X) = \frac{\sum_{i=1}^n(X_i-\mu)^2}{n}$$

其中$\mu$是这个总体的真实均值。但是往往$\mu$是未知的，所以我们用样本均值$\bar X$来代替$\mu$，也就是

$$S_* = \frac{\sum_{i=1}^n(X_i-\bar X)^2}{n}$$

那么这个$S_*$是正确的估计吗？我们可以计算$S_*$的期望来对比一下$\text{Var}(X)$。

$$\begin{eqnarray}\mathbb{E}(S_*)&=&\mathbb{E}\left(\frac{\sum_{i=1}^n(X_i-\bar X)^2}{n}\right)\nonumber\\&=&\mathbb{E}\left(\frac{\sum_{i=1}^n(X_i-\mu + \mu -\bar X)^2}{n}\right)\nonumber\\&=&\mathbb{E}\left(\frac{\sum_{i=1}^n(X_i-\mu)^2}{n}+\frac{\sum_{i=1}^n2(X_i-\mu)(\mu - \bar X)}{n}+\frac{\sum_{i=1}^n(\mu-\bar X)^2}{n}\right)\nonumber \\&=&\text{Var}(X) + \mathbb{E}\left(\frac{\sum_{i=1}^n2(X_i-\mu)(\mu -\bar X)}{n}+\frac{\sum_{i=1}^n(\mu-\bar X)^2}{n}\right)\nonumber\\&=&\text{Var}(X) + \mathbb{E}\left(-2(\bar X-\mu)^2+(\bar X -\mu)^2\right)\nonumber \\&=&\text{Var}(X) -\mathbb{E}\left((\bar X-\mu)^2\right)\nonumber \\&=&\text{Var}(X) - \text{Var}(\bar X)\nonumber \\ &=&\text{Var}(X) - \frac{1}{n}\text{Var}(X)\nonumber \\ &=&\frac{n-1}{n}\text{Var}(X)\end{eqnarray}$$

所以

$$\text{Var}(X) = \frac{n}{n-1}\mathbb{E}(S_*)=\frac{\sum_{i=1}^n(X_i-\bar X)}{n-1}$$

在kidd23公式中$E(S_\star)=Var(X)-Var(\bar{X})$，也就是样本方差$E(S_\star)$等于总体方差$Var(X)$减样本均值的方差$Var(\bar{X})$。这公式说的是：求总体方差时默认条件是知道总体均值$\mu$。如果用样本均值去估计总体均值，对总体方差的估计是有偏差的，偏差是样本均值的方差$Var(\bar{X})$。需要做Bessel's correction去修正偏差，让偏差的期望等于0。

这个是Bessel's Correction

把总体方差的公式乘以$\frac{n}{n-1}$就得到了样本方差

用样本均值代替总体均值，自由度会减1，所以分母是n-1。

协方差的秩是独立变量的个数。比如有n个独立变量，再把所有变量的和作为n+1个变量。协方差矩阵是（n+1）x（n+1），但是秩只有n。

-----------------------------------------------------------------

数据矩阵$X$是mxn，m是数据点个数，n是数据维度。当不知道每个维度的均值，用采样均值代替总体均值时，去均值后的数据

$Z=\begin{bmatrix}1-1/m& -1/m& ... & -1/m \\-1/m& 1-1/m& ... & -1/m \\... & ... & ... \\-1/m & -1/m &... & 1-1/m \end{bmatrix}X=RX$

其中$R$是mxm的去均值矩阵,$rank(R)=m-1$。

$Cov(X)=Z^TZ$

$rank(Cov(X))=rank(Z^TZ)=rank(Z)=\min(rank(R),rank(X))=\min(m-1,rank(X))$

两个因素会决定协方差的秩：1.数据点个数m-1；2. 数据中独立变量个数rank(X)。

所以两种情况协方差矩阵不是满秩：

1.数据太少，$m-1<n$

2.数据中有非独立变量，$rank(X)$

n x n的协方差矩阵的秩最大为n - 1

Median Absolute Deviation（MAD）是样本到中位数的距离的中位数

$$\text{MAD}=\text{median}(|x_1-m|, |x_2-m|, \cdots, |x_n-m|)$$

其中$m=\text{median}(x_1,x_2,\cdots, x_n)$

自相关（autocorrelation）就是自己和自己的相关性。

比如说有一个序列$X=[1, 2, 4, 6, 8, 10, 12]$。

相位差为1，就是比较序列$[1, 2, 4, 6, 8, 10]$和$[2, 4, 6, 8, 10, 12]$，其自相关系数一般表示为$R_1$

相位差为2，就是比较序列$[1, 2, 4, 6, 8]$和$[4, 6, 8, 10, 12]$，其自相关系数一般表示为$R_2$

相位差为3，就是比较序列$[1, 2, 4, 6]$和$[6, 8, 10, 12]$，其自相关系数一般表示为$R_3$

具体计算公式为

$$R_k=\frac{\sum_{i=1}^{n-k}(X_i-\bar X)(X_{i+k}-\bar X)}{\sum_{i=1}^n(X_i-\bar X)^2}$$

和皮尔逊相关系数类似，也是从-1到1的。

我理解是理所当然吧。

先看协方差矩阵的定义：

实际生活中，针对已有样本计算协方差矩阵时，必须先中心化，再计算$XX^T$，只不过是协方差矩阵的定义拆成两步计算。

这个p value对应的null hypothesis是数组a和b的相关系数为0。

p value服从$n-2$的t分布，$n$是数组a的样本个数，$r$是a和b的相关系数，p value对应的t-score的计算公式

$$t=r\sqrt{\frac{n-2}{1-r^2}}$$

然后查t分布的表就可以得到p value了。

有兴趣的话可以阅读http://janda.org/c10/Lectures/topic06/L24-significanceR.htm

类似问题对两个相关系数做显著性的假设检验？

参考这篇文章：https://segmentfault.com/a/1190000007626742

F-test可以检验方差是否相等

IQR是interquartile range的缩写，中文叫四分位距。对于一组样本，我们计算出第一四分位数$Q_1$以及第三四分位数$Q_3$，IQR就是它们的差

$$\text{IQR}=Q_3-Q_1$$

IQR是四分位距离，就是第三四分位$q_3$和第一四分位$q_1$的差。

我们经常用IQR做离群点排除，比如小于$q_1-1.5IQR$的数或者大于$q_3+1.5IQR$的数就被认为是离群点。

这是两个方面的问题。一个是数据的单位。另一个是颜色距离的定义。

1.比较的单位是像素，直方图还是均值。如果两个图片能做对齐（registration），可以比较像素；如果两图片在空间上不相关，像素的位置没有相关性，可比较直方图（直方图的比较）；更简化的是只比较均值。

2.颜色空间的定义，可以是RGB，更精确的是CIE delta E（因为人眼对RGB的敏感程度并不一样）。选定颜色空间后，距离可用欧式距离。更多距离的选择 可参考Statistical_distance。

根据你的描述，可以先尝试计算两组RGB直方图的距离和。

每个图像都有RGB的直方图，可以得到RGB直方图的拟合线，然后对拟合线做聚类

下面几种情况下，字符串1和字符串2的Damerau Levenshtein距离是1:

     1）对字符串1插入一个字符得到字符串2；

     2）对字符串1删除一个字符得到字符串2；

     3）替换字符串1中的一个字符，得到字符串2；

     4）交换字符串1中相邻的两个字符，得到字符串2。

比如说，'abc'和'ab'的Damerau Levenshtein距离是1；'abc'和'bbc'的Damerau Levenshtein距离是1；'abc'和'bac'的Damerau Levenshtein距离是1。

具体的公式可以参考维基百科Damerau–Levenshtein距离

可以用Kendall $\tau$，也可以用Spearman $\rho$。

这个问题有序分类变量的相关系数里有详细介绍。

首先假设A和B都是高斯分布。通过置信区间求高斯分布的均值和方差。$\mu_A=(a1+a2)/2$，$\sigma_A=(\mu_A-a1)/1.96$，其中$1.96=Z_{0.95}$。

令$C=A+B$,两个高斯的和还是高斯。$\mu_C=\mu_A+\mu_B$,${\sigma_C}^2={\sigma_A}^2+{\sigma_B}^2$。

C的置信区间是$[\mu_C-1.96\sigma_C, \mu_C+1.96\sigma_C]$

最后可以化简为[a1 a2 b1 b2]的公式。

算spearman相关系数，先计算两组数$X，Y$排序，得到$rank_X,rank_Y$，然后再计算pearson相关系数。

排序的计算复杂度是$\mathcal{O}(n\log{}n)$，算pearson相关系数的计算复杂度是$\mathcal{O}(n)$。所以spearman相关系数的计算复杂度主要受排序的影响，效率低点。

协方差矩阵的定义为

$$\Sigma = \text{E}((X-\mu)(X-\mu)^T)$$

显然$\Sigma$是对称的，下面只要证明对于任意的非零向量$u$，

$$u\Sigma u^T\geq 0$$

把上面的定义代入，

$$u\Sigma u^T=u\text{E}((X-\mu)(X-\mu)^T)u^T=\text{E}((u(X-\mu))((u(X-\mu))^T))=\text{E}((u(X-\mu))^2)\geq 0$$

一个数的平方的期望当然是非负的

所以协方差是半正定

首先协方差矩阵是对称矩阵。即A^T  = A   

所以X^TAX 展开之后的形式是平方和形式，是大于等于0的，所以协方差矩阵是半正定的。

今年3月和今年2月份比较，这个是环比。

今年3月和去年3月比较，这个是同比。

衡量时间序列的平稳性，可以做单根检验

衡量波动程度，可以看方差

可以画图

可以做一元线性回归，然后看残差的方差

简单地理解就是：自变量是数据里的X，因变量是数据里的Y。

机器学习里自变量一般叫做特征(feature)，因变量叫做目标变量(target, target variable)

自变量：Independent Variable，或者IV，就是自身变化不依赖其他变量的变量。

因变量：Dependent Variable，或者DV，就是本身的变化是因为其他变量的变化导致的。

在统计模型里，通常是$\text{DV}=\phi(\text{IV})$，$\phi$是因变量和自变量的关系。

我们可以根据数据来训练（学习）出$\phi$。在机器学习里IV就是特征，DV就是目标值或者分类标签。

有一簇点，但是其中有两个离群点（噪音）。你觉得下面的图里是红色（均值）更能代表这一簇的整体，还是黄色的点（中位数）更能代表整体？

显然中位数并没有收到噪音的影响。

这里稳健（robust）的定义是数据点较少时，统计值（mean或meidan）的估计受outlier影响小。

用最大似然估计，mean unbiased estimator是求MSE（L2norm，Gaussian distribution）最小值。median-unbiased estimator是求absolute-deviation（L1norm， Laplace distribution）最小值。

$$\mu=\text{argmin}_{\mu}(\sum |x_i-\mu|_2^2)$$

$$median=\text{argmin}_{median}(\sum |x_i-median|)$$

可以看到求期望时，outlier影响是平方关系，而求中位数时，outlier影响是线性关系。所以中位数能减小outlier的影响。

--------------------------------------------------------------------

一个题外话，当数据点很多，且数据满足高斯分布，此时不需要考虑稳健问题，反而是sample mean比sample median更精确，估计的方差更小。参考这里最后公式。

其中$2m+1$是数据点个数。

中位数比平均数更稳健，所以我们有时候用MAE作为目标函数比MSE更稳健。因为MAE相当于是去拟合中位数，而MSE是去拟合平均数。

没有影响的，直接按照普通的连续变量的置信区间来算

ANOVA的确是为了比较各个组的均值。

ANOVA需要计算两个部分：(1)组间方差；(2)组内方差

假设各个组之间的均值一样，那么“平均”组间方差和“平均”组内方差应该是比较接近的。F值就是根据两者的比值定义的。如果F值很大，说明假设不成立。所以ANOVA是在分析方差，但是可以用来比较各组的均值。

自相关性，参考这里

此外还有平稳性，周期性，递增性等等

同问

p值越小，说明收到随机波动的影响越小，统计显著性越强，越能代表本质的差异。

https://www.zhihu.com/question/23149768