11.jpg 独立同分布 Independent and identically distributed/i.i.d. 人工智能算法大全_AI算法

Independent and identically distributed基本概念:独立同分布

在概率论和统计学中,如果每个随机变量具有与其他随机变量相同的概率分布,并且所有随机变量都是相互独立的,则序列或其他随机变量集合是独立和同样分布的(i.d.或i i d或IID)。own通常缩写为ID。为了一致性,本文使用视觉上更干净的IID,而不是更流行的约定i.i.d。

注释IID在统计中特别常见,其中为了统计推断的目的,通常假定样本中的观察值是有效的IID。观测值是IID的假设(或要求)倾向于简化许多统计方法的基础数学(见数理统计和统计理论)。然而,在统计建模的实际应用中,假设可能或不可能是现实的。为了检验假设在给定数据集上的真实性,可以计算自相关,绘制滞后图或进行转折点测试。可交换随机变量的推广通常足够并且更容易满足。

这个假设在中心极限定理的经典形式中很重要,它指出具有有限方差的IID变量和(或平均)的概率分布接近正态分布。

IID假设经常出现在随机变量序列的上下文中。然后,“独立且完全分布”部分意味着序列中的元素独立于它之前的随机变量。这样,IID序列不同于马尔可夫序列,其中第n个随机变量的概率分布是序列中前一个随机变量(对于一阶马尔可夫序列)的函数。IID序列并不意味着样本空间或事件空间的所有元素的概率必须相同。[3]例如,重复掷骰子将产生IID序列,尽管结果有偏差。


Independent and identically distributed/i.i.d.

独立同分布independent and identically distributed (i.i.d.)

在概率统计理论中,如果变量序列或者其他随机变量有相同的概率分布,并且互相独立,那么这些随机变量是独立同分布。

随机变量X1和X2独立,是指X1的取值不影响X2的取值,X2的取值也不影响X1的取值.随机变量X1和X2同分布,意味着X1和X2具有相同的分布形状和相同的分布参数,对离散随机变量具有相同的分布律,对连续随机变量具有相同的概率密度函数,有着相同的分布函数,相同的期望、方差。反之,若随机变量X1和X2是同类型分布,且分布参数完全相同,则X1和X2完全一定同分布!

英文资料中写成i.i.d,iid或者IID。

如实验条件保持不变,一系列的抛硬币的正反面结果是独立同分布。


独立同分布基本定义

独立同分布independent and identically distributed (i.i.d.)

在概率统计理论中,指随机过程中,任何时刻的取值都为随机变量,如果这些随机变量服从同一分布,并且互相独立,那么这些随机变量是独立同分布。如果随机变量X1和X2独立,是指X1的取值不影响X2的取值,X2的取值也不影响X1的取值且随机变量X1和X2服从同一分布,这意味着X1和X2具有相同的分布形状和相同的分布参数,对离随机变量具有相同的分布律,对连续随机变量具有相同的概率密度函数,有着相同的分布函数,相同的期望、方差。如实验条件保持不变,一系列的抛硬币的正反面结果是独立同分布。 


独立同分布数据融合

数据融合也叫信息融合, 它通过融合中心处理从局部传感器发送过来的信息, 从而得到精确的系

  统状态估计。与单通道系统相比, 它的估计精度更高, 系统容错能力更强, 覆盖的时间和空间范围更

  广, 从而能有效地改善系统性能。并被广泛地应用于军事领域和民事领域。算机网络技术的普及推动了数据融合技术的发展。但由于无线网络系统本身所固有的特性, 如带宽能量受限、 多径和移动性等因素的影响, 数据包

  在传输过程中会遇到时滞、 丢包等问题, 严重影响系统性能。

受到目标系统自身运行特性的影响, 如不同的传感器对相同的目标对象进行数据采集时, 各传感器节点的量测噪声可能依赖于共同的被估计量, 而在传感器相对密集的地方会受到相同的环境因素影响, 系统会出现噪声相关现象。虽然分别针对随机时滞和噪声相关条件下数据融合估计问题的研究已经取得了上述丰富的研究成

  果,然而同时考虑 2 种情况共存时的最优融合理论研究还不够完善。本文作者进一步考虑随机时滞和量测相关同时存在的情况,基于低阶迭代正交变换的思想, 将量测方程经过等价改写去除噪声的相关性, 从而得到一组新的“伪量测” 方程, 然后结合卡尔曼滤波和信息滤波, 给出了一种最优的低维集中式融合估计方法。

考虑下面带有局部传感器的离散时间线性随机系统:

  x(k + 1) = Ax(k) + w(k) (1)

  y i (k) = C i x(k) + v i (k) i = 1, 2, …, N (2)

  式中,N 为传感器数量; x(k) ∈ R n 为状态向量;y i (k) ∈R m i (i = 1, 2, …, N) 为量测值; A, C i 为有相应维数的状态转移矩阵和量测矩阵, 且 (A, C i ) 可观, (A, Q 1/2 ) 可控。

系统初始状态值已知, 有 E{x(0)} = μ 0 ,E{[ x(0) - μ 0 ] [ x(0) - μ' 0 ] } = P 0 。

系统噪声 w(k) ∈ R n 和量测噪声 v i (k) ∈ R m i为零均值白噪声, 且满足如下的统计特性:

  E{w(k)w'(l)} = Q(k)δ kl (3)

  E{v i (k) v' j (l)} = R ij (k)δ kl (4)

  E{w k v' j (l)} = 0

式中, δ kl 为克罗内克函数 ;“'” 表示转置。由上式可知, 系统噪声和量测噪声互不相关, 但量测噪声自相

  关, 且不同传感器的量测噪声在同一时刻是互相关的。

本文中, 所有准时到达融合中心的量测值均存储在一 个 长 度 为 L 的 缓 存 器 中。如 果 量 测 值y i (t)(t = k - L +1, …, k) 在 k 时刻或之前没有到达融合中心, 那么就认为该量测值丢失, 这一过程用一个独立同分布的随机变量 γ i t, k 表示, 其数学表达如下:

  

  根据 γ i t, k 的定义, 如果 γ i t, k = 1, 则对于所有 l∈N 都有 γ i t, k+l = 1, 即如果 y i (t) 在 k 时刻或之前到达融合中心, 那么对于 k 之后的时刻它都是到达的。因此, 在 k 时刻存储在缓存器第 t + L - k 个时间槽

  的 y i(t)(t = k - L + 1, . . . , k) 可以表示成

  y i (t, k) = γ i t, k y i (t) = γ i t, k C i x(t) + γ i t, k v i (t) (7)

本文主要考虑系统同时受到量测时滞和相关噪声干扰下的融合估计问题。首先通过迭代正交变换的方法解除系统量测噪声之间的相关性, 同时用一个独立同分布的伯努利变量对数据传输的延时过程进行建模, 经过一系列变形得到系统的“伪量测” 模型。在此基础上, 结合缓存器, 卡尔曼滤波和信息滤波给出一种低维的集中式融合估计算法, 同时分析了本算法的稳定性。该算法在保证估计值为线性最优的同时有效避免了大矩阵的逆运算, 极大地降低了系统计算负担, 便于实时在线操作。未来工作将进一步考虑系统噪声和量测噪声互相关, 量测噪声多步自相关的情况。


参考资料:

考虑量测时滞和相关噪声的网络化数据融合-知网

i.i.d是什么意思-百度知道

Independent and identically distributed random variables-wikipedia