首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  程序员

请问各位怎么理解方差?

  •  
  •   JCZ2MkKb5S8ZX9pq · 360 天前 · 2065 次点击
    这是一个创建于 360 天前的主题,其中的信息可能已经有所发展或是发生改变。

    忽然脑子有点混,想讨论下。

    假设案例

    • 假设一个平台有 N 个主播,每个主播各自有一定地付费人数。
    • 这里想知道付费的分布情况,有没有集中在个别大土豪付费。
    • 但每个房间的付费情况差很多,直接用方差不大公平。同样的离散度付费大的方差大很多。

    所以我考虑的方法是这样的:

    • 先取平均值 avg
    • 计算每个付费 C 和 avg 的比例关系 P = C / avg
    • 用 P 来统计方差 sum((P-1)^2) / (N-1)

    然后有几个疑问

    • 方差和标准差有没有几何的解释?
    • 为什么是方差,而不是绝对值?比如 sum(abs(P-1)) / (N-1)
    • 如果把 avg 换成中间数会怎么样?
    • 如果增加数据维度,离散程度怎么算?

    PS

    一些代码就觉得自己数学底子差,不少公式查了都看不大懂。
    有什么补数学基础的东西可以看嘛?

    19 回复  |  直到 2018-10-22 18:04:23 +08:00
        1
    ryd994   360 天前 via Android   ♥ 2
        2
    Baymaxbowen   359 天前 via Android
    张宇的高等数学 36 讲
        3
    ytterbium   359 天前 via Android
    取绝对值是一阶范数。想做数据分析画箱线图是不是更好
        4
    ssynhtn   359 天前
    为什么是平方而不是绝对值, 为什么不用中值, 都是因为好算吧
        5
    byaiu   359 天前 via Android
    聚类可能比较方便
        6
    JCZ2MkKb5S8ZX9pq   359 天前
    @ssynhtn 我后来想想,绝对值和平方值的区别。
    其中一点是,平方值能 **放大远端的数据** 。
    但伴随的问题是,碰到小于 1 的时候,效果就反了。

    中值可能也是会影响结果。
    比如咱们 10 个码农和 1 个马云,计算财富方差。
    按中值的话就是 10 个码农的方差很小+1 个马云方差很大。
    按平均值的话,就是 10 个码农方差很大+1 个马云方差很大。
    在这个特例下,平均值求出来的,可能更接近期望结论。
        7
    yidinghe   359 天前 via Android
    简单的办法就是按照用户在房间内打赏的量倒排即可。
        8
    JCZ2MkKb5S8ZX9pq   359 天前
    @ryd994 第一次听说这词,不过其中几个方法倒是经常用到。
        9
    alixali   359 天前
    在这里的付费都是正值,有中位数和平均值,根据两个的数比较,也是大致可以判断分布的是不是有偏的,和对应偏离程度啊。
        10
    JCZ2MkKb5S8ZX9pq   359 天前
    @alixali 也是个思路 不过我也就是举例 主要问题还是怎么理解方差
        11
    alixali   359 天前
    我看统计上也只是说用来衡量分布的离散程度,或者是一个簇类的紧密程度吧,也不知道对不对。。
        12
    JCZ2MkKb5S8ZX9pq   359 天前
    而且如果是纯平方和,再开个根号,还能理解为多个维度中的距离。
    比如
    (x^2 + y^2)^0.5 = 二维平面原点到点的距离
    (x^2 + y^2 + z^2)^0.5 = 三维空间原点到点的距离
    这样可以扩展到 N。

    但除以 N 或 N-1 放在这里又很难解释。
    而且标准差直接开根号,等于对分母也开了根号,还是觉得有点别扭啊。
        13
    newton108   359 天前   ♥ 1
    几何意义:demean 之后标准差是这个 r.v. 在希伯特空间中的 norm.
    知道这个有啥用?
        14
    mingl0280   359 天前
    你这不就是搞了个标准分数做统计么……
        15
    enenaaa   359 天前
    概率论和数理统计
        16
    JCZ2MkKb5S8ZX9pq   359 天前
    @newton108 我有点晕 我查查哈
        17
    l00t   358 天前
    不理解,直接用。

    从小学第一次接触到方差的概念开始就没理解过。我也觉得绝对值就足够了,方差不知道有啥意义。
        18
    alixali   358 天前
    @JCZ2MkKb5S8ZX9pq 正好今天看到一个有关无偏估计的解释,这里用到 n-1 也可能是为了得到无偏的数值。实际上上面那个公式的是 n/n-1。
        19
    JCZ2MkKb5S8ZX9pq   358 天前
    @alixali 嗯 用 N-1 是爲了無偏 這點我理解
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2982 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 24ms · UTC 11:23 · PVG 19:23 · LAX 04:23 · JFK 07:23
    ♥ Do have faith in what you're doing.