作者locka (locka)
看板Statistics
标题[问题] glm deviance 解读问题请益
时间Tue Dec 22 13:17:39 2015
大家好,第一次在贵版发言,不符规定再请告知><"
最近学到 glm,想要请教有关解读 glm 中 deviance 以及 degree of freedom 的问题。
=============以下正文开始===========
例如说我有一个 model 叫 glm.1,其方程式为 logit(y)~x
summary report:
Null deviance 为 45.33 on 17 degrees of freedom
Residual deviance 为 12.06 on 16 degrees of freedom
比较以下两个 test (皆以 R 程式码呈现):
1. 想要检定此 model 好不好 -- Deviance Goodness-of-fit test
直接代入 glm.1 的 Residual deviance & df (12.06 & 16):
> 1 - pchisq(glm.1$deviance, glm.1$df.residual)
[1] 0.7398392
因为不能拒绝 h0(这个 model 是好的),所以结论是
There's no evidence that the model is inadequent.
2. 想要比较这个 model,是否比 null model 好(更显着) -- Drop-in-deviance test
代入两者 deviance & df 的差:
> 1 - pchsq(glm.1$null.deviance-glm.1$deviance, df=1)
[1] 8.021055e-09
此时拒绝 h0(两个 model 没差),代表加入 x 变数的确比 null model 更有解释力。
想要问的问题是:
两个不同的 test 却以用同样的方式检定,其各自的意义要怎麽解读才正确?
==========以下是我自己的想法==========
我自己的想法是,1-pchisq(mean,df) 的意思是用来检查,
在给定 mean=12.06 & df=16 的情况下,该样本服从卡方分配的机率。
所以第一个 test 做出来结果代表 deviance 这个检定量服从卡方分配的机率很大,
又因为 glm 中假设 deviance 在大样本情况下会服从卡方分配,
所以认为这个 model 是 ok 的。
延续以上的想法到第二个test,把两个 model 的 deviance & df 的差代入
变成讨论当 mean=33.27(45.33-12.06), df=1(17-16)时,
这样的样本会服从卡方分配的机率。
那为什麽算出来机率很小,代表意义却是 glm.1 的 x 很显着呢???
到这里就卡住了......好像说不通....
会不会是我一开始的想法就有问题了呢?
已经卡关几天了,自己一直想不通,上来po文恳请指点、互相讨论!
感谢耐心看完,谢谢大家~
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 223.140.122.96
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Statistics/M.1450761462.A.146.html
1F:→ andrew43: 你把deviance想像成残差,越大就是模型越不准。 12/22 20:23
2F:→ andrew43: 所以x可以让deviance明显变小,即所谓显着. 12/22 20:24
3F:→ andrew43: 另外也注意一下该p-value所对应的H0是什麽。 12/22 20:26
谢谢andrew大!!经提点我有发现到drop-in-deviance test的H0是:两个model没差
所以当p-value很小时表示拒绝H0 (也就是加入x变数的确是有解释力的)
只是我不了解的点是,为什麽在数学上,drop-in-deviance跟goodness-of-fit两种检定
会是用同样的算法,总觉得应该不是巧合...(看来我还需要再多啃一点书 哈哈)
※ 编辑: locka (114.136.215.224), 12/24/2015 00:20:07
4F:→ andrew43: 可以参考维基百科 Likelihood-ratio test 条目。 12/24 01:56
5F:→ andrew43: 至於怎麽证明它服从卡方分配,就有请高手指点了。 12/24 01:58
6F:→ celestialgod: 维基 Distribution: Wilks's theorem 可以看看 12/24 02:05
7F:→ celestialgod: 根据该理论,likelihood ratio会渐进卡方 12/24 02:05
8F:→ celestialgod: 原PO要注意一下 是"渐进"卡方分配 12/24 02:06
9F:→ celestialgod: A大说 服从卡方分配这个词用的比较不恰当一点XD 12/24 02:07
10F:→ andrew43: 多谢指点。 12/24 03:02
11F:→ locka: 谢谢c大的补充!我有去找来看了,了解是用asymptotically的方 12/24 12:43
12F:→ locka: 式去逼近卡方分配。不过我主要不解的是drop in deviance te 12/24 12:43
13F:→ locka: st的部分,拿deciance的差去test卡方分配的目的是什麽呢? 12/24 12:43
14F:→ celestialgod: 目的是用来比较两模型的配适程度是否有差异 12/24 13:29
15F:→ celestialgod: 一般你model的deviance除上null model的deviance 12/24 13:30
16F:→ celestialgod: 应该不是差...这点要修正一下XD 12/24 13:31
17F:→ celestialgod: 不过相同假设的两个模型之deviance也可以这样来作 12/24 13:31
18F:→ celestialgod: 检定 12/24 13:31