作者ritajen (asdfge)
看板R_Language
标题Re: [问题] 利用newton-raphson method 求回归系数
时间Sat Dec 5 19:45:47 2015
※ 引述《celestialgod (天)》之铭言：
: 我懒得推文了...
: 问题如下：
: 1. 你知道logistic的MLE怎麽算吗？
: 2. 你有了牛顿法的程式，但是你知道f3放什麽？x0放什麽吗？
: 3. 我看不懂你创的矩阵，[Y-pi1]是从哪里来的？
: 4. 从你的叙述里面，似乎都对newton这个函数不熟悉，你要怎麽跑这个程式？
: 5. 你知道R可以直接用glm求logistic regression的回归系数吗？
: ※ 引述《ritajen (asdfge)》之铭言：
: : 如题，利用牛顿法求logistic regression回归系数的最大概似估计值，
: : 目前我有牛顿法的雏型，
: : rm(list = ls())
: : newton <- function(f3, x0, tol = 1e-9, n.max = 100) {
: : x <- x0
: : f3.x <- f3(x)
: : n <- 0
: : while ((max(abs(f3.x[[1]])) > tol) & (n < n.max)) {
: : x <- x - solve(f3.x[[2]]) %*% f3.x[[1]]
: : f3.x <- f3(x)
: : n <- n + 1
: : }
: : if (n == n.max) {
: : cat('newton failed to converge\n')
: : } else {
: : return(x)
: : }
: : }
: : 以下是我的data，我目前了解需先创立一个新的矩阵
: : X=[1 gpa gre] (共有n行是一个n*3的矩阵)
: : 再创造一个
: : [Y-pi1](共有n行是一个n*1的矩阵，其中pi是机率)
: : 但这个地方我不太明白pi要是多少?
: : 是利用上面所创作出来的矩阵相乘得到f3，在代回上述求解吗?
: : 这样解会是一个矩阵? (回归系数)
: : 麻烦厉害的人求解 感谢!
我知道R里面可以直接算唷，不过规定不可以使用内建函数。
然後我知道MLE的求法，求残差到回归线的最小平方和。
f3的话我的理解是一个包刮{gradient,hessian}的函数,
我了解这两个值需要利用矩阵相乘而得。
[Y-pi](这是提示给可以利用的矩阵)，至於newton这个函数我是不熟没有错，因为刚开始接触又没有数理的背景，抱歉问了不好问题。
因为真的想了很多天还是无从下手，所以才想来请益各位，问题问得不好抱歉。
--
Sent from my Windows
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 59.113.80.64
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1449315949.A.E44.html