作者cywhale (cywhale)
看板R_Language
标题Re: [问题] sql 指令阶层资料整理
时间Fri Dec 30 07:32:16 2016
因为逻辑逆反(前面的值必须仰赖後面的row才知道),而且特例很多,
似乎很难向量化处理,就是必须做苦工,一行一行去扫
但你的例子中,有些逻辑很怪,我想,有些特例就留给你处理,
我提供一个有点丑,但可以解决大部分情况的例子
程式不会难,可能有其他漂亮的解决方式,但如果你还有更多特例
在你实际的案例中的话,那其实也是没辙....
所以最重要的是,还是你最熟悉自己案例的人得下去跟这些if..else.. cases磨。
才能建立好这一整套parse流程。
library(data.table)
library(magrittr)
fcon <- file("D:/R/example/ptt_try_sql.txt", "r")
ftxt <- readLines(fcon)
close(fcon)
## directly copy from your question in ptt web, as input
print(ftxt)
## parse your input
trimx <- function(x) gsub('^\\s+|\\){0,}\\s{0,}\\"{0,}\\s+$','', x)
txt1 <- trimx(ftxt)
sqlcmd <- c("select","insert","join","delete","create")
sqlio <- c("from","into","table")
rstart <- c("insert","delete")
rstop <- c("select","create")
rinter <- c("join")
s1 <- regexpr(paste(sqlcmd,collapse = "|"), txt1, ignore.case = TRUE)
t1 <- regexpr(paste(sqlio,collapse = "|"), txt1, ignore.case = TRUE)
## First step, get a command - destination table
sqlt <- data.table(cmd=trimx(substr(x=txt1, start=s1,
stop=s1+attributes(s1)$match.length-1)),
tbl=trimx(substr(x=txt1,
start=t1+attributes(t1)$match.length, stop=ifelse(t1==-1,-1,nchar(txt1)))))
## Second step, one-by-one line to scan and handle if..else cases
gcnt <- 0L
ccnt <- 0L
clv <- 0L
tmpo <- data.table(lv=0L, obj=NA_character_, dep=NA_character_, grp=0L,
idcnt=0L)
out <- data.table(lv=integer(), obj=character(), dep=character(),
grp=integer(), idcnt=integer())
flag <- 0L
pend <- 0L
for (i in 1:nrow(sqlt)) {
if (sqlt$cmd[i] %in% rstart) {
if (flag==0L) {
flag <- 1L
ccnt <- ccnt+1L
} else {
ccnt <- 1L
clv <- 0L
}
gcnt <- gcnt+1L
cobj <- sqlt$tbl[i]
tmpo[1,`:=`(lv=clv,obj=cobj,dep=NA_character_,grp=gcnt,idcnt=ccnt)]
out <- rbind(out,tmpo)
clv <- clv+1L
pend<- 0L
next
} else if (sqlt$cmd[i] %in% rinter) {
if (flag==0L) {
flag <- 1L
ccnt <- out[nrow(out)]$idcnt
gcnt <- out[nrow(out)]$grp
clv <- out[nrow(out)]$lv + pend
cobj <- out[nrow(out)]$obj
} else {
ccnt <- ccnt+1L
}
if (pend==0L) {
tmpo[1,`:=`(lv=clv,obj=cobj,dep=NA_character_,grp=gcnt,idcnt=ccnt)]
out <- rbind(out,tmpo)
}
pend<- 0L
next
} else if (sqlt$cmd[i] %in% rstop) {
if (!is.na(sqlt$tbl[i]) & sqlt$tbl[i]!="") {
ccnt <- ccnt+1L
cobj <- sqlt$tbl[i]
if (gcnt==0 | flag==0L) {gcnt<- gcnt+1}
tmpo[1,`:=`(lv=clv,obj=cobj,dep=NA_character_,grp=gcnt,idcnt=ccnt)]
out <- rbind(out,tmpo)
ccnt <- 0L
clv <-0L
cobj <-NA_character_
flag <-0L
} else {
pend <- 1L
}
next
} else {
if (!is.na(sqlt$tbl[i]) & sqlt$tbl[i]!="") {
cobj <- sqlt$tbl[i]
if (pend==1L) {
tmpo[1,`:=`(lv=clv,obj=cobj,dep=NA_character_,grp=gcnt,idcnt=ccnt+1)]
out <- rbind(out,tmpo)
ccnt <- 0L
clv <- 0L
cobj <- NA_character_
flag <- 0L
}
} else {
if (is.na(sqlt$cmd[i]) | sqlt$cmd[i]=="") {
ccnt <- ccnt+1L
tmpo[1,`:=`(lv=clv,obj=cobj,dep=NA_character_,grp=gcnt,idcnt=ccnt)]
out <- rbind(out,tmpo)
ccnt <- 0L
clv <-0L
cobj<-NA_character_
flag<-0L
}
}
next
}
}
## 3rd step: Addtional step to handle LV, DEP...
out[,lv:=max(lv)-lv, by=.(grp)] %>%
.[,dep:=ifelse(lv==0,NA_character_,shift(obj,type="lead")),by=.(grp)]
lv obj dep grp idcnt
1: 0 t1 NA 1 1
2: 1 t2 t1 2 1
3: 0 t1 NA 2 2
4: 2 t5 t4 3 1
5: 1 t4 t3 3 2
6: 0 t3 NA 3 3
7: 2 t9 t8_1 4 1
8: 1 t8_1 t8_2 4 2
9: 0 t8_2 NA 4 3
10: 0 t11 NA 5 1
11: 1 t13 t12 6 1
12: 0 t12 NA 6 2
13: 0 new1 NA 7 1
14: 0 new NA 8 1
15: 0 new2 NA 9 1
t8_1, t8_2那一段和前面那一段结果不一致,或许需要额外的flag
来处理join前後有两个不同的table 塞到前面两个不同的row去
这是很奇怪的特例,但还是可以额外处理...我这边,就不再改版了
...只能花这麽多时间处理到目前了,抱歉
※ 引述《criky (立业成家)》之铭言:
: [问题类型]:
: 程式谘询(我想用R 做某件事情,但是我不知道要怎麽用R 写出来)
: [软体熟悉度]:
: 新手(没写过程式,R 是我的第一次)
: [问题叙述]:
: [问题类型]:
: 程式谘询(我想用R 做某件事情,但是我不知道要怎麽用R 写出来)
: [软体熟悉度]:
: 新手(没写过程式,R 是我的第一次)
: [问题叙述]:
: data如下:
: (to) (from)
: sql_command from_t insert_t table_t 想整理成 lv obj dep
: select ... form t1 t1 0 t1
: -----------------------------------------------
: insert into t2 t2 1 t2 t1
: from t1 t1
: -----------------------------------------------
: insert into t5 t5 2 t5 t4
: select * 1 t4 t3
: from t4 t4 0 t3
: join
: (select ... from t3) t3
: -----------------------------------------------
: insert into t9 t9 1 t9 t8_1
: select * from 1 t9 t8_2
: (select ... from t8_1) t8_1 0 t8_1
: join 0 t8_2
: (select ... from t8_2) t8_2
: ------------------------------------------------
: delete from t11 t11 0 t11
: ------------------------------------------------
: delete from t13 t13 1 t13 t12
: (select ... from t12) t12 0 t12
: ------------------------------------------------
: create table new1 new1 1 new1 new
: select ... from new new 0 new
: ------------------------------------------------
: create table new2 new2 0 new2
: 想整理成以下资料
: obj dep lv
: t1 0
: t1 t2 1
: t5 t4 2
: t4 t3 1
: t3 0
: t9 t8_1 1
: t9 t8_2 1
: t8_1 0
: t8_2 0
: t11 0
: t13 t12 1
: t12 0
: new1 new 1
: new 0
: new2 0
: 上面范例资料实际是没有 --------
: 是为了阅读方便所以将资料分组并加上 -------
: 有(select..)的话lv会+1
: join上下的(select..) table lv 是相同的
: 先把问题po上来,
: 回家也会再想想怎麽做~
: 若有大大愿意协助非常感谢!
: 回报一下,
: 目前还是用EXCEL先做,
: 整个流程大致如下:
: 1、将sql语法贴到excel A1,用许多栏位取出
: select,insert into,delete...关键字是否存在
: 2、档案中语法段落间有空行,可编码成不同group
: 3、抓出table名称,以table数量+考虑join是否存在判断level
: 大致上是这样做,但事实上仍有许多状况,
: 例如join的上下table是同一个,但筛选的资料不同,
: 总之目前还是手工在做整理 QQ
: 这种半结构式的data整理起来还真痛苦 QQ
: [关键字]:
: level sql
: 选择性,也许未来有用
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.228.136.2
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/R_Language/M.1483054339.A.CB6.html
1F:→ cywhale: 对了,我忘了印 我输入的txt file, 你可以直接download 12/30 07:37
3F:推 criky: 感谢cy大的协助! 我再努力套在资料上试看看! 12/30 07:38
※ 编辑: cywhale (36.228.136.2), 12/30/2016 08:21:04
5F:→ cywhale: 小修正文中的ccnt...没注意到最後一版改出个小bug... 12/30 08:24