Database 板


LINE

试试看... Select t1.DataID, IsNull(t1.Value1,t2.Value1), IsNull(t1.Value2, t2.Value2) From Temp1 t1 Join Temp2 t2 on t1.DataID = t2.DataID ※ 引述《Eleganse (王建民)》之铭言: : 各位大大好,我先将专案目前的情况与遇到的难题简述如下。 : 我使用的是Microsoft SQL : 有一个资料表(Table.Data),每隔数日必须接收数亿笔数据资料。 : 它的栏位可以下方表示。 : =============================================== : Table.Data 共三栏 : 栏位名 Col.DataID Col.Value1 Col.Value2 : 型态 int float float : =============================================== : 又Value1与Value2 的数据来源为不同仪器,因此资料集的初始状态如下(示例) : (实际上是14栏共14种仪器) : ==================================== : Table.Temp1(暂存表格) : Col.DataID Col.Value1 Col.Value2 : 1 0.000001 NULL : 2 0.000002 NULL : ... ... ... : (数亿笔) : ==================================== : ==================================== : Table.Temp2(暂存表格) : Col.DataID Col.Value1 Col.Value2 : 1 NULL 0.999999 : 2 NULL 0.999998 : ... ... ... : (数亿笔但笔数会与Temp1相同) : ==================================== : 前提是我已运用1.Comparision(压缩方法) : 2.资料表分割方法 : 3.建立索引 : 建立此表(Table.Data), : 我打算不管里面的数据资料成长得多大,都放在同一张表格里, : 以便於查询与後续数据分析工作。 : 首先遇到的第一个难题,是如何在原本已有数十亿笔资料的表格中, : "非常有效率地"再插入数亿笔资料? : 我想到sqlbulkcopy方法,但bcp方法的限制为,"原先的表格必须是空的", : 所以我想到一个解决方法: : 就是先建立一个暂存表格存最新数据,再将旧表与暂存表格合并起来, : 但是表格的合并问题让我很苦恼, : 我查了union与join两种方法, : union方法会让数据集变成下面的长相 : Col.DataID Col.Value1 Col.Value2 : 1 0.000001 NULL : 1 NULL 0.999999 : 2 0.000002 NULL : 2 NULL 0.999998 : 而full join方法会让数据集 : Col.DataID Col.Value1 Col.Value2 Col.DataID Col.Value1 Col.Value2 : 1 0.000001 NULL 1 NULL 0.999999 : 2 0.000002 NULL 2 NULL 0.999998 : 两种都不是我要的 : Col.DataID Col.Value1 Col.Value2 : 1 0.000001 0.999999 : 2 0.000002 0.999998 : 最终长相。 : 所以可否请教各位大大 : 1.用什麽TQL指令的结合,可以正确生成我要的最终表格样貌? : 2.回归本问题的前点,我硬将数十亿笔资料塞进一张表中, : 会不会造成什麽无法预期的後果?(在我已经将该表效率最佳化的情况下) : 3.回归到本问题的初始状态,是否有其它通行的解决方法, : 可以解决"在数十亿笔资料中再插入数亿笔资料"的存取效率方法? --



※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 203.158.41.245







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:Gossiping站内搜寻

TOP