作者Eleganse (王建闵)
看板C_Sharp
标题[问题]资料库存取效率问题
时间Fri Jun 19 15:41:13 2009
======某个函数中的内容=====================================================
ImcCoImcCoreLib.DFile thisFile = new ImcCoreLib.DFile();
thisFile.Open(".\\Samples\\test1.RAW",0);
Array a = ((Array)thisFile.DChannels[1].GetData(1,thisFile.DChannels[1].Length));
//第1行到第3行，开启一个Array a，将test.RAW中第一栏所有数据读入
这些数据，总共有38万笔。
/////////////////////////////////////////////////////////////////////////////
string cs = @"Provider=Microsoft.Jet.OLEDB.4.0;Data Source=.\\DataBase.mdb";
OleDbConnection conn = new OleDbConnection(cs);
OleDbDataAdapter adapter = new OleDbDataAdapter();
adapter.SelectCommand = new OleDbCommand("select * from T_Data", conn);
OleDbCommandBuilder cb = new OleDbCommandBuilder(adapter);
DataSet ds = new DataSet();
adapter.Fill(ds);
/////////////////////////////////////////////////////////////////////////////
//第4行到第10行，与Access间连线程式，说明略。
for (int i = 1; i <= thisFile.DChannels[1].Length; i++)
{
ds.Tables[0].Rows.Add(i,a.GetValue(i));
}
//第11行到第14行，将Array a中38万笔资料存入dataset中
adapter.Update(ds);
//第15行，更新回资料库
==============================================================================
//以上程式码，为某一个函数中的内容。
在第11行到第15行，总共花了近8分钟执行完毕，
想请问版上各位大，有没有迅速的方法，
可以节省与Access间一次读取\存入数十万笔资料列的时间?
又或者，只有MSSQL才有办法?
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.115.61.67
※ 编辑: Eleganse 来自: 140.115.61.67 (06/19 15:42)
※ 编辑: Eleganse 来自: 140.115.61.67 (06/19 15:49)
※ 编辑: Eleganse 来自: 140.115.61.67 (06/19 15:51)
1F：→ MRjk:第一 当然mssql效率会比较好 06/19 15:51
2F：→ MRjk:第二 有什麽需要 为什麽要把38万笔都读到前端程式来 06/19 15:52
3F：→ MRjk:如果你有需要每笔都做更改 最好做个预存程序在mssql端 06/19 15:52
4F：→ MRjk:速度会好上很多 因为都在资料库里完成 不用传到前端在传回去 06/19 15:53
5F：→ Eleganse:第一个问题 业主希望我能用Access，因为我写的模组日後 06/19 15:53
6F：→ Eleganse:要移交到他们的资讯平台，而他们的平台竟然是用Access的 06/19 15:53
7F：→ Eleganse:第二个问题，我是从一个数据集(test.RAW)析离出数据 06/19 15:54
8F：→ Eleganse:再行存入，至於日後读出的方法，尚未规画 06/19 15:55
9F：→ MRjk:就你贴的程式码"select * from XXX" 已经没有sql优化的空间 06/19 15:55
10F：→ MRjk:要考虑的是有没有需要一次读写那麽大笔的资料 06/19 15:56
11F：→ Eleganse:我尚未考虑资料集优化的方法(例如38万列取1万列) 06/19 15:58
12F：→ Eleganse:如果可以，还是希望能够将38万列全部如实汇入资料库 06/19 15:58
13F：→ MRjk:喔 我看错你意思 所以主要时间是花在写回上面喔 06/19 15:59
14F：→ MRjk:写入的时间主要是看你写的table index复杂程度 06/19 16:00
15F：→ Eleganse:我是希望38万列能如实建入，只优化资料读出工作 06/19 16:00
16F：→ Eleganse:每一列只有两个数值，为主键data_ID(int)和value(double) 06/19 16:02
17F：→ Eleganse:注:38万列只是其中一笔资料集，而每次工作有3000笔 06/19 16:03
18F：→ Eleganse:我实在不想花3000*8分钟去批次存入，看起来这样要20天 06/19 16:04
19F：→ Eleganse:Access又有资料库独占的问题，实在让我很苦恼 06/19 16:05
20F：→ Eleganse:我刚才爬文，SQL有bcp外挂，不知Access有没有类似的东西 06/19 16:06
21F：→ Eleganse:有没有方法，能将整个阵列，一次带入table的某一栏中? 06/19 16:11
※ 编辑: Eleganse 来自: 140.115.61.67 (06/19 16:34)
22F：→ Catbert:把目的端Index拿掉汇入後再加入呢??? 06/19 21:45