※ 引述《TeemingVoid (TeemingVoid)》之銘言： : ※ 引述《zxc321 (堅持到底 )》之銘言： 不好意思，借討論串趁機請教一下各位前輩 小弟最近也遇到類似的問題，關於資料庫 Data 的大量匯出/匯入 但由於是個資料庫門外漢...@@" 需求是用程式(C#)從 server，依條件撈出資料後寫入檔案 將檔案傳給 client 後，同樣用C#控制匯入資料庫 這邊先假設資料庫都是 SQL Server 2008 Express 原本作法： 是用前人寫好的方法匯出資料、轉換成 sql statement 並寫入檔案 所以內容是大量的 DELETE FROM table_name WHERE condition = con; INSERT INTO table_name(fields) VALUES (value); 接收端收到檔案後 用 System.Data.SqlClient.SqlCommand.ExecuteNonQuery() 一行行執行 結果執行時間被評為不可接受QQ (小弟剛又實測了十遍，10萬筆資料 DELETE 後 INSERT 約都耗時25~27秒左右) 後來摸索一陣子，也找到了上篇提到 SQL Server 提供的 BCP 公用程式 http://goo.gl/doRy3 (MSDN) 果然不論是匯出或匯入的速度都相當令人滿意 同樣 10萬筆資料，匯出平均 1.1秒，匯入平均 2.5秒 而且也容許由C#端來控制，組出字串後當作SQL statement一樣執行就好 大概像這樣 exec xp_cmdShell 'bcp database..table_name out output_file -T -S.\SQLEXPRESS' exec xp_cmdShell 'bcp database..table_name in source_file -T -S.\SQLEXPRESS' 同時 BCP 也可以匯出表結構的format檔案，在匯入時搭配使用 但...... 以上是當匯入表都無資料(或不要舊資料就TRUNCATE掉)時的美好情形 可以利用 BCP 進行快速的匯出/匯入 假使是需要 UPDATE 的情況，仍然要一筆筆 DELETE 掉，再進行 BCP 匯入 這部份小弟還沒找出方法解決 T^T 所以以上算是第一個想請教的問題(INSERT 可用 BCP 匯入取代，那 DELETE 呢？) 第二個問題是 上面曾提到，先假設資料庫是使用 SQL Server 2008 Express 那如果資料來源是 Oracle 呢？ (一種小弟就被擺平了還變兩種... orz) 亦即匯出來源有可能是 MSSQL/Oracle 其中一種 匯入資料庫也要相容兩種資料庫 @@ 上面提到前人給的匯出方法 其實就是用程式從 Oracle 撈出資料後依表結構轉成 SQL statement 處理一些字元轉換跟類型對映後，就可以餵給MSSQL執行，也算是一種相容方式 只是會在大量資料處理上遇到效能問題 很想知道這方面有沒有兩全其美的方式！ 實在由於小弟之前沒好好學資料庫，很多觀念上都不清楚，拉里拉雜打了不少 還希望有前輩願意提點一下關鍵字或是方向 之前也在考慮要在 DB 板還是 C# 板詢問 剛好看到這串討論就厚顏借用一下 感謝您的閱讀！ --

※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 58.99.47.202 那請問有保留非重複部份資料的方式嗎 @@? 目前我是卡在 BCP 前要把鍵值重複的資料先 DELETE 掉避免匯入失敗 但是又不能直接 TRUNCATE 把沒重複的也清除了 ※ 編輯: soon 來自: 58.99.47.202 (08/12 13:55)