作者asklove (是问爱不是要爱b)
看板Database
标题Re: [问题] 当资料越来越多时,DBA该.......?
时间Sat Mar 7 10:47:32 2009
谢谢 in 哥提供的许多宝贵经验
其实因为前人建置的资料库被设计成把所有交易资料都放在同一张表
然後又为了线上资料库的效率,固定把三个月前的资料移到备份主机上存放
可惜这些交易资料不只要用来产生摘要报表,还会经常性的(每日)被使用在一些即时应用
为了不影响线上交易,所以想要将资料倒到另一台离线资料库
并配合MySQL及网页语言去开发一些查询功能
目前第3种方法是被认为较为可行的,但不知道是否有比较好的解决方法?
想问的是
1.程式会变复杂很多是指加入要到哪一个资料表搜寻的判断吗?
2.效率会变差是指程式开发的效率变差吗? 还是资料库执行的效率?
另外关於第2种方法,就像上面提到的,我们的资料被分散在两台主机资料库上了
所以目前我们使用的SQL查询工具(水晶、资料库浏览工具...等)
纯下 SQL 很难同时 union 这两个资料库的查询结果,一定得用程式语言来搭配...
※ 引述《in09 ()》之铭言:
: ※ 引述《asklove (是问爱不是要爱b)》之铭言:
: : 不知道有没有人遇过或想过这个问题
: : 如果有一个线上交易系统,平均每天都会产生30多万笔交易资料,暂定大约50MB好了
: : 如果就这样放任不管让资料都放在同一张交易资料表的话,那麽这张表将会增长得很快
: : 一个月就会有将近1000万笔交易资料,占去硬碟空间约1.5G
: 有的, 一个月 150G 都不是什麽希奇的事 (我说真的)
: : 长此以往,有可能会超出DBMS或OS的档案系统限制吗? (顺便问一下 MySQL 的限制是?)
: 一定会, 所有 OS 和 DBMS 都有上限.
: : 而且可想而知,对这个资料表进行搜寻时将会越来越慢、
: : 资料表的维护、建立索引等工作也将越来越困难
: : 当发生这种情形,又不可以将以前的交易资料舍弃,在面对日益增多的交易资料时,
: : DBA应该要采取哪种措施,来让使用者可以正常进行交易资料的查询、每日新资料的进入,
: : 并维持DB不至於崩溃呢?
: MySQL 我不清楚, 很多贵死人的资料库, 如 DB2, Oracle 都已经考虑到这类的事
: 有很多不同的做法, 不过, 有个老前辈说, 这种资料其实不适合放在 relational db
: =_=|||
: 目前我看到的, 都是一开始设计 DB 时, 就得考虑进去. 然後 applicaiton 要配合.
: DB2 有些机制可以支援让 DB/AP 都可以不用想太多, 不过, 一来贵,
: 二来, 其实 DB 维护的工作不轻 ( IBM 宣称说很简单啦 )
: : 1.将一定时间以前(如六个月前)的资料全部备份到另一台离线主机上。
: : (缺点,查询时只能查到一部份资料,且备份主机依然会有上述的问题,
: : 而使用者还是有需要查询以前的交易资料)
: : 2.将固定时间范围内的资料(如半年)分散放到多台主机DB,顺便分散loading(有钱的作法)
: : 需要搜寻时就用程式去判断需要的资料是什麽月份,再去那个主机DB寻找。
: : (不过要在查询时将不同DB资料合在一起,我还没学会怎麽纯下SQL而不需程式流程
: : 辅助...有人会吗?)
: 这个, DB2 有这种功能喔, 钱花下去就有了, 用起来就像在一台机器上工作而已.
: 我写过一点点简单的, 利用 ODBC/CLI 连到不同主机上的 DB.
: 程式不算太难, 可是资料库在设计时要想一下, 我加了些 summary table.
: 以便汇整资料, 不然把所有资料读进来再用程式整理, 效率会很差
: : 3.一个月建立一张新的交易资料表在备份主机,且每日备份资料,
: : 需要搜寻时就用程式去判断需要的资料是什麽月份,再去那个资料表寻找。
: : (同一个资料库下比较好下SQL)
: 这个我们用过, 有些资料可以, 有些有实际上的困难, 程式变得复杂很多,
: 而且效率差, 所以, 一样, 我们又建了些 summary , 把常用查询生出另一个 table.
: : 4.禁止使用者存取一定时间以前的资料。(超烂的方法,会被打死吧 XD)
: 这个我们算是用过吧 ? 一定时间以前的资料, 要先申请,
: 要用人工( 或其它要花钱的自动化方法 ), 把旧的储存体 mount 上来,
: 然後才能查询.
: 最贫穷的作法就是, 备份的 DB, 储存路径设在光碟机上
: 要用时才放入光碟, start database, 开始用, 很累吧 ^_^
: : 5.其他我还没想到的方法。
: : 请高手分享一下资料库的管理心得....谢谢。
--
答答的马蹄声
我不是归人,也不是过客,
我.........................................是马......>"<
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 118.171.1.105