作者ms0344303 (我不玩了)
看板DataScience
标题[讨论] api到DB的定期资料串流
时间Wed Apr 13 11:41:08 2022
如标题
敝人有一个case需要定期从某个api取得资料 稍微处理 并塞入到指定db中
同时往後有其他api资料来源的话因为格式可能不同
需要做针对异质资料来源其他处理模组 整合成统一格式再塞入
简单来说就是整合异质资料并同质化的data loader
除了用比较土炮的爬虫脚本服务化之外
还有比较好用的方式吗
企业方向的解决方案也可？
感谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.10.11.173 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1649821270.A.231.html
1F：推 ebullient: Prefect, Dagster 04/13 13:04
2F：推 hsuchengmath: 最弹性的作法应该还是写个script用排程来调动 ，air 05/01 09:35
3F：→ hsuchengmath: flow之类的 05/01 09:35