作者ms0344303 (我不玩了)
看板Python
标题[问题] Api到DB的即时资料串流
时间Wed Apr 13 11:32:59 2022
如标题
敝人有一个case需要定期从某个api取得资料 稍微处理 并塞入到指定db中
同时往後有其他api资料来源的话因为格式可能不同
需要做针对异质资料来源其他处理模组 整合成统一格式再塞入
简单来说就是整合异质资料并同质化的data loader
除了用比较土炮的爬虫脚本服务化之外
还有比较好用的方式吗
企业方向的解决方案也可？
感谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.10.11.173 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1649820781.A.E9D.html
1F：推 celestialgod: AWS lambda, Azure Functions, Azure Logic App 04/13 12:17
2F：→ k1988771028: 本来就有linux的话可以用airflow 更阳春的话crontab 04/13 13:14
3F：→ Hsins: 同样的需求，规模大小会有差异 04/18 22:42