作者simon3458 (人生如命啊...)
看板Soft_Job
标题[请益] 人工智慧与数据模型产品化职涯请益
时间Tue Feb 23 11:55:06 2021
各位软体业的先进大神们大家好:
一、前言与发文目的:
近期在检讨与找寻有关个人的职涯与工作状态，
想持续朝着大数据与人工智慧相关的技术开发与导入工作迈进，
恳请版上各位大神鞭小力一点，给予我一些回馈。
二、背景介绍:
1. 学历: 四大硕毕，目前27岁，大四开始走有关人工智慧相关技能。
2. 经历: 今年年中满三年，主要以数据与人工智慧产品开发经历。
3. 想持续做人工智慧与数据产品化相关的工作，概念以AIOps或MLOps为基准。
三、目前技能树经验:
1. 程式语言: 主要都是以Python做为开发经验，并且在Python上实作OOP，也尝试使用MVC
2. ML/DL:
(1) ML相关: SVM、Scikit-learn、LightGBM、XGB等，有使用在专案或论文上。
(2) DL Framework: Keras、Tensorflow。
(3) CV专案: 使用OpenCV、Yolo-base model等到专案上，目前较长接触。
(4) Text专案: 曾用BERT模型去做文章分类的专案，较少用。
(5) 模型服务: TF-serving、OpenVINO相关。
3. Database: 算熟悉的有PostgreSQL、SQLite、Cassandra等。
4. 开发环境: 主要windows、Linux环境都算熟悉，并且把服务与模型Docker化，
Dockerfile会自己写，并且透过Docker-compose等方式去做设定。
5. web framework: 目前主要以fastapi为主，flask为辅去做API开发。
6. 前端: 因为公司有平台可以做一些前端呈现，因此会一点点HTML和Javascript语言
7. 云端: 主要公司合作以Azure为主，曾经参加过AWS和GCP活动，有一些些概念。
8. DevOps相关:
(1) 版控: Git(Gitlab)、DVC。
(2) 测试: Pytest、Pytest-mock去做一些整合和单元测试。
(3) CI: 自己撰写ci yaml档案去做container scan、code quality、
单元测试、Pylint、建立模型和注册模型。
(4) CD: 透过自己撰写Ansible去deploy逻辑服务与模型服务。
(5) Monitor: 找到相关开源专案来部属Node Exporter, CAdvisor，
让後面DevOps组可以协助接到Grafana上。
9. 文化: 利用Scrum和Kanban，来管理我的工作模式。
四、对於人工智慧专案与产品化的过程中，我依专案顺序实作过以下经历；
(1) 资料收集与标签: 因为部分专案无提供资料，因此需从收集资料与标签开始，
自己撰写相关资料收集工具，并且在开源平台上找到相关标签平台，
并且提供给User做标签。
(2) 资料分析: 透过python相关套件和绘图工具，去做资料分析与呈现。
(3) 资料处里: 透过python撰写去做ETL处理。
(4) 模型训练: 虽说我知道MLFlow，但团队没有实际去做，所以就也还没使用，
知道其相关概念，目前主要还是透过jupyter或VScode，
直接撰写完後，放到公司或云端的GPU server上面做训练。
(5) 模型、资料与程式码版控:
(A) 模型版控: 利用自己开发的工具，将模型存放到第三方服务，
然後在透过git去做管控。
(B) 资料版控: 透过DVC和git，去做资料版控。
(C) 训练与服务程式码版控: 透过git做版控。
(6) 模型部属: 透过gitlab 和CI/CD 工具去做服务与模型部属工作。
(7) 维护: 透过grafana和telegram bot做提醒和维护，如有任何问题会去做修正。
五、目前计画:
1. 目前在这个公司已经发展到一定程度，想透过其他方法来去更深化和优化这些技能。
2. MLOps相关的能力还在持续补充中，也会持续利用闲暇时间参与开源会议或研讨会等。
六、问题询问:
其实技能数点的很大一颗，但有前辈提点我，应该要更深化里面的内容，来帮助自己
的专业度更提升，但MLOps要会的东西又很大一包，有时候也不知道这样点对不对，
或者有甚麽建议可以往下一步迈进?
如果对於我的经历和技能有些提点或建议，我真的需要一些帮忙，也欢迎推文或站内
信给我一些协助。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 113.196.51.196 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1614052512.A.F1C.html
1F：推 LordCHTsai: 看起来是想做AI/ML的Infra，那技能树其实差不多了 02/23 12:07
2F：→ LordCHTsai: 问题可能是新创不一定想招一个专做AI/ML Infra的 02/23 12:08
3F：→ LordCHTsai: 毕竟GCP/Azure/AWS都有ML的方案 02/23 12:09
4F：→ LordCHTsai: 你能做的顶多是简化computing resource allocation 02/23 12:11
5F：→ LordCHTsai: 或是提供hyperparameter的管理 02/23 12:12
6F：→ LordCHTsai: 那上述的事除非公司里有大量ML researchers 02/23 12:15
7F：→ LordCHTsai: 不然也没有必要花钱做这部分的优化 02/23 12:16
8F：→ LordCHTsai: 不过以DevOps的角度来看，我觉得你的技能树很完美 02/23 12:17
首先，感谢您的赞许，说真的，我不完全是要朝向AI Infra做，
毕竟三大云都已经做很多了，所以跟他们抢工作只是自己碰一鼻子灰而已，
我想要的是，当ML/DL需求进来时，能够按照技术，制作出产品出来，
并且交付整套产品线出去给User使用，所以你会看到前後端撰写与Infra的导入
可以加速ML产品线的导入时间，大概是这样。
9F：推 LordCHTsai: 那我觉得Ops的技能就显得不是很重要 02/23 12:32
10F：→ LordCHTsai: 你只要知道如何apply trained model到产品上就好了 02/23 12:32
11F：→ LordCHTsai: 那就是个...一般的software engineer 02/23 12:33
所以在您来看，在Ops的技能树点太深，应该反而要多回去深化模型那边相关的技术罗?
12F：→ LordCHTsai: 什麽都做的话产品能不能赶上时程是个问题 02/23 12:36
13F：→ LordCHTsai: 另外一个就是你有没有能耐全部都做到prod grade 02/23 12:37
14F：→ LordCHTsai: 是，我觉得工作你就ML SWE和DevOps择一就好，看兴趣 02/23 12:42
现在的水温状态就是可以做到大概75分左右，所以有些案子已经顺利交付完成，
但就是一直思考着是否继续把各项点深，然後做到80、90分这样走?
还是说该回头检讨这个模式这样了
15F：推 LordCHTsai: 看案子的大小，可能这个模式在你现在的公司可以继续 02/23 12:53
16F：→ LordCHTsai: 你也可以选择继续跳到其他类似大小案子的公司 02/23 12:54
17F：→ LordCHTsai: 所以选择比较像是 1)做同大小的案子可以继续包办全部 02/23 12:55
18F：→ LordCHTsai: 或是 2)跳到大案子大公司，然後专精流程中的一部分 02/23 12:55
19F：→ LordCHTsai: 没有说哪边比较好，取决於你的兴趣 02/23 12:56
20F：→ LordCHTsai: 选1你也是可以练到各项80 90分，然後在各新创崭露头角 02/23 12:58
21F：→ LordCHTsai: 选2就像是你想加入类似FAANG的公司，当小螺丝做大案子 02/23 12:59
了解，我的目标会是比较偏向在2，但这样的话，有可能会有中间过渡期，因为技能树目前
点的比较广的情况下，这样可能必须要慢慢拉回来自己的目标了，不是放弃，而是要有
一个重心这样。
22F：推 aidansky0989: ai产品是指影像？nlp?碰一堆应该有一块是值得深入钻 02/23 13:49
23F：→ aidansky0989: 研 02/23 13:49
我主要比较熟的是结构化数据预测，影像类是近期的专案产品，要的话会以此2类为主。
24F：推 Morphee: 这样年薪多少 02/23 19:38
目前大约85-90左右
25F：推 Morphee: 感觉公司给太少了 02/23 20:04
没办法，公司目前处於逐渐不赚钱的状态...
26F：推 leighmeow: 觉得你的技能树很够欸 要不要跳到大公司做做看大的sca 02/24 00:57
27F：→ leighmeow: le的东西 这种经历佩颖的技能 是自学很难学到的 02/24 00:57
也是一个方向，笔记下来~
28F：推 famous727: 不到3年就能学这麽多东西~太厉害了 02/24 02:07
说真的，其实我只花了一年半时间学这些，一开始进去公司时，
头一年开始，老板是偏向让我们尝试，但其实我学到的反而很少，
直到转部门到有丰富软体开发经验的主管底下，才在他提点下，
花费许多时间将所有技能尽力补足，那段时间虽然很累，
可是帮助我在这条路上能够技能丰收，只是主管也离开部门了QQ。
※ 编辑: simon3458 (123.204.46.222 台湾), 02/24/2021 06:37:02