作者Bionut (生物坚果)
看板DataScience
标题[讨论] cognitive model/causal ML执行的细节
时间Wed May 15 05:40:28 2024
想请问有经验的朋友。
我算是跨领域来做ML正在读博，目前的课题是把ML应用在半导体制程。
不知道是不是跨领域，所以思想跟老板不太一样（我自己是制程跟物理背景，老板是纯CS
)
目前老板希望我的研究主题是建立模型+资料统整所有半导体制程的知识。也就是未来有
新的制程技术，我们的模型对於新制程的参数能给予准确的预测（就不需要工程师去tune
参数）老板的目标是让模型学会制程的因果关系。
然後我们目前（我主要负责搜集data ）的资料只有十几个点，而且没有搜集不同参数对
应的资料。我老板想做unsupervised model（我自己是倾向supervised ）。总之我怎麽
看都不觉得这麽少的资料点可以支持一个非常复杂的模型，其实连普通的NN我都怀疑能训
练起来不会overfit
我的结论很简单，要嘛我们做简单一点的model，要嘛噜起袖子努力去无尘室老资料（反
正做实验的是我）。但我这样说就被老板说他做十年资料科学，我没经验谁说少数据做不
起来？
但具体问model怎麽搭建却得不到明确的轮廓…
对於学物理出身的我，我对於model所谓明确的定义是指：你需要搜集什麽feature，然後
目标又是什麽？例如搜集薄膜厚度、半导体线宽、粗糙度…、而目标是电性（电阻、电容
…等）
而我的理解是，如果要model认知到一些物理特性，问进去的资料要包含各种想学习的参
数的变异。例如，如果要知道薄膜厚度带来的影响，喂进去的资料需要有一定的薄膜厚度
变异。（这是我不解的点之一，我无法理解我老板的cognitive model如何在不提供相对
应物理变异时，学习到对应知识，而在这项参数改变时做出预测？）
我的想法很简单，除非给出某些人为设定的物理背景，如果资料都是在20度时搜集，模式
不可能知道实验改在30度时做要如何反应。
这究竟是我的思想还停留在工程师的封闭思维，还是我老板总在异想天开？
同样的，我想具象化什麽知识要被学习，我老板也说不出所以然…对於我，我觉得要有明
确的研究目标，但我老板好像是且战且走，然後觉得这些框架不可能也不应该知道（他常
常呛我，如果你大概知道你要干嘛，你现在博士就可以毕业了。我OS:我还是要把实验资
料生出来，然後搭model啊）
我觉得要有模型框架我才能好好制定实验计画（不过他好像没觉得我需要搜集很多资料XD
)
想请问有经验的各位怎麽看？是因为我背景不一样才觉得他说的目标跟方法不科学吗？我
觉得他的理想很好，但需要更多具体怎麽做模型，还有怎麽搜集能让模型理解的资料…）
p.s.我们最近在向学校提交报告也被其他教授质疑，但其实我早就质疑这个计画，却一直
被当作不懂ML。（其他教授不是CS背景，我们是研究机构不是纯学术）
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 94.109.173.26 (比利时)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1715722831.A.020.html
1F：推 chang1248w: 因果推论嘛，推pearl 的the book of why 05/15 13:54
2F：推 chang1248w: 但是非监督的因果推论，这饼和地球一样大啊 05/15 13:57
3F：→ chang1248w: 另外据小道消息，第一线的工程师还是在靠肝 05/15 14:03
4F：推 fragmentwing: 我的感想，你就是你老板口中的认知模型 05/15 14:18
5F：→ fragmentwing: 资料没给齐但要把结果生出来 05/15 14:19
6F：→ fragmentwing: 这俗称叫「通灵」 05/15 14:19
7F：推 fragmentwing: 查了下一楼讲的 05/15 14:24
8F：→ fragmentwing: 这东西应该还在纯理论阶段 很纯的那种 05/15 14:26
9F：→ fragmentwing: 拿出来跨领域 真的很纯 05/15 14:32
10F：→ fragmentwing: 用在半导体上第一原理都实际多了 05/15 14:33
11F：推 chang1248w: 财经(他们那叫结构方程)和流行病学研究使用因果方法 05/15 14:38
12F：→ chang1248w: 也有个二三十年 05/15 14:38
13F：推 fragmentwing: 这东西要拿来应用不会碰上蝴蝶效应的问题吗？ 05/15 14:47
14F：→ chang1248w: 什麽意思？ 05/15 14:51
15F：推 fragmentwing: 一开始没考虑放入推论中的小变量导致推论结果歪掉或 05/15 15:01
16F：→ fragmentwing: 不可预测 05/15 15:01
17F：推 fragmentwing: *没考虑或探测不到 05/15 15:03
18F：推 fragmentwing: 到最後为了让模型能得出正确预测 纳入上千上万个变 05/15 15:06
19F：→ fragmentwing: 因然後仍然不知道还有没有缺的 05/15 15:06
20F：→ chang1248w: no loop + random sampling的假设可以处理掉九成，剩 05/15 15:08
21F：→ chang1248w: 下一成当成误差处理(x) 05/15 15:08
22F：推 fragmentwing: 我想到一个东西……这是不是跟田口法有关？ 05/15 15:09
23F：→ chang1248w: 看起来是田口法的放大版 05/15 15:11
24F：→ chang1248w: 我也不是做这块的，偶尔翻两页书而已 05/15 15:12
25F：推 julang: "老板永远是对的"，祝你顺利 05/15 15:27
26F：→ truehero: 老板：你是半导体专家啊，你的任务就是从少量资料抽取特 05/15 15:27
27F：→ truehero: 徵啊 05/15 15:27
28F：推 fragmentwing: 拉回来 05/15 15:29
29F：→ fragmentwing: cognitive model 本身好像不是ML 05/15 15:29
30F：→ fragmentwing: causal ML好像是python的一个package 提供的api大部 05/15 15:29
31F：→ fragmentwing: 分都是传统ML 05/15 15:29
32F：→ fragmentwing: 然後有明确提到将 cognitive model 和deep learning 05/15 15:29
33F：→ fragmentwing: 连结的研究都在2020後（有一篇提到NN的在2018） 05/15 15:29
34F：→ fragmentwing: 非CS本科跳过来做这麽新的东西应该要配合有本科成员 05/15 15:29
35F：→ fragmentwing: 的团队吧 05/15 15:29
36F：→ fragmentwing: 可能还要找个心理学的过来 05/15 15:29
37F：→ fragmentwing: 而且 要的成品看起来已经接近AGI那边了 05/15 15:30
38F：→ chang1248w: 远着哩 05/15 15:31
39F：推 fragmentwing: 他要做的是整个半导体业界制程的通用模型 真的做出 05/15 15:35
40F：→ fragmentwing: 来已经比gpt还近了吧 05/15 15:35
41F：→ fragmentwing: 等等我想远了 05/15 15:36
42F：→ fragmentwing: 他至少不是要直接把新制程根据需求直接生一个出来 05/15 15:37
43F：→ fragmentwing: 那确实还没摸到agi那边 05/15 15:37
44F：推 fragmentwing: 我再把话题拉回来 05/15 15:43
45F：→ fragmentwing: 之前上大厂来学校开的课 有一点记得很清楚 05/15 15:43
46F：→ fragmentwing: 上课的工程师有提到机器学习只在成熟制程上有用（非 05/15 15:43
47F：→ fragmentwing: 常有用） 05/15 15:43
48F：→ fragmentwing: 有没有一种可能是楼主的教授根本不是要做deep learn 05/15 15:43
49F：→ fragmentwing: ing只是要做先进制程参数调控？ 05/15 15:43
50F：→ Bionut: 没有，我们不是要做APC 05/16 00:58
51F：→ Bionut: 谢谢各位，我大概知道自己该做什麽了XD 05/16 00:58
52F：→ Bionut: 他是想做通用模型，他说要做的只是proof of concept 05/16 00:59
53F：→ Bionut: 不过我现在应该想在公司找点其他能实现的东西 05/16 00:59
54F：→ chang1248w: 我还是搞不明白他要做什麽 05/16 01:30
55F：→ Bionut: 他想要搞一个通用模型可以理解制程的知识... 05/16 14:32
56F：→ Bionut: 而不是只给出prediction的correlation.... 05/16 14:32
57F：→ Bionut: 不过我困惑的是少少的变量跟资料到底要怎麽让model理解 05/16 14:35
58F：推 fragmentwing: 怎麽个通用法啊……这不还是成了LLM了吗？还真的是 05/16 14:36
59F：→ fragmentwing: 根据需求直接生制程啊！ 05/16 14:36
60F：→ Bionut: 人类想传达的复杂问题 (加上老板没有其他CS PHD帮忙搭模型 05/16 14:36
61F：→ Bionut: 所以...其实开始找其他人讨论干点别的...没法做 05/16 14:37
62F：推 fragmentwing: 没有人搭（X）没人搭得出来（O） 05/16 14:44
63F：→ fragmentwing: 这就算是open ai的大神来也束手无策 巧妇难为无米之 05/16 14:45
64F：→ fragmentwing: 炊 资料量一丁点这种东西怎麽玩得起来？ 05/16 14:45
65F：→ fragmentwing: 一般来说这种离谱的要求是非CS开给CS 你老板专业的 05/16 14:45
66F：→ fragmentwing: 怎麽会这样乱开？ 05/16 14:45
67F：→ chang1248w: 阿他老板就不是要做DL咩 05/17 21:00
68F：推 BoruK: Causal inference 的 assumption 很强，continuous treatme 07/19 22:00
69F：→ BoruK: nt 甚至更强，没有那麽好做。甚至资料量那麽少，associatio 07/19 22:00
70F：→ BoruK: n 都找不到了，causation 就更不可能 07/19 22:00