DataScience 板


LINE

自己文章自己回XD 感谢推文版友提供的建议,我後来差不多就是那样做的 我觉得 TFRecords 相关的东西很复杂,而且文件不全或是很费解, 在踩了一堆坑之後想在这边留个纪录给刚开始碰的人看, 包含 TFRecords 和 multiple input 的东西 因为我不是 CS 背景,如果我有理解错再麻烦大家跟我说 1. TFRecords 只是一个档案格式,就像 json 或 pickle 2. TFRecordDataset 是一个 TF 物件,可以直接喂进 .fit() 内建记忆体管理防止 RAM 爆掉、有方便的 chaining method 可以做 shuffle 等操作 例如 dataset.shuffle().batch() 有一个实用的是 prefetch(), 可以提早把资料移动到 GPU, 加快速度 总之可以说制作 dataset 的目标就是得到一个 TFRecords Dataset 3. 制作 TFRecordDataset 的大致流程如下 a. 先拿好需要的数据,可以是一个 numpy array 或是其它格式 b. 把需要的数据用 writer 写成 TFRecords,这边要定义好数据栏位 c. 写一个 parse function 读取 b,这边一样要提供数据栏位,而且要跟 b 一样 我在这边遇到一个问题是,parse function 没办法读取 TFRecords 後来采取的解法是在写入的时候把数据都先 .tolist() 这边也是一知半解,但暂时没有去深究 4. 如果有 multiple input, 在 parse function 的地方可以先把 input 写成 dict, 例如我的输出是 x, y 但是 x 是 {"x0": [1,2,3,4,5], "x1": [1,2,3,4,5]} 这样的形式 5. 如果使用 keras.Input, 在 name 栏位要和上面的 x0, x1 一致 6. keras.Model 可以吃 multiple input 或输出 multiple output, 方法是像这样: keras.Model([x0, x1], y) 最後推荐 Hands-on Machine Leanring with Scikit-Learn, Keras & TensorFlow 这本书上对於 TFRecordDataset 有满详尽好懂的内容 --



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 109.58.161.252 (丹麦)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1615455910.A.F00.html ※ 编辑: Sheepforpart (109.58.161.252 丹麦), 03/11/2021 17:46:54
1F:推 st1009: 谢谢大大无私的分享 03/11 23:18
2F:推 joe120519: 感谢分享 03/13 18:37
3F:推 janus7799: 以前有写TFRecord的简单操作教学,分享给大家当参考资 03/14 16:37
4F:→ janus7799: 料。 03/14 16:37
5F:→ janus7799: https://link.medium.com/XLyaOzNaCeb 03/14 16:37







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:Gossiping站内搜寻

TOP