在Aitrepreneur频道上看到的新AI工具 FABRIC可以文生图、图生图 然後从产出的图中 回馈喜欢或不喜欢 然後依喜好再继续产出新图 (手动 生成对抗网路?) 底下是频道中的测试范例 https://i.imgur.com/SOg5rlK.png 作者dvruette/fabric在Hugging Face中 使用付费空间(A10G)布署的Demo作品 https://huggingface.co/spaces/dvruette/fabric _________________________________ 底下是作者dvruette推特中的FABRIC介绍 还有公开的github、Paper等资讯 使用Bard翻译 _________________________________ Dimitri von Rütte @dvruette 宣布 FABRIC，一种无需训练的方法， 可使用迭代反馈来改善任何 Stable Diffusion 模型的结果。 无需花费数小时寻找正确的提示， 只需单击 喜欢/讨厌 告诉模型您想要什麽。 https://twitter.com/dvruette/status/1681942402582425600 _________________________________ 很棒的部分是， 此方法可以直接使用任何 SD 1.5 模型（微调、LoRA 等）， 并且非常易於使用， 因为它利用自注意力层 将生成推向(好) 并远离(不好)。 _________________________________ FABRIC：使用迭代反馈个性化扩散模型 (Feedback via Attention-Based Reference Image Conditioning) (基於注意力参考图像条件反馈) FABRIC 是一种将迭代反馈整合到 基於 StableDiffusion 的扩散模型生成过程中的技术。 这可以通过利用 U-Net 中的自注意力机制 来对扩散过程进行条件约束， 以选择基於人类反馈的正负参考图像集。 https://github.com/sd-fabric/fabric _________________________________ Paper:https://arxiv.org/abs/2307.10159 FABRIC: Personalizing Diffusion Models with Iterative Feedback Dimitri von Rütte, Elisabetta Fedele, Jonathan Thomm, Lukas Wolf 在视觉内容生成日益由机器学习驱动的时代， 将人类反馈整合到生成模型中为增强用户体验和输出质量提供了重大机会。 本研究探索了将迭代人类反馈整合到 基於扩散的文本到图像模型的生成过程中的策略。 我们提出了 FABRIC， 一种适用於广泛流行的扩散模型的无需训练的方法， 它利用最广泛使用的架构中存在的自注意力层 来将扩散过程条件化在一系列反馈图像上。 为了确保对我们方法的严格评估， 我们引入了全面的评估方法，提供了一种可靠的机制来 量化集成人类反馈的生成视觉模型的性能。 我们通过彻底分析表明，生成结果会在多次迭代反馈中得到改善， 并隐式地优化任意用户偏好。 这些发现的潜在应用延伸到诸如个性化内容创建和定制等领域。 https://i.imgur.com/SkkRGCy.png 图 1：所提方法的示意图。 FABRIC 不仅基於文本提示生成图像， 还基於多轮生成中表达的用户偏好生成图像。 https://i.imgur.com/nCYvaYR.png 图 2：所提方法的示意图。 FABRIC 通过注意力条件机制将用户反馈纳入生成结果中， 从而改进生成结果。 https://i.imgur.com/UYfIeDQ.png 图 3：基於偏好模型的反馈选择结果 https://i.imgur.com/c13RVSe.png 图 4：基於目标图像的反馈选择结果。 正反馈会提高目标相似度， 使用正反馈和负反馈会进一步提高目标相似度。 同时，任何形式的反馈都会大大降低生成图像的多样性。 https://i.imgur.com/hSx6yf2.png 图 5：提示丢弃似乎是一种有效的方法， 可以用 CLIP 相似度换取生成分布中更多的多样性。 https://i.imgur.com/1RxTSbs.png 图 6：我们基於目标图像的实验中，反馈轮的示例。 https://i.imgur.com/QGBPRMg.png 图 7：FABRIC：参考图像被杂讯化到一定步骤，然後在去噪过程中将提取的键和值注入 U-Net 的自我注意力中。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.71.20.228 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AI_Art/M.1690010114.A.DA1.html 谢谢提醒 已在作者推特上看到了! https://twitter.com/dvruette/status/1683100124266856449 FABRIC plugin for SD WebUI is now available in alpha for testing. Check it out and let us know what you think! https://github.com/dvruette/sd-webui-fabric ※ 编辑: avans (220.129.62.244 台湾), 07/25/2023 19:09:58