真人换脸?用Midjourney Cref 参数去垫图 到底有多像?Cref+Sref参数会更有效吗?Cref是否适用于照片人脸迁移?最新Midjourney真人面部迁移功能测评

氪學家
22 Mar 202412:49

TLDR本期视频探讨了Midjourney Cref参数在真人面部迁移中的效果。通过对比不同数量参考图片、局部重绘和Cref结合Sref参数的方法,测试结果显示Cref参数在写实风格亚洲人面部迁移中效果一般,相似度并不理想。视频还讨论了Cref参数可能的技术原理,并建议刷图可能是获得更像人脸的更有效方法。

Takeaways

  • 🔍 Midjourney(MJ)新上线的角色参考参数CREF(character reference)用于面部迁移,但效果因个体而异。
  • 🌐 使用CREF参数时,相似度的判断主观性强,但可以通过ComfyUI的面部数据识别节点计算EUC和COS数值来量化。
  • 📸 测试中发现,CREF参数在处理亚洲人面部迁移时,效果并不理想,与原图相似度一般。
  • 🔄 增加参考图片数量(一张、两张、三张)并未明显改善MJ出图的相似度。
  • 🎨 局部重绘面部并降低CW值后,相似度提升有限,且有时效果反而更差。
  • 👦🏻👧🏻👩🏻👨🏻 性别和年龄对CREF参数的效果有一定影响,男性和小孩的面部迁移效果相对较好。
  • 💡 CREF参数结合SREF参数使用,并未显著提高面部迁移的相似度。
  • 🔄 多图测试表明,CREF参数在真人面部迁移上的有效性有限,尤其对于亚洲人面部写实风格。
  • 🛠️ CREF参数更适用于MJ生成的图片,而非真人照片,其设计初衷并非专为真人照片面部迁移。
  • 📈 通过实验和数据分析,刷图可能是获得更相似面部迁移结果的更有效方法。

Q & A

  • Midjourney新上线的角色参考参数CREF全称是什么?

    -Midjourney新上线的角色参考参数CREF全称是character reference,用于在生成图片时提供角色参考。

  • 使用CREF参数后,如何判断生成的图片与参考图的相似度?

    -可以通过ComfyUI中的面部数据识别节点来计算相似度,得到EUC和COS两个数值,数值越低表示与参考图越相似。

  • 在测试中,EUC和COS的数值标准是如何设定的?

    -EUC的数值标准是0.8以下,COS的数值标准是0.3以下,数值越低表示越相似。对于不同人物的对比,EUC普遍高于1.3,COS普遍高于0.9。

  • 测试中提到,CREF参数对于不同性别和年龄段的面部迁移效果有何不同?

    -CREF参数对男性面部迁移的效果比女性好,小孩比大人好,但这个结论不是绝对的,因为测试数据有限。

  • 在测试中,提交多张参考图片给CREF参数是否会使生成的图片更像原图?

    -测试数据显示,提交的参考图片数量与最终出图的相似度并没有明确的关系,有时候甚至会有反效果。

  • CREF参数结合局部重绘是否能提高面部迁移的相似度?

    -测试结果表明,通过降低CW值再做局部重绘,并不能显著提高面部迁移的相似度,效果非常有限。

  • CREF参数与SREF参数结合使用是否能生成更相似的人脸?

    -测试结果显示,CREF参数与SREF参数结合使用的效果与只用CREF参数的效果相差不大,并没有显著提高相似度。

  • 为什么CREF参数在面部迁移上的效果不理想?

    -CREF参数在官方说明中提到,它在使用Midjourney生成的图片时最有效,并不是专门为真人照片设计的,这可能是导致效果不理想的原因。

  • 在视频测试中,有哪些方法试图提高CREF参数的面部迁移效果?

    -视频测试中尝试了提交多张参考图片、CREF参数结合局部重绘以及CREF参数结合SREF参数三种方法来提高效果。

  • 视频作者对于CREF参数的未来应用有何看法?

    -视频作者认为,尽管当前CREF参数在亚洲人面部迁移上的效果不理想,但这是一个大的需求领域,未来可能会有更多的改进和突破。

  • 视频作者推荐了哪种方法来快速获得相似的人脸图片?

    -视频作者推荐使用CREF参数的基础上去刷图,这种方法来得更快一些。

Outlines

00:00

🎨 Exploring the CREF Parameter for Realistic Style Transfers

This paragraph delves into the exploration of the CREF (Character Reference) parameter in the context of realistic style transfers, particularly with images of Asian individuals. The discussion revolves around the challenges faced when using CREF to achieve high similarity between the generated images and the reference images. The video creator sets a standard for evaluating similarity using ComfyUI's facial data recognition nodes to calculate similarity scores, represented by EUC and COS values. The creator demonstrates the process of using CREF with varying numbers of reference images and analyzes the results, noting that the effectiveness of CREF is not as expected and that the number of reference images does not significantly impact the similarity scores.

05:01

🔍 Analyzing the Impact of Reference Images on CREF Outcomes

This segment continues the analysis of CREF parameter usage by examining how different quantities of reference images affect the outcome of the facial similarity. The video creator presents case studies with varying results, highlighting that there isn't a clear correlation between the number of reference images and the resulting similarity. The data suggests that sometimes fewer reference images yield better results, contradicting initial expectations. The creator also discusses the performance of CREF on different genders and ages, noting that it performs better on males and children, but this is not a hard and fast rule. The segment concludes with the creator's personal observations and insights on the quality of the facial migrations.

10:01

🤖 Testing Additional Methods to Improve CREF's Facial Migration

The final paragraph focuses on testing alternative methods to enhance the CREF parameter's performance in creating realistic facial migrations. The creator experiments with combining CREF with局部重绘 (local redraw) and SREF (Style Reference) parameters. After conducting tests with various images, the results indicate that these additional methods do not significantly improve the similarity of the generated images to the reference images. The creator shares personal opinions on the effectiveness of these methods and suggests that manually 'brushing up' images using CREF might be a faster approach. The video concludes with the creator's reflections on the limitations of CREF for realistic style transfers and encourages viewers to look forward to future tutorials on the subject.

Mindmap

Keywords

💡Midjourney

Midjourney是一个人工智能程序,用于生成图像和艺术作品。在视频中,Midjourney被用来测试其新上线的角色参考参数CREF,以评估其在面部迁移任务上的表现。

💡CREF

CREF全称是character reference,即角色参考参数,是Midjourney中用于指导生成图像以匹配特定角色或人物特征的一个参数。视频主要探讨了CREF参数在真人面部迁移任务中的有效性。

💡SREF

SREF是另一个Midjourney参数,用于控制生成图像的风格。视频测试了CREF与SREF结合使用时,是否能够提高面部迁移的相似度。

💡面部迁移

面部迁移是指将一个人的面部特征应用到另一张图像或生成的人物上的过程。视频中通过Midjourney的CREF参数进行面部迁移,并评估其效果。

💡相似度

相似度是衡量两张图像之间面部特征匹配程度的一个指标。视频通过计算EUC和COS两个数值来评估Midjourney生成图像的相似度。

💡EUC

EUC是欧几里得距离(Euclidean distance)的缩写,用于计算两点之间的直线距离。在视频中,EUC数值用于表示生成图像与参考图像之间的相似度,数值越低表示越相似。

💡COS

COS是余弦相似度(Cosine similarity)的缩写,用于衡量两个向量的方向相似程度。视频中使用COS值来评估面部特征的相似度,数值越低表示两张面部图像越相似。

💡SEED

SEED值用于控制Midjourney生成图像的随机性。在视频中,通过设置相同的SEED值来控制变量,以便更准确地评估CREF参数对面部迁移效果的影响。

💡局部重绘

局部重绘是指对Midjourney生成的图像的特定区域进行修改或细化的过程。视频探讨了通过降低CW值并进行局部重绘是否能提高面部迁移的相似度。

💡IP-Adapter

IP-Adapter是Midjourney中用于生成图像的一种技术,与FaceID和InstantID不同,它更侧重于根据参考图像生成新的角色特征。视频中提到CREF参数可能采用的是IP-Adapter技术。

💡写实风格

写实风格指的是生成的图像风格接近真实世界的摄影或绘画作品。视频主要关注于使用Midjourney的CREF参数生成写实风格的亚洲人面部迁移效果。

Highlights

Midjourney新上线的角色参考参数CREF(character reference)用于面部迁移

CREF参数在亚洲人面部迁移的效果测试,使用简单提示词以发挥CREF最大效果

通过ComfyUI的面部数据识别节点计算相似度,得到EUC和COS两个数值

EUC和COS数值越低,表示与参考图越相似,EUC<0.8和COS<0.3为相似标准

测试CREF参数提交多张图片时,MJ出图的相似度是否会提高

CREF参数出图后,通过局部重绘是否会提高面部相似度

结合SREF参数使用CREF参数,是否会提升面部迁移的相似度

CREF参数对男性面部迁移的效果普遍优于女性

小孩的面部迁移效果比大人好,但并非绝对

CREF参数在写实风格亚洲人面部迁移中表现并不理想

垫图数量与最终出图相似度没有明确关系,有时甚至起反效果

CREF参数结合局部重绘的效果有限,不推荐作为首选方法

CREF参数与SREF参数结合使用,与只用CREF参数的效果差别不大

CREF参数更适用于MJ生成的图片,而非真人照片

通过刷图可能更快获得相似度高的面部迁移结果

CREF参数可能基于IP-Adapter技术而非FaceID或InstantID

实验结果显示,CREF参数在真人面部迁移方面仍有提升空间