[CVPR 2024 Highlight] 4D-DRESS: A 4D Dataset ofReal-World Human Clothing With Semantic Annotations

Summary

4D Dress数据集是首个提供真实世界人类服装的4D数据集，包含了64种不同的服装和520个动态动作片段。每个序列由150个带纹理的人体扫描组成，并在顶点级别进行语义标注，这些标注与注册的身体模型相结合，允许提取服装网格。该数据集的一半序列包含宽松的外衣，如夹克和大衣。4D Dress采用了半自动无模板的4D人体解析流程，通过多视图图像渲染和2D解析结果的融合，实现了高质量的顶点级标注。数据集提供了32名受试者的高质量4D纹理扫描，包括内外服装、精确的顶点级语义标注、多视图系统捕获的图像及其对应的像素标签，以及穿着提取服装网格的注册参数化身体。定义了六个语义类别：人体皮肤、头发、鞋子、上装、下装和外衣。特别是，数据集中的一半包含了具有宽松服装的高动态动作。4D Dress不仅支持各种基准测试任务，如服装模拟、人体重建测试，还设计了新的基准测试，用于评估人体表示学习任务，展示了其作为真实世界4D服装数据集的潜力，并为服装模拟、重建和其他相关任务提供了挑战性的基准。

Takeaways

• 👗 4D Dress是首个提供真实世界人类服装的4D数据集，包含语义注释。
• 👚 数据集包含64种不同的服装和520个动态运动剪辑，每个序列由150个纹理扫描组成。
• 🎽 每个扫描都与语义注释一起提供，这些注释位于扫描网格的顶点级别。
• 🧥 数据集中一半的序列包含宽松的外衣，如夹克和外套。
• 📚 现有的4D服装数据集分为两类：合成数据集和记录扫描提供真实数据的数据集。
• 🔍 4D Dress是首个具有高质量纹理扫描视频和顶点级语义注释的数据集。
• 🛠️ 为了获得顶点级注释，开发了一个半自动的无模板4D人体解析流程。
• 📈 通过多视图图像渲染和2D解析结果的结合，然后将这些标签投影回3D顶点，并进行图割优化。
• 🧍‍♂️ 4D Dress数据集包含32名受试者，每人两种不同的服装，总共78,000帧。
• 🏷️ 定义了六个语义类别：人类皮肤、头发、鞋子、上衣、下衣和外衣。
• 🤸‍♀️ 数据集包含高动态运动，特别是包含宽松服装的部分。
• 📊 使用4D Dress评估了各种基准任务，包括服装模拟、人体重建测试和多视图图像的人体图像解析任务。
• 🌟 4D Dress不仅提供了第一个真实世界的4D服装数据集，还为服装模拟、重建和其他相关任务提供了一个具有挑战性的基准。

Q & A

4D dress数据集的主要特点是什么？

4D dress数据集是首个提供真实世界人类服装的4D数据集，包含64种不同的服装和520个动态动作剪辑。每个序列由150个有纹理的扫描组成，这些扫描是穿着服装的人体模型，并且每个顶点都有语义注释。此外，数据集还包含内层和外层服装网格，并且一半的序列包含宽松的外层服装，如夹克和外套。

4D dress数据集中的动态动作剪辑是如何构成的？

4D dress数据集中的每个动态动作剪辑由150帧组成，总共包含78,000帧。这些剪辑不仅包含内层服装，还包含精确的顶点级语义注释，以及在多视图系统中捕获的图像和相应的像素标签。

4D dress数据集如何实现顶点级别的语义注释？

为了获得顶点级别的注释，开发了一个半自动的、无需模板的4D人体解析流程。首先将当前帧和前一帧的扫描渲染成多视图图像，然后利用并结合2D中的不同解析结果，包括人体图像解析器、光流传输和掩码分割工具，然后将所有这些多视图标签投影回3D顶点，并通过图割优化融合。

4D dress数据集在服装模拟方面有哪些应用？

4D dress数据集用于服装模拟，使用规范的布料模板和注册的身体动作来模拟穿着人体模型的完整序列。在服装模拟基准测试中，使用4D dress数据集对现有方法进行了评估，发现在模拟具有挑战性的宽松服装时存在失败的情况。

4D dress数据集如何支持人体图像解析任务？

4D dress数据集提供了多视图捕获的图像和相应的像素标签，这些可以用来评估和改进人体图像解析任务。在多视图捕获的图像上，还评估了基于视频的人体重建方法，并设计了一个新的基准来评估人体表示学习任务。

4D dress数据集中定义了哪些语义类别？

4D dress数据集中定义了六个语义类别，包括人体皮肤、头发、鞋子、上衣、下衣和外衣。特别是，数据集中的一半包含了具有宽松服装的高动态动作。

4D dress数据集如何促进未来研究？

4D dress数据集不仅提供了第一个真实世界的4D服装数据集，而且是一个具有挑战性的基准，可以支持广泛的任务，包括服装模拟、人体重建和其他相关任务，从而推动未来研究的发展。

4D dress数据集中的服装模拟基准测试是如何进行的？

在服装模拟基准测试中，使用4D dress数据集来模拟穿着人体模型的完整序列，评估现有方法在模拟具有挑战性的宽松服装时的表现。

4D dress数据集中的人体重建测试是如何进行的？

4D dress数据集中的人体重建测试通过评估基于视频的人体重建方法来进行，这些方法在多视图捕获的图像上进行评估，以测试它们在处理真实世界服装数据时的性能。

4D dress数据集中的多视图图像是如何生成的？

多视图图像是通过将当前帧和前一帧的扫描渲染成图像来生成的。这些图像随后用于结合不同的2D解析结果，以实现更准确的3D顶点注释。

4D dress数据集中的图割优化是什么？

图割优化是一种数学方法，用于将多视图标签投影回3D顶点后，将这些标签融合在一起，以获得高质量的、时间上一致的顶点注释。

4D dress数据集中的手动校正在何处进行？

在极少数需要手动校正的情况下，4D dress数据集允许在多视图渲染的标签内进行手动校正，以确保顶点注释的准确性和一致性。

4D dress数据集如何支持服装模拟重建和其他相关任务？

4D dress数据集提供了高质量的4D纹理扫描、精确的顶点级语义注释以及内层和外层服装网格，这些资源可以用于支持服装模拟重建和其他相关任务，如人体表示学习，从而促进这些领域的研究和开发。