技术报告
三维表示技术研究报告

图生 3D 如何摆脱“泥塑感”:几何细节、材质解耦与资产验收

为什么图生 3D 的轮廓已经相似,模型仍像一团泥?本报告将问题拆为观测不足、几何频率损失、材质与光照混叠及导出退化,结合 TRELLIS.2、Hunyuan3D 2.1、Wonder3D 等公开方法,推导像素、体素与纹理预算之间的关系,并给出工业产品的诊断、修复和对照验收流程。

图生 3D 的“泥塑感”并不是一个严格定义的算法指标,而是几类错误在视觉上的叠加:直边鼓起、薄片粘连、孔洞消失、表面细节像被涂抹,以及金属、塑料和橡胶呈现近似的反光。要改善它,需要找到信息在哪一步丢失,再选择对应的修复方法。本文基于公开论文、官方实现和渲染规范展开技术分析;计算案例与验收方案为工程推导,不是壹典或所引模型的实测成绩。

核心判断

摆脱泥塑感的关键,是让可观测的形状细节、可表达的几何结构和可重新打光的材质分别成立,并证明这些信息在导出及目标引擎中没有再次丢失。

  1. 01拆分视觉症状
  2. 02核对输入证据
  3. 03建立尺度预算
  4. 04修复几何结构
  5. 05分离材质光照
  6. 06验证最终资产
方法结构示意

01先定位:泥塑感到底发生在几何、着色还是交付环节

最容易走错的第一步,是看到表面发糊就同时提高面数、锐化贴图、降低粗糙度。几何法线由真实表面决定,着色法线则可经过顶点插值或法线贴图修改。后者能改变高光,却不能重新打开被填平的孔洞,也不能恢复缺失的轮廓。PBRT 对这两种法线的区分,提供了一个实用的诊断起点:先判断形体是否存在,再判断光是否被正确反射。[1]

建议固定相机、曝光和色彩管理,保存同一资产的四种诊断输出。第一种只看轮廓和深度;第二种使用统一中性材质,关闭法线贴图、AO 和装饰性后期,并对照面法线与平滑法线;第三种直接显示不受光照影响的 base color;第四种恢复完整 PBR,在相机不动时旋转光源,再在光源不动时旋转相机。这是本文提出的排查顺序,各输出回答不同问题。

轮廓、深度已经错误,优先修输入约束、几何表示和表面提取。面法线下结构正确、平滑后棱线融化,优先修法线分裂、平滑组和切线基。颜色直出仍有定向阴影或固定高光,优先修材质与光照混叠。制作软件中正常、进入网页或其他引擎后变泥,先检查导出和导入配置,不应立即更换生成模型。已有的从视觉表示到可编辑三维资产一文讨论了表示转换,本报告进一步追踪转换链中的局部信息损失。

  • 轮廓与深度:检查形状是否真实存在。
  • 统一材质与法线对照:分离几何错误和着色错误。
  • 无光照颜色:检查阴影、高光是否被写进颜色。
  • 转灯、转相机及目标引擎复现:检查材质和交付一致性。

02单图欠约束:新增像素和新增观测不是同一件事

可以把成像写成 I = R(G, M, L, C):图像 I 由几何 G、材质 M、光照 L 和相机 C 共同产生。单张图中,一个暗区可能是凹槽,也可能是涂色或阴影;一个明亮边缘可能来自倒角,也可能只是镜面反射。多组参数能够解释相近的像素,因此只降低输入视角的 RGB 误差,可能让纹理代替几何承担解释任务。nvdiffrec 对形状、材质与光照的联合优化说明,这些变量需要放在同一问题中分析,而不是把照片颜色直接视为表面属性。[2]

对于真实产品,新增侧面、背面和局部近摄应来自同一物体、同一装配状态,并保留相机或尺度依据。对于概念图,生成视图可以帮助提出候选形状,但不能变成对实物的独立证据。由同一张模糊原图生成八张清晰图,也可能只是把同一个错误补全成八种看似一致的表达。

输入检查应落到关键零件:主体抠图有没有删掉细杆,深色开孔有没有被当作背景填平,反光有没有让两块相邻部件看起来粘在一起,缩放后沟槽还有多少像素。超分辨率可以给出更符合先验的外观,不能证明恢复了原图未记录的凹槽深度。需要精确的通风口、螺纹、接口或装配面时,应补充设计图、实拍或测量,必要时改用受约束的局部建模。

03从像素到体素:先建立细节的尺度预算

在近似针孔相机、特征接近光轴且宽度方向平行于像平面的条件下,物理宽度 w 的投影尺寸约为 p = f_px × w / z,其中 f_px 是以像素计的焦距,z 是相机深度。离轴、倾斜和遮挡会改变有效投影,下面只讨论可解释的一阶近似。若 p 已小于一个像素,单张图可能保留该特征对亮度的影响,却很难稳定分开它的两条边,更不能据此保证恢复截面。

对于规则输出网格或稀疏体素表示,可用 Δ ≈ B / R 估计空间采样间距:B 是归一化前包围范围的边长,R 是对应轴上的分辨率。特征跨格数 k = w / Δ 可以帮助识别风险,但不是质量证书。网格方向、特征相位、编码器、解码器以及每格可表达的拓扑,都会影响实际保留能力;不同算法也不能只凭 R 比较。

构造一个算例:产品包围范围为 300 mm,输出分辨率为 1024,则 Δ 约为 0.293 mm;0.5 mm 凸筋只跨约 1.71 格。若 f_px = 1000、拍摄深度 z = 600 mm,它在输入图中仅约 0.83 像素。把输出分辨率提高到 1536,跨格数增加到 2.56,但输入证据仍是 0.83 像素。此时增加计算可能改善先验补全,不能证明凸筋已经按实物恢复。

这些尺度必须在模型真正使用的裁剪、去背景和缩放之后重新计算。输入文件是 4K,并不表示网络看到了 4K 的局部证据;输出有百万三角面,也不说明这些面携带百万份独立结构信息。潜空间 token 数、VAE 下采样倍率、体素分辨率和最终面数各描述不同阶段,不能相互替代。应把预算优先给会改变轮廓、遮挡、功能识别或后续编辑的细节。

  • 输入预算:关键结构在实际模型输入中覆盖多少像素。
  • 表示预算:结构宽度、壁厚和相邻表面间距相对采样尺度有多大。
  • 交付预算:经过重网格、减面和烘焙后,结构是否仍被保留。

04表示选择:不要把泥塑感简单归罪于 SDF

符号距离场 SDF 描述到表面的距离及内外符号。闭合实体完全可以有空腔、有厚度的薄壳和多个边界;“SDF 只能生成实心物体”是不准确的。开放的零厚度曲面、非流形连接以及多个近邻表面,是不同的表达难题。实践中还应区分表示本身与数据处理:把训练资产统一水密化、封闭开口或删除内部零件,会在模型学习之前损失信息。

Hunyuan3D 2.1 的公开形状路线使用 ShapeVAE、SDF 解码与表面提取,其资料包含针对锐特征的采样设计。这提示我们检查采样、压缩和解码,而不是看到 SDF 就预设一定圆钝。[3] FlexiCubes 则研究可优化的等值面提取参数,说明表面提取过程本身也可以影响最终网格质量。[4]

TRELLIS.2 的 O-Voxel 使用灵活对偶网格和稀疏局部属性,面向开放表面及复杂拓扑,并在几何位置上组织材质信息。[5] 但其论文附录明确讨论了亚体素结构混叠:距离过近的表面进入同一局部单元,仍可能出现几何折中和材质平均。[6] 因此更换表示能够缓解某些瓶颈,却不能取消输入与离散化的限制。

选型应通过同一组失败样本来决定:薄片是否被增厚,孔洞是否封死,重复筋条是否粘连,开放边界是否保留。对已知几何做“编码—解码—导出”的回环测试尤其有价值。如果回环已经丢失某种细节,优先改表示和压缩链;如果回环保留而条件生成丢失,再追查图像条件、训练分布及生成阶段。这样能把模型能力不足与表达容量不足分开。

05几何修复:让深度、法线和锐边约束各司其职

颜色相似不代表表面正确。Wonder3D 联合生成多视角颜色与法线,并用法线融合约束表面;Unique3D 进一步研究高分辨率多视图与直接网格优化。[7][8] 对工程实现而言,可借鉴的是跨视角约束的组织方法。由模型预测的法线同样可能互相矛盾,不能把所有像素都当作同等可靠的测量。

对于可控制的重建或细化阶段,可以设计 L = λs·Ls + λd·Ld + λn·Ln + λe·Le + λr·Lr。这里 Ls 比较轮廓,Ld 比较有效区域的深度,Ln 比较统一坐标系中的法线方向,Le 约束经确认的结构边缘,Lr 抑制不必要的表面噪声。它是本文的工程组织方式,不是某篇论文的原始损失函数;各项需要按尺度归一化,权重应通过对照验证确定。

例如,法线项可采用带置信度的方向误差 Σ qᵢ·ρ(1 − nᵢ·n̂ᵢ) / Σ qᵢ,nᵢ 与 n̂ᵢ 均为单位法线,qᵢ 是可靠性权重,ρ 是鲁棒惩罚。使用前要处理可见性、遮挡、法线朝向和相机坐标变换,Σ qᵢ 为零的区域不参加这一项。锐边两侧本来就允许法线不连续,不应把跨边缘的一致性当作全局平滑目标。

相机误差会伪装成几何误差。在近光轴区域,对于小幅偏航或俯仰误差,相应方向的像素位移可粗略估计为 δu ≈ f_px·δθ,角度用弧度。若 f_px = 1000,姿态偏差 0.2° 对应约 3.49 像素;它可能已超过待恢复沟槽的宽度。此时继续提高法线监督权重,可能让表面长出波纹以迁就错误投影。应先校准相机,再优化几何。

锐边处理也应服从设计意图:面法线分裂和加权顶点法线只能修着色;缺失的实体棱边要改网格,真实倒角则需要保留有限半径。把所有边都锐化,会让本来圆润的注塑件失真。对于标准孔、平面接口和重复格栅,依据已知尺寸进行参数化重建,通常比反复对不确定表面做全局锐化更容易验收。

06材质解耦:为什么一张清晰贴图仍会像泥

照片像素包含照明。若直接把高光和阴影投影为 base color,换灯后旧阴影仍留在原处,新高光又叠加上来。几何即使正确,也会出现厚重、发蜡或脏污的观感。IntrinsicAnything 研究利用先验分解材质与光照;Material Anything 则面向三维对象生成相互一致的 PBR 材料。这些工作解决的是外观参数的推断,不能替代错误形状的修复。[9][10]

以可复查的 Hunyuan3D-Paint 2.1 为例,其论文说明了 albedo、metallic 和 roughness 的多视图生成,以及跨分支、跨视图对齐和降低光照污染的训练设计。几何渲染出的 normal 是条件信息,不能因此声称模型交付了独立的 normal map。[3] 选用工具时,应逐项核对实际输出及其含义,而不只检查界面是否写着“PBR”。

粗糙度控制微表面的反射分布,金属度对应金属—电介质模型中的材料属性;它们都不是通用的清晰度旋钮。[11] 整体降低粗糙度,可能让塑料、橡胶和金属一起变亮,并把原来不明显的法线波纹暴露出来。应先根据部件和材料区域建立可解释的分区,再检查同一部件在不同光照下的响应是否合理。真实的磨砂材质也不应为了显得高级而被改成镜面。

本文建议为每个关键部件保留三份对照:原始生成材料、仅替换为受控基准材料、重新估计的材料。几何固定时,若基准材料能消除泥感,说明材质分解或导入值得优先处理;若依然圆钝,则应回到几何。这一实验比同时重跑形状和纹理更容易回答究竟哪一步带来了改善。

07纹理与导出:4K 标签不能替代局部采样和正确接线

纹理总分辨率需要结合 UV 面积分配理解。作为近似预算,设正方形纹理边长 T、有效利用率 η、覆盖表面积 A,均匀且近似无畸变时,等效平均线性密度约为 ρ = √(η·T²/A)。若 A = 300000 mm²、T = 2048、η = 0.6,则约为 2.90 texel/mm;0.2 mm 的线宽只分到约 0.58 texel。纹理边长翻倍后也仅约 1.16 texel。这只是构造估算,实际局部 UV 畸变和分区会产生更大的差异。

处理时先显示棋盘格,检查局部拉伸、接缝和最重要部件的 texel 密度,再决定重新展开、调整分配还是增加纹理分辨率。烘焙应在目标拓扑和法线约定稳定后执行,并检查投射是否穿到相邻薄片、UV 岛边缘的扩边是否足够,以及缩小到目标 mip 层时是否串色。细密划痕可以交给法线或材质图;会改变外轮廓、产生真实遮挡的缺口,应保留几何。

glTF 2.0 规定 base color 的 RGB 按 sRGB 解释,metallic-roughness 与 normal 作为线性数据;metallicRoughnessTexture 的 G 通道是粗糙度,B 通道是金属度。法线贴图还依赖正确的切线基。[12] 错误的色彩空间、通道或切线约定,足以让同一套数据呈现不同的高光和凹凸。应以明确的测试球、平面和已知凹槽检查导入,而不是凭一张产品截图反复调参数。

属性存在与正确显示也要分开。TRELLIS.2 官方导出示例提示 GLB 默认使用 OPAQUE 模式,即使纹理保留 alpha,也需要正确启用透明显示。[13] 此外,透明覆盖不等于完整的透射、折射和体积吸收;透明件的结果还取决于目标材质模型。对最终 GLB 重新导入并重复诊断,是交付环节不可省略的一步。

08追踪信息损失:把后处理拆成可比较的阶段

建议保留四个不可混淆的版本:模型或解码器原始输出、提取后的网格、重网格与减面结果、完成 UV 和材质烘焙的交付文件。每一阶段保存同一组相机下的轮廓、深度和法线图。如果原始网格有通风孔而最终文件没有,应先定位到具体后处理,不能把结果直接归因为生成模型不行。

重网格可以改善面片分布,但也可能把邻近表面合并或把尖角变成圆角;减面需要同时保护轮廓、部件边界和材质接缝,不能只给一个总面数。高分辨率模型减到低面数之后,细节是否可由法线烘焙承接,也取决于它会不会影响轮廓和遮挡。不能承接的部分应保留网格,或明确降低目标用途。

可用归一化轮廓误差 e_s = d_boundary / D_px 记录局部退化,其中 d_boundary 是约定统计量下的轮廓边界距离,D_px 是画面中的物体尺度。比较时还应保留绝对像素误差和关键区域结果,防止大物体的归一化掩盖小零件损失。这个指标不是制造公差,也不能替代三维测量;其价值在于判断同一资产在哪一步开始变差。

训练自有模型时也可采用同样分解:先用参考资产测试数据转换损失,再测试编码—解码损失,最后测试条件生成。数据集中对薄片、开孔、锐边和相邻材质的清洗与标注要分别审核。若训练预处理已把所有开口封住,继续增加生成器规模,并不能可靠学回被统一删除的结构。

09构造案例:一台带格栅的工业控制盒如何排查

以下案例用于说明决策过程,不包含真实客户数据或模型测试结果。假设控制盒包围范围为 240 mm,侧面格栅间隙为 1.2 mm,壳体设计倒角半径为 0.6 mm,包含涂层金属外壳、塑料旋钮和橡胶脚垫。目标是近距离网页展示与设计评审,孔洞存在、主要比例和材料区分必须成立,但不声称交付制造级 CAD。

若被检查面的 240 mm 物理宽度对应 512 像素输入图的 80% 宽度,且该面近似正对相机,1.2 mm 间隙仅约占 512 × 0.8 × 1.2 / 240 = 2.05 像素。输出轴向分辨率 512 时,Δ 约为 0.469 mm,间隙约跨 2.56 格,0.6 mm 倒角半径约为 1.28 格。它们是需要重点检查的细节,不是根据数值即可判定合格或失败。

首先核对原图与抠图,确认格栅间隙没有在缩放或分割中消失;再补拍该区域或引入设计尺寸。几何生成后,先看侧面轮廓、斜视遮挡及穿孔是否成立。若间隙已被封死,增加贴图分辨率没有意义;可以尝试更合适的表示或细化,规则格栅也可以依据确认尺寸局部重建。

其次固定网格,把三个材料区域分别换成受控基准材质,排查原颜色中是否残留高光和阴影。若壳体仍出现宽大的鼓包高光,再对照实际几何和顶点法线。最后逐级减面、烘焙和导出,在目标网页查看器中重测。只有交付文件保留了格栅、倒角和材质响应,这次修复才算完成。

10建立验收协议:不要让平均相似度掩盖关键失效

建议测试集按硬表面、薄片开孔、重复小结构、混合材质和强反光对象分组,另设没有清晰背面观测的样本。每个样本标出少量影响使用的关键区域。CLIP 或其他语义相似度可以帮助检查对象身份,却不能证明某个孔洞贯通;整体图像相似也可能由大面积正确背景或平面贡献,掩盖局部失败。

有参考几何时,可在记录单位、配准方法和尺度处理方式之后,组合对称表面距离、法线角度和阈值相关的 F-score;有物理尺度约束时,不应通过自由缩放配准悄悄消除尺寸误差。还应单独检查薄件存活、连通关系和预期边界。开放曲面是否允许非流形,需要由用途约定,不能对所有视觉资产统一要求水密。

没有参考几何时,验收可以证明多视图一致性、已知尺寸符合程度、可编辑性和目标环境可用性,不能声称恢复了真实背面或给出几何准确率。材质评估需要保留未参与拟合的相机或光照条件,并固定曝光和色彩管理;否则更换环境光带来的美化可能被误记为模型提升。

对照实验至少分开几何调整、材质调整和导入修正。模型版本、输入预处理和随机种子保持可追溯;用一组固定种子而非单张最佳结果比较生成成功率,并将失败样本计入。每个方案报告关键区域通过数、人工修复时间、推理及处理成本、文件大小和目标设备表现。先约定何种缺陷阻断交付,再比较平均质量。

一个可执行的最小验收包,应包括输入及尺度依据、模型与参数版本、各阶段资产、关键区域截图、固定测试场景和失败说明。具体阈值由用途、观察距离与错误代价确定:营销预览、设计评审、交互应用和制造准备不应共享一个没有依据的“合格分数”。

  • 几何:轮廓、孔洞、薄件、锐边及尺寸分别检查。
  • 材质:固定几何,比较颜色直出及不同光照下的响应。
  • 交付:检查最终文件在目标软件与目标设备上的结果。
  • 成本:把重试、人工修复和失败样本纳入有效资产成本。

11实施路径:先修最早丢失的信息,再决定是否重训

已有模型能生成合理几何时,优先排查材质分解、UV、法线和引擎导入,这类问题通常不需要重新训练形状模型。若关键结构在输入中可见、在原始生成结果里却反复消失,可用同一失败集比较更适合的表示、局部重建或几何约束。只有在确认数据与表示能够保留目标细节后,才值得考虑针对领域样本的训练投入。

训练数据应保留几何、材料和采集条件之间的关系,避免把有照明的 RGB 图统一当作 albedo 真值;数据划分应按对象及近重复资产隔离,防止同一物体换视角进入测试集。评估集可以有意识地增加薄片、锐边和开孔对象,但训练采样不应无差别放大所有高频信号,否则扫描噪声也可能被学成细节。

当某一类结构在自动流程中的修复成本持续高于局部重建,应该保留混合工作流:模型负责大形与候选外观,规则建模负责已知尺寸和重复结构,材料处理负责可重新打光的表面。评价依据是合格资产的总交付成本,不是单次生成速度,也不是自动化比例。

壹典的图生 3D 能力页将目标表述为让生成资产进入后续设计工作。落实到泥塑感问题,应把输入证据、几何检查、材质测试和最终文件验收放进同一交付过程。针对具体产品,应先用有代表性的样本确定可用边界,再讨论接入范围;本文没有提供足以承诺特定模型精度或制造公差的实测依据。

参考资料

  1. [1]
  2. [2]
  3. [3]
  4. [4]
  5. [5]
  6. [6]
  7. [7]
  8. [8]
  9. [9]
  10. [10]
  11. [11]
    Physically Based Rendering in Filament

    Romain Guy and Mathias Agopian, Google

  12. [12]
  13. [13]

文中引用的公开研究与工程成果归原作者所有。本文的整理、分析与观点不代表原作者立场,也不构成壹典的产品性能承诺。

继续探索焕羽 HuanYu
鲁ICP备2024109755号-2
可拖动移动。右键、长按或按 Shift+F10 可选择停靠位置。