2D图片建3D的一点记录

最近一段时间有接触”从2D图片中重建物体3D形状“的技术问题，这里做一点梳理。

”从单张图片中重建物体的3D形状”是3D重建领域下的一个分支问题。相比于传统的使用结构光，深度摄像头，以及SFM/SLAM等多视图的重建方法，该技术只需要输入单张图片，硬件成本低且使用方便。在精度要求不高，希望便捷易用的场景有较大发展潜力。

1.技术上解决从2D图片生成3D形状，首先要解决3D形状怎么表示的问题，有以下方法：

跑了开源代码的提供的demo，未进一步深入了解。三种方法技术上比较相似。都使用Shapenet做训练数据集，输入3D模型和模型对应的2D图片，通过普通CNN网络提取2D图片的特征，再通过图卷积等网络将2D特征和3D形状融合到一起。个人理解特征提取和特征融合还是算法的关键。

体素方法可以很容易的表示3D形状，但比较粗糙；点云方法更易于计算，但不好表示3D形状；mesh方法能获得较光滑的物体表面。推荐mesh+图卷积的方法作为单图片3D重建的技术方向。

2.了解技术方法后，最关心的问题是，”训练模型需要什么样的数据“？收集了常用的几个公开数据集

其中ShapeNet使用CAD模型，图片实例背景干净；Pix3D使用真实场景的图片。数据集的特征：

　　1）需要提供图片对应的3D模型作为标注信息，一个3D模型对应数量不定的图片

　　2）需要大量2D图片数据，从模型的不同角度获得图片，再混合其他图片进行扩充

目前这些数据集都没有包含物体的纹理信息，如颜色，表面纹理等等；另外都是人造物体，其形状和大小容易控制，如果在自然物体上应用，如食材等可能存在挑战。单图3D重建的算法比分类，检测算法更复杂，要在嵌入式端落地在算力上有困难。

2D图片建3D的一点记录

原文：https://www.cnblogs.com/QJuse/p/12302630.html