Zero123是一款先进的AI模型，专注于视图条件图像生成，通过三项关键创新，实现了与之前版本Zero123-XL相比的显著改进。它能够生成展示物体从不同角度3D外观理解的新颖视图，提供比Zero1-to-3或Zero123-XL更高质量的图像。

主要创新：

1. 改进的训练数据集：

• 从Objaverse中筛选出高质量的3D对象进行渲染，确保生成的对象更加逼真。

2. 估计的摄像机角度：

• 在训练和推理过程中提供给模型，使得预测结果更明智、质量更高。

3. 预先计算的数据集和改进的数据加载器：

• 支持更高的批量大小，提高了训练效率，与Zero123-XL相比提升了40倍。

模型特性：

• 高质量的图像生成：

• 稳定的Zero123能够生成具有高3D理解的新颖视图图像。

• 资源消耗优化：

• 基于稳定扩散1.5，与SD1.5相同VRAM消耗生成新视图。

• 3D对象生成：

• 生成3D对象需要更多时间和内存，建议使用24GB VRAM。

开源贡献与研究支持：

• 改进的Threestudio开源代码：

• 支持Zero123和Stable Zero123，简化了Stable 3D流程。

• 文本到3D生成流程：

• 结合SDXL和Stable Zero123，实现从文本到单个图像再到3D对象的生成。

资源链接：

• Zero123项目：

• GitHub项目链接

• Zero123试用：

• Hugging Face试用链接

• Zero123论文：

• arXiv论文链接

模型获取：该模型现已在Hugging Face平台发布，研究人员和非商业用户可以下载模型进行实验和研究。