XR是什么
XR是D5渲染器推出的端到端(客户端到web端)的3D高斯溅射(3D Gaussian Splatting)服务,用户可以通过在D5渲染器的场景中架设相机矩阵模板,对一个模型或场景拍摄多张不同角度的照片,然后将这些图片上传到D5服务端通过机器学习将图片重建为一个可以在线浏览分享的3d文件。
案例↓
通俗解释:3DGS 是什么?
想象一下,您用手机拍摄了一段房间的视频。传统方法可能只能生成一个粗略的3D模型,细节模糊且渲染速度慢。而3DGS则通过将场景中的每个点表示为一个具有颜色、位置、大小和透明度的“模糊球”(即高斯函数),并将这些“模糊球”投影到2D图像上进行渲染,从而实现快速且高质量的3D重建。
这种方法类似于将场景中的每个点看作一个光斑,通过叠加这些光斑来重建整个场景。由于高斯函数的特性,渲染出的图像边缘平滑,细节丰富,视觉效果逼真。
为什么这项技术重要?
- 高质量:相比传统方法,3DGS能够更真实地还原场景的细节和光照效果。
- 实时渲染:利用GPU加速,3DGS可以实现每秒30帧以上的实时渲染,适用于虚拟现实(VR)和增强现实(AR)等需要即时反馈的应用。
- 低成本:只需普通的照片或视频,无需昂贵的设备或复杂的建模过程,普通用户也能轻松生成高质量的3D内容。
在D5渲染器渲染XR文件&上传服务器投递训练
1. 右上角的菜单点击 ‘TOUR/XR TOUR’ 的选项,然后编辑编辑进入编辑模式

2. 初次进入编辑模式,需要用户鼠标点击场景中的一处位置,初始化相机矩阵模板的初始中心点

3. 编辑窗口
相机模板的本质是很多个相机均匀的散布在一个物体的表面,同时所有相机都朝向同一个看点,调整合适的位置和尺寸尽量让被拍摄的物体的位置位于相机模板的中心。

模板类型
- 半球型模板:更适合拍摄建筑
- 球型模板:更适合拍产品(或其它需要360度查看的物体)
拍摄精度
- 中:半球形模版(70张左右),球形模版(140张)
- 高:半球形模版(300张左右),球形模版(600张)
4. 预览窗口
切换"预览窗口后",用户可以切换预览TAB通过WASD快捷键,预览最终渲染时每一个机位最终的拍摄效果,并支持统一调整参数。


5. 调整好拍摄的细节后,点击渲染出现渲染设置的弹窗,选择储存位置和分辨率后点击开始渲染。

6. 在本地完成渲染后,就可以一键上传到D5 Showreel平台发起一个 3D Gaussian Splatting 的训练投递,训练完成后,系统会自动发送邮件提示用户查看训练结果。


XR本地客户端操作工作流展示
半球形模板工作流
1. 想要制作一个精致的建筑鸟瞰XR漫游,用户可以使用体裁剪工具,将需要进行三维重建的D5场景进行裁剪,让核心的建筑物尽量位于场景的中心。

2. 选择半球形相机矩阵模板的中心,并通过gizmos组件调整合适的位置

3. 在预览页面中查看相机矩阵的拍摄效果

4. 确认效果后,点击渲染,会一次性渲染相机矩阵中的所有机位

5. 完成渲染后,点击发布到D5 Cloud,客户端会将本地的文件上传到云项目中,投递一个机器学习训练

球形模板工作流
球形模版更适合拍摄产品(家具、电器、日化等),我们建议的编辑方式是将您想要拍摄的模型导入D5场景中,将环境的HDRI文件更改为纯白,然后再对模型使用点光源、面光源进行补光,模拟真实世界中无影棚的效果。然后将球形模版的中心和模版的中心重合,然后进行渲染&投递训练。
训练完成后,在Showreel的训练记录中点击编辑,在【交互编辑器】中查看训练效果

Web编辑器
完成训练后,用户需要在Showreel平台的2中不同的web编辑器中进行一些简单的后处理以获得更好的展示效果
- 交互编辑器:添加热点,修改场景参数,调整初始的预览角度、压缩分享文件大小等.
- 裁剪编辑器:使用多种选择器裁剪您的ply文件
交互编辑器
1. 进入交互编辑器
- 训练完成后,登录Showreel平台打开对应的云项目(编辑权限:上传者&管理员),点击编辑后进入【交互编辑器】
- 刚刚完成训练后,ply的初始角度很有可能与编辑器的世界坐标不匹配,需要用户选中ply文件后,手动旋转ply文件的角度和编辑器的世界坐标系对齐(可参考场景中的网格平面)

2. 在左侧场景列表中选择对应的对象,可以在右侧的参数面板中修改参数

场景列表中:“多媒体热点”“iframe热点”这两种资产支持删除
3. 交互编辑器中增加资产
1. 添加多媒体热点:支持用户在一个弹窗中通过富文本编辑器进行文案排版,图片上传,视频嵌入
2. 添加iframe热点:支持用户粘贴外部网站的URL链接(例如 CRM留资表格,在线图纸),或者iframe嵌入代码(视频播放器的嵌入代码)
4. 发布&取消分享链接
如果想要将在线项目分享给用户,需要在编辑器右上角的发布按钮,发布完成后会出现分享链接或下载二维码海报
- 性能模式:选择性能模式会压缩为原始文件的1/10大小,更适合在移动端设备查看
- 无损模式:不压缩的原始ply文件

在完成发布后,系统会生成分享链接,分享链接中的默认初始视角,会取当前交互编辑器中3d界面中最后一次保存的视角。如果用户在发布过分享连接后,想更新项目(比如裁剪了之前的ply文件),必须重新点击【更新链接】,否则之前分享的联系中的文件仍然是旧文件↓

5. 交互编辑器发布流程
裁剪编辑器
在场景中选择模型,右侧边栏点击“裁剪PLY文件”,进入模型编辑模式。


1. 选择工具
框选:选择矩形区域。
套索选择:使用套索工具自由绘制选区边界。
多边形选择:使用直线套索框选选区的边界。
画笔选择:使用画笔自由绘制区域。
球选择:设置球的半径,即可在场景中选择一个球形区域,添加为选区。

在选择区域之后,可以点击左上角或者使用快捷键对区域进行反选、锁定、删除等操作。
2. 编辑工具
可以对模型进行移动、旋转、缩放以及局部坐标系的切换。
3. 显示模式
对模型进行点云模式、椭球模式显示的切换,使模型便于进行选择等操作。

视频演示不同类型的选择器如何选择要裁剪的部分&反选

外部导出&与其它软件结合的工作流
D5自带的在线XR漫游浏览服务可以帮助用户进行方案分享,交流协作,除此之外还有更加丰富的和其他软件联合使用的场景
*项目列表中↓支持下载ply源文件

应用在自己的官网,网店或软件中
直接将D5的分享链接作为数据源,以iframe的形式插入自己企业的官网或网店中(利用shopify插件),或者在在线文档中使用
导入CESIUM中制作3d项目展示PPT
下载ply到本地后,将文件上传到cesium中制作可交互的3d方案展示PPT
文件下载链接: Cesium鸟瞰
导入Spline制作更复杂的可交互项目或网站开发、数字孪生app软件开发
下载ply到本地后,并利用spline的apk导出服务开发自己的3d app或web应用
下载链接: 案例