总的来说,该技术有其局限性。但是,如果它与业务用例相匹配,那么创建要使用的正确3D图像并不困难。
(2)鞋类
Wanna Kicks和SneakerKit应用程序很好地展示了AR和深度学习技术如何应用于鞋类。
从技术上来说,这种解决方案利用了基于深度学习的足部姿态估计模型。该技术可用于全身3D姿态估计模型的特殊情况,该模型直接或通过将检测到的2D关键点的位置推断为3D坐标,来估计3D维度中所选关键点的位置。
3D足部姿势估计
一旦检测到试穿者足部的3D关键点的位置,就可以用于创建足部的参数化3D模型,并根据参数化模型的几何特性对鞋类3D模型进行定位和缩放。
在检测到的足部参数化模型上定位鞋类的3D模型
与全身/面部姿态估计模型相比,足部姿态估计仍然存在一定的挑战。主要问题是缺乏模型训练所需的3D注释数据。
但是,避免这一问题的最佳方法是使用合成数据,该数据假设渲染具有关键点的逼真3D足部模型并使用该数据训练模型;或者使用摄影测量法,它假设从多个2D视图重建3D场景,以减少需要标记的数量。
这种解决方案在技术方面要复杂得多。为了使其解决方案推出市场,需要收集足够大的足部关键点数据集(使用合成数据、摄影测量或两者的组合),训练定制的姿态估计模型(即将结合足够高的准确性和推理速度),测试其在各种条件下的稳健性并创建足部模型。从技术上来说,这是一个中等复杂度的项目。
(3)眼镜
FittingBox公司和Ditto公司考虑将虚拟现实(AR)技术用于虚拟眼镜试戴。用户应该从虚拟目录中选择一款眼镜然后戴上。
虚拟眼镜试戴和镜片模拟
该解决方案基于深度学习的姿态估计方法,用于面部标志点检测,其中通用注释格式包括68个2D/3D面部标志点。这种注释格式允许以足够的准确度区分面部轮廓、鼻子、眼睛、眉毛和嘴唇。用于训练人脸标志估计模型的数据可能取自FaceAlignment等开源库,提供开箱即用的人脸姿势估计功能。
从技术的角度来看,这种解决方案并不复杂,尤其是如果使用任何预先训练的模型作为人脸识别任务的基础。但重要的是要考虑到低质量的摄像头和光线条件差可能是限制因素。