(4)医用口罩
在冠状病毒持续蔓延期间,ZapWorks公司推出了基于AR的教育应用程序,旨在指导用户如何正确佩戴医用口罩。从技术上来说,该应用程序也是基于3D 面部标志检测方法。与试戴眼镜应用程序一样,这种方法允许接收有关面部特征的信息和进一步的蒙版渲染。
(5)帽子
鉴于面部标志检测模型运行良好,另一个经常模拟的AR项目是帽子。正确渲染戴在头上的帽子所需的一切就是几个关键点的3D坐标,这些关键点指示太阳穴和前额中心的位置。而QUYTECH、Banuba和Vertebrae等公司已经推出了虚拟帽子试戴应用程序。
(6)服装
与鞋子、帽子、眼镜和手表相比,虚拟试穿3D衣服仍然是一个挑战。原因是服装由于质地柔软会变形。因此,为了获得正确的AR体验,深度学习模型不仅要识别人体关节上的基本关键点,还要识别3D身体形状。
以深度学习模型DensePose为例,它旨在将一个人体的RGB图像像素映射到人体图像的3D表面,研究发现它仍然不太适合增强现实。DensePose的推理速度不适合于实时应用程序,人体网格检测对三维服装项目的拟合精度不够。为了提高结果,需要收集更多的带注释的数据,这是一项耗费时间和资源的任务。
另一种方法是使用2D服装项目和2D人物轮廓。Zeekit公司就是这么做的,让用户可以将多种服装类型(连衣裙、裤子、衬衫等)应用到他们的照片中。
严格来说,2D服装图像传输的方法不能被视为增强现实,因为“现实”意味着实时操作,但它仍然可以提供不同寻常的沉浸式用户体验。其背后的技术包括生成对抗网络、人体姿势估计和人体解析模型。2D服装转换算法如下所示:
(1)识别图像中与身体各个部位相对应的区域。
(2)检测已识别身体部位的位置。
(3)产生转换衣服的扭曲图像。
(4)将扭曲图像应用于具有最少产生伪影的人物图像。
2D布料转移实验由于虚拟更衣室并没有现成的预训练模型,因此使用ACGPN模型对该领域进行了研究。其想法是在实践中探索该模型的输出,通过利用各种方法进行2D布料转换。
该模型应用于约束条件下(训练数据集样本、VITON样本)和无约束(任何环境)条件下的人物图像。此外,不仅通过在自定义人物图像上运行模型,而且还使用与训练数据完全不同的自定义服装图像来测试模型能力的限制。
以下是在研究期间收到的结果示例: