春节期间《你好李焕英》电影以42亿票房,火遍全球,赚足了我们的眼泪,各位宝宝们都默默在心里保证:我一定要听妈妈的话两天,哦不,一周。<(罒ω罒)>
《你好,李焕英》也同样触碰了B站知名Up主,独立艺术家——大谷Spitzer内心最柔软的部分,并应用飞桨PaddleGAN的能力,修复了李焕英年轻时的黑白照片,不仅为照片上色、提高了分辨率,还让静态的人物,从照片里“动起来“!
聪明的开发者们当然不止步于感动流泪,一定要挽起袖子自己动手尝试一下!那么小编这里就为大家详细解析下这个具体的实现过程。
过程中使用了PaddleGAN的相关算法详解如下:
1.黑白照片上色算法:DeOldify
DeOldify 是一种效果卓越的,可以将黑白的影像自动填充上色的深度学习算法,它是采用自注意力机制的生成对抗网络。生成器是一个U-NET结构的网络。在图像的上色方面有着较好的效果。
2.分辨率提升算法:EDVR
这一步就是将低分辨率的图片的分辨率提高,使影像的清晰度及细腻度增强。
PaddleGAN支持EDVR模型来进行分辨率提升,它提出了一个新颖的视频具有增强可变形卷积的还原框架:第一,为了处理大动作而设计的一个金字塔,级联和可变形(PCD)对齐模块,使用可变形卷积以从粗到精的方式在特征级别完成对齐;第二,提出时空注意力机制(TSA)融合模块,在时间和空间上都融合了注意机制,用以增强复原的功能。对视频的分辨率提升有很好的效果。
3.脸部动作迁移算法:First Order Motion
First Order Motion model的任务是给定一张静态的源图片,以及一个对应的带有面部表情的驱动视频,生成一段新的视频。在这个新的视频中,主角是源静态图片中的任务,而面部表情动作是驱动视频中人物的表情。First Order Motion也可以驱动人体的动作,原理是相同的,通常情况下,我们需要对源人物进行人脸关键点标注、进行表情迁移的模型训练。
是不是已经迫不及待要去尝试一下了? 小编赶紧送上传送门: