LivePortrait:把静态肖像变为生动的视频

10 个月前 艺术娱乐 157

LivePortrait,旨在使用源图像作为外观和驱动视频、音频或文本作为动作,将静态肖像动画化为生动的视频。

简单的来说,就是改变目标的头部,使其做出不同的表情和头部动作。

Demo

LivePortrait不仅能将静止图像拼接成肖像动画(涵盖各种风格的包括写实、油画、雕塑、3D 渲染等和不同尺寸的人像,甚至连动物也包括在内)

与现有技术的对比

与以往的方法相比,为了增强生成质量和泛化能力,快手将LivePortrait的训练数据扩大到约6900万高质量帧。

同时网络架构得到升级,设计了新的运动变换和优化目标。

框架包括拼接和两个重定向模块(针对眼睛和嘴唇),这些模块以最小的计算开销增强了动画的控制性。

我们可以给出新的眼睛和嘴巴张开的程度,结合原视频或图片,就可以自主调节眼睛和嘴巴张开的程度,使得我们对于视频的把控更加精准和多样。

应用前景该项技术最大的应用场景是在电影或动漫的制作当中去。

在制作电影的过程中,如果对演员的表情不满意需要修改的话不需要再进行二次拍摄,只需要运用该种技术将表情进行更改就能做到。

在制作动漫时会更加轻松,只需要构建出一个人物的脸就能得到该动漫人物的所有表情而不需要每一帧都进行构建,省时省力,能够极大地节约成本!

另外在美术展或雕像展时,可以用该项技术让游客操纵画像或雕塑的表情,能够让游客更加感兴趣。

项目链接:https://github.com/KwaiVGI/LivePortrait

相关资讯