简介:表情迁移工具,表情复制,表情模仿,定制化表情
LivePortrait是一个表情迁移定制的AI工具。它可以根据提供的表情视频生成特定用户的表情,达到可以复制表情的目的。LivePortrait可以单独编辑人物图片,生成特定表情,实现定制化表情
官方demo安装过程比较麻烦,需要安装python环境以及python程序相关的扩展包。由于模型托管在huggingface上面,在中国需要科学上网才能访问,导致下载模型需要好几个小时。为了方便大家使用,我把官方demo改成了一个pc端的应用程序,不需要安装python环境,也不需要科学上网下载模型了。
为了方便大家更好的理解程序的运行,我把原本的英文翻译成了中文。还提供了不少的表情模板,大家可以在广场查看表情模板列表。
虽然我们已经做了大量优化,但是CUDA太大了,导致安装达到10G以上,故此CUDA需要自己手动安装。关于电脑CUDA的安装可以看看我之前的文章【windows安装cuda相关扩展】
1. 下载软件
大家可以在公众号发送【emotion_transfer】或者【liveportrait】获取下载链接。
下载的是一个压缩包【emotion_transfer.zip】,解压缩后得到如下目录结构:
双击 emotion_transfer.exe 就可以直接打开,启动应用大概需要30秒,耐心等待一下就好:
2. 上传需要待迁移的的目标图片和动作模板视频
应用启动之后,我们就可以上传图片和模板视频进行表情迁移,大家也可以在广场选择自己喜欢的模板动作进行迁移操作:
3. 表情迁移操作
一切准备就绪后,点击右侧的确认迁移按钮,进行表情迁移:
迁移成功后会自动保存在我们设置好的保存目录下,如需要进行其他操作的可以进入保存输出目录下进行操作。
如果使用的电脑没有显卡或者显卡的内存小于4G的,程序会自动默认选择CPU运算,以免程序报错。但是建议大家还是使用有显卡的电脑进行,CPU运行表情迁移,一个10秒的动作视频至少一天的时间才能完成。GPU显卡运算只需要几分钟,我的电脑3050显卡 4G显存,10秒的动作表情只需要5分钟就可以解决。
AI工具使用经验总结
这个项目在某些小的应用场景可以作为换脸来使用,但它又跟换脸有所不同,主要表现在:
1. 脸是保留原视频的脸部轮廓,只是脸部局部改变,其他地方均不变;
2. 表情迁移只是复制了原视频的人物表情;
经过多次测试摸索,要想获得好的结果,需要达到以下几个条件:
1. 原视频尺寸需是1:1的视频画面,比如大小为512*512,720*720等,这样是为了让人物整个头部在画面之中,所以对于全身运动的视频,比如舞蹈视频,效果就很差;
2. 画面要清晰,不能太模糊
3. 头部动作最好不要幅度太大;
4. 表情编辑
表情编辑就是定制化自己的表情包,我们可以通过参数设置人物脸部表情。比如,嘴巴张开的大小,眼睛的大小,头左右移动,歪头等17中表情操作
相对于表情迁移,这一部分更为简单,只需要设置参数即可。
注意了:这个功能目前不支持CPU运行,日后我们会不断优化,尽量适配CPU
下面是我自己编辑后的表情合成的gif表情包:
有遗漏或者不对的可以在我的公众号留言哦