内容字号:默认大号超大号

段落设置:段首缩进取消段首缩进

字体设置:切换到微软雅黑切换到宋体

usdt自动充值(www.caibao.it):大叔也能“变”萌妹?1张动漫头像就可以,语言唱歌样样行

2021-02-08 06:14 出处:  人气:   评论( 0

USDT官网

菜宝钱包(caibao.it)是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。

原题目:大叔也能“变”萌妹?1张动漫头像就可以,语言唱歌样样行

萧箫 发自 凹非寺

量子位 报道 | 民众号 QbitAI

只需要1张动漫头像,就能让你的二次元妻子“启齿语言”:

甚至可以像虚拟主播一样摇晃脑壳唱歌:

不仅如此,动漫头像还能模拟你的口型和头部动作,实时“唱”出想要的效果来 :

简直是老二刺螈玩家的福音。而且,不想露面的主播,也有了新的免费“虚拟主播”可选择。

那么,这是用的什么原理,让模子能到达这样的效果?

用3D模子,让2D头像动起来

这个模子最焦点的头脑,就是将图片和姿态参数输入系统,来“改变”输入图片中动漫人物的姿态。

听起来异常简朴,但现实上并不容易实现。其一,对应的数据集不好找;其二,网络的体系结构和训练不容易搭建。

而且,作者也没能如愿找到多姿态的2D动漫角色数据集。

怎么办?

经由思索,作者选择接纳大量3D模子 对网络举行训练,由于这些3D模子的参数,是可控的。

除此之外,也还需要设计模子注释,以“圈”出模子的头部、发型和配饰等“需要旋转”的地方。

而动漫人物经由转变的眼睛和嘴型,也需要单独提取出来,用于思量种种人物脸色的转变。

凭据3D人物的现实动画效果,就能设计出对应的网络了:从人物最主要的两个动作,即 改变脸色旋转脸部,来让人物“动起来”。

也就是说,首先需要控制眼睛和嘴张开的水平,然后,再想设施让动漫人物的头部“转起来”。

先是改变脸色。这一步骤相对简朴,只需要找到一个张嘴、睁眼的动漫头像,就能用算法,让主角眨眼睛、改变嘴型。

但控制脸部旋转的算法,则要更庞大一些,由于伴随着脸部转动的,虽然只有头部,但还要连同发型和配饰一同转动。

作者进一步改善算法后,控制面部旋转的网络模子,变得加倍细化了一些:

首先找到需要旋转的部门、完成旋转,然后将输出图像的颜色控制与输入像素对应,最后将效果举行连系。

从人物的晃头、前后摆动来看,效果照样异常不错的。

不外,这还不是作者想要的模子,究竟虹膜和眉毛还不能转变。

在对算法举行优化后,最新的模子,不仅能惟妙惟肖地做出生气、厌恶、沮丧的脸色来,还能改变瞳孔和眉毛的形状,人物看起来也更真切了。

,

Usdt第三方支付平台

菜宝钱包(caibao.it)是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。

,

效果若何?

应用到单张2D头像上的效果,照样挺能打的:

不仅能通过视频人脸检测,实时模拟人物的口型和脸色:

还能用已有的视频人物控制它“语言”、“唱歌”,化身“虚拟主播”:

不外,单从3D模子的渲染效果来看,偶然会泛起一些失误,需要适当举行调整。

例如……这位黄发少年身上的剑,就会“随头移动”:

只管头部的旋转已经异常完善,不外,本该在背后的剑,却也随着头部转动了起来……

作者本人也提到了这些细节,而且也指出,对于某些发型对照特殊的动漫人物来说,简直会泛起不那么完善的情形。

例如,随着头部转动,泛起辫子被“切断”的情形:

不外,这些也都照样细节上的问题

作者示意,数据集也需要重点关注:他找的动漫头像,基本都是人物头像。

也就是说,若是训练数据与角色外观差异较大 ,就会泛起这种情形:

若是你是兽人玩家,可能还需要自行准备数据集,再训练一个模子出来。

作者先容

Pramook Khungurn,本硕结业于MIT,博士就读于康奈尔大学计算机科学系,现在在谷歌日本 事情,专注于渲染算法和外观建模的研究。

念书时代,他也有不少计算机系的论文揭晓在SIGGRAPH等顶会上。

加入AI社群,拓展你的AI行业人脉

量子位「AI社群」招募中!迎接AI从业者、关注AI行业的小伙伴们扫码加入,与 50000 名密友配合关注人工智能 行业生长&手艺希望

վ'ᴗ' ի 追踪AI手艺和产物新动态

一键三连「分享」、「点赞」和「在看」

分享给小伙伴们:
本文标签:

相关文章

Copyright © 2002-2019 辽源新闻 版权所有 Power by DedeMao