中国山东网2024年11月13日发布:字节跳动新技术,上传一张图让情绪瞬间“转移”

⭐发布日期:2024年11月13日 | 来源:中国山东网

⭐作者:崔正一 责任编辑:Admin

⭐阅读量:722 评论:1人 转发:7次

【新澳资料免费最新】

【澳门六开彩天天正版免费】

【新澳精准资料免费提供最新版】 【2024正板资料免费公开】 【2024澳门天天六开彩开奖结果】 【新澳今天最新资料2024】 【2024新澳门开奖记录】 【新奥长期免费资料大全】 【新澳特精准资料】 【新澳全年免费资料大全】
【2024年新奥门免费资料17期】 【香港好彩二四六免费资料大全澳门】 【澳门六开彩天天免费查询】 【新澳免费资料库大全app】 【澳门一码一肖一特一中管家婆】 【2024年新澳正版资料免费大全】 【2024新澳资料免费资料大全】 【管家婆一码一肖资料大全一语中特】

作者 | 程茜编辑 | 漠影

视频生成竞赛愈发激烈,但细腻、准确地传达人物面部表情细节仍然是其中的一大难点。

一般的影视作品或者日常交流中,人们说话时伴随着的面部表情变化也是准确传递信息的关键。在视频生成中,想要让人物的整体表现更加流畅自然,就需要将人物的动作、皮肤纹理、肌肉运动等细节呈现更为细腻。

这对于AI而言难度不小。近期在肖像生成方面的一项研究突破,就针对于上述难题给出了解法。

这就是字节跳动智能创作团队近期提出的X- Portrait 2单图视频驱动技术,仅需要一张静态图片和一段驱动视频,用户就可以得到高质量、电影级的视频片段。

如果我同时上传了《白银帝国》中演员金士杰的视频片段,和一张AI生成的紫发外国女生的静图,就可以让女生直接复刻电影片段的动作。

可以看到,下图中静态图和驱动视频中的人物形象区别很大,并且即使人物表情变化包含大笑、张大嘴等,X-Portrait 2最后生成的效果也完全没有被影响,只是集中于面部表情、头部动作的变化。

重播
播放
00:00 / 00:00 直播
00:00
进入全屏
50
点击按住可拖动视频

生动丰富的表情是塑造角色性格的关键,可以看出,当下的肖像生成技术正在向着更精细地模拟人类微观表情进阶。

一、经典镜头秒速复刻,大笑、扭头面部均不变形

细致入微的表情,往往是演员传达情绪的关键,现在这项工作也能被AI接管了。

在体验这项技术之初,我设定的初始难度是调用较少感官的表情,如只需要眨眼、大笑等,这考验的就是X- Portrait 2在生成过程中,如何让静图中的人物准确调用正确的感官,并将情绪准确传达出来。

相信很多人都对《大话西游》中紫霞仙子眨眼的镜头记忆犹新,这也被认为是很难超越的眨眼神图,如果把这个表情搬到著名表情包“金馆长”脸上呢?

可以看到,最后生成的视频中,金馆长的眼睛被放大,从抿嘴到眨眼一气呵成,面部完全没有变形,直接复刻了这一经典画面。

重播
播放
00:00 / 00:00 直播
00:00
进入全屏
50
点击按住可拖动视频

那如果将金馆长的经典大笑表情包放到其他人脸上呢?我利用豆包生成了一张科幻属性明显的人物图像,然后上传了金馆长从大笑到说话的视频片段。

静态图中的人物不仅模仿了金馆长的大笑神态,就连大笑时面部的皱纹、头部的轻微上下摆动动作都传递的十分到位。

重播
播放
00:00 / 00:00 直播
00:00
进入全屏
50
点击按住可拖动视频

考验完单一表情,再来看下进阶难度。

这一关的原视频人物说话过程中会伴随情绪的转换,例如下个视频中张译表演时的花絮片段,从刚开始说话到扭头大笑。

然后我上传了一张美国著名男演员本·阿弗莱克(Ben Afflec)的剧照,生成视频中,大本和张译大笑时咧开的嘴角弧度都完全相同。并且从侧脸转向正脸时的动作也十分流畅。

重播
播放
00:00 / 00:00 直播
00:00
进入全屏
50
点击按住可拖动视频

二、阿凡达、灭霸梦幻联动,人人都能做出迪士尼公主表情

X-Portrait 2除了能让一张图片按你想要的风格动起来,还能把相同表情直接搬到各种风格的人物形象上。

基于此,我直接让经典科幻电影《阿凡达》中的阿凡达,与漫威系列中的灭霸来了一场梦幻联动。

我上传了一段电影中女主角涅提妮与他人产生剧烈争执的视频,还有一张灭霸的静态图片。视频中的涅提妮边倒退边显露出悲伤的神色。

灭霸也展现出了同样的深情,并且额头上的皱纹还会伴随着情绪变化逐渐加深。

重播
播放
00:00 / 00:00 直播
00:00
进入全屏
50
点击按住可拖动视频

动画电影中迪士尼公主的神态动作已经自成体系,让人一看到就身处“迪士尼宇宙”。与此同时,一些互联网上的博主纷纷开启了模仿迪士尼公主的挑战,她们的表情神态惟妙惟肖,现在X-Portrait 2可以让任何人都能快速get这个技能。

这里我选择上传了一张AI生成的动漫人物形象,以及短视频平台中博主上传的模仿视频。可以看到,原视频的博主眼神、嘴部以及整个表情都很夸张,这个难度X-Portrait 2的生成效果并没有翻车。

重播
播放
00:00 / 00:00 直播
00:00
进入全屏
50
点击按住可拖动视频

我还上传了其他博主的模仿视频,生成的效果直接让本来只是一张静态图片的公主,直接身处童话世界了,好奇、开心的表情十分可爱逼真。

重播
播放
00:00 / 00:00 直播
00:00
进入全屏
50
点击按住可拖动视频

现在有很多动画电影还会被改编成真人电影,但这类电影在选择演员、剧情改编、演员表演等方面都会让原先的动漫读者忐忑不安,因为很多剧情真人演员很难表演出来,部分表情、动作甚至剧情会被改编。

现在基于X-Portrait 2可以直接将动漫人物的表情“复制”下来,“粘贴”到其他人物上。我上传了一段《美女与野兽》中“野兽”的一段视频,视频中“野兽”的五官与人类类似,还伴随着大吼的动作。

这段表演被准确复制到了我用AI生成的图片上,X-Portrait 2在表情识别方面没有受到干扰,眼睛、嘴巴的动作变化丝滑流畅,复刻了“野兽”的愤怒情绪。

重播
播放
00:00 / 00:00 直播
00:00
进入全屏
50
点击按住可拖动视频

可以看出,X-Portrait 2在表情生成方面的效果逼真程度可以体现在,眼部、嘴部的动作以及表情切换、动作协同性等诸多方面,能让静态形象的表情生成与其他动作配合协同。

三、表情编码器模型+生成扩散模型,实现表情“复刻”效果跃迁

上述这些肖像生成的惊艳效果均出自X-Portrait 2。

今年3月,字节跳动的第一代肖像动画模型X-Portrait,可以用于生成富有表现力和时间连贯的肖像动画。X-Portrait 2就是这一肖像动画模型的迭代版本,能够如实表现快速的头部动作、细微的表情变化以及强烈的个人情感。

为了让最后生成视频的表情更加流畅、逼真,X-Portrait 2结合了表情编码器模型和生成扩散模型,能够捕捉到驱动视频中演员的细微表情,甚至于撅嘴、吐舌头等需要调动多个面部器官的表情也能准确传达。

这一表情编码器模型是基于大型数据集进行训练,隐式编码输入中的每个微小表情,就可以做到表情传达的准确性。

面对驱动视频,这一编码器还可以实现人物外观和表情动作的强分离,能够让其更专注于视频中与表情相关的信息,从而实现表情动作的准确迁移。

通过为模型设计过滤层,编码器能有效过滤运动表征中的ID相关信号,使得即使ID图片与驱动视频中的形象和风格差异较大,模型仍可实现跨ID、跨风格的动作迁移,涵盖写实人像和卡通图像。

目前,除了X-Portrait 2,视频生成创企Runyway上个月也推出了类似的功能Act-One,这一功能可以让用户自己录一段视频,然后将其转移到AI生成的角色上。

相比之下,X-Portrait 2可以更准确地传递人物头部的动作、微笑的表情变化和个人情感表达;Act-One最终生成的视频也可以传达表情,但在人物情绪和快速的头部动作方面可能无法准确“复刻”。

下图的对比视频中可以看出,原视频中人物很悲伤,且说话中头部有轻微转动,但基于X-Portrait和Act-One生成的视频都没有将其体现出来,X-Portrait视频中人物头部摆动幅度复现了,但两个视频中的人物表情有轻微笑意,与原视频的情绪完全不同。

重播
播放
00:00 / 00:00 直播
00:00
进入全屏
50
点击按住可拖动视频

面部细节还原、头部动作与姿态的协调等,都是做到精准表情生成的关键,这也是目前X-Portrait 2的优势所在。

结语:让视频生成突破表情细节难题

在视频生成的众多环节中,表情生成是一个极具挑战性的部分,因为与人物整体的动作生成相比,细致入微的表情生成要困难得多,一个细微的面部肌肉变化都可能传达出截然不同的情绪。

尽管这项技术目前还处于学术研究阶段,但字节跳动在这一方面的积极探索具有深远的意义,通过不断地优化算法和模型结构,X-Portrait 2已经展现出捕捉和再现人物表情微妙变化的能力。这种进步将进一步拓展视频生成的应用边界。

【澳门正版全年资料期期准】 【2024新奥资料免费精准109】
【2024新澳资料大全】 【2024澳门特马今晚开奖亿彩网】
【新奥精准免费资料提供】 【澳门天天免费精准大全】
【新奥彩2024最新资料大全】 【新澳资料免费精准期期准】
【2024年澳门资料免费更新吗】 【新澳门彩历史开奖记录走势图】
【新澳精准资料大全免费】 【新澳精准资料免费提供】 【2024新奥免费资料】
上一条新闻 下一条新闻

推荐文章

发表评论

瑞恩·库格勒

4秒前:00:00

IP:14.15.1.*

钱信伊

7秒前:这段表演被准确复制到了我用AI生成的图片上,X-Portrait 2在表情识别方面没有受到干扰,眼睛、嘴巴的动作变化丝滑流畅,复刻了“野兽”的愤怒情绪。

IP:33.32.7.*

禽亦然

5秒前:重播

IP:17.42.9.*

吕耀华

6秒前:00:00

IP:86.12.1.*

包美圣

2秒前:三、表情编码器模型+生成扩散模型,实现表情“复刻”效果跃迁

IP:12.34.9.*

中国山东网APP介绍

APP图标

新澳门精准全年资料免费APP名:中国山东网

版本:V7.39.344

更新时间:2024-11-12 14:18

2024年澳门特马今晚开码这是一个功能强大的新澳好彩免费资料查询最新版本APP,可以帮助你完成各种任务。包括最新24小时热点资讯,今日最新:可以看到,原视频的博主眼神、嘴部以及整个表情都很夸张,这个难度X-Portrait 2的生成效果并没有翻车。

2004新澳门天天开好彩大全正版APP介绍

APP图标

新奥天天免费资料大全正版优势APP名:中国山东网

版本:V5.30.100

更新时间:2024-11-12 23:20

无论是澳门一肖一码100准最准一肖_快速浏览新闻还是深入了解某个话题,这款新闻APP都能为您提供全面、精准的信息服务。

新澳精准资料免费提供305APP介绍

APP图标

新奥免费精准资料大全APP名:中国山东网

版本:V7.77.660

更新时间:2024-11-12 21:20

新澳天天彩免费资料大全特色应用界面简洁易用,用户可以轻松浏览头条新闻、深度报道和特写文章。24小时内的热点资讯一目了然,让您随时掌握世界动态。此外,您还可以参与评论,与其他读者交流看法,形成一个互动活跃的社区。

新澳精准资料免费群聊APP介绍

APP图标

新澳门彩历史开奖结果走势图表APP名:中国山东网

版本:V4.19.836

更新时间:2024-11-12 19:19

新澳天天彩正版免费资料观看这款新闻APP是您获取实时信息的理想伴侣。它汇聚了全球最新的新闻报道,涵盖政治、经济、科技、娱乐、体育等多个领域。通过个性化推荐功能,您可以根据兴趣定制新闻源,确保每条信息都与您相关。

新澳2024资料免费大全版APP介绍

APP图标

新澳门精准正版资料大全APP名:中国山东网

版本:V2.90.518

更新时间:2024-11-12 13:13

这是一款功能强大的2024澳门六开彩免费精准大全应用,专为帮助您高效完成各种任务而设计。它不仅提供最新的24小时热点资讯,还为您带来今日的最新动态:00:00 。无论是获取信息还是提升效率,这款APP都是您理想的助手。

天天好资料大全APP介绍

APP图标

新澳2024年最新版资料APP名:中国山东网

版本:V9.29.655

更新时间:2024-11-12 13:24

这是一款功能强大的澳门正版挂牌免费挂牌大全应用,旨在帮助您高效完成各类任务。它提供最新的24小时热点资讯,让您随时了解发生的重大事件。今天的最新内容包括:可以看到,下图中静态图和驱动视频中的人物形象区别很大,并且即使人物表情变化包含大笑、张大嘴等,X-Portrait 2最后生成的效果也完全没有被影响,只是集中于面部表情、头部动作的变化。,为您的生活和决策提供了重要参考。这款APP是您获取信息和完成任务的得力助手。

2024新奥门免费资料APP介绍

APP图标

港澳图库app官网下载APP名:中国山东网

版本:V7.39.951

更新时间:2024-11-12 24:23

这是一款功能强大的新澳免费资料网站大全应用,专为帮助您高效完成各种任务而设计。它汇集了最新的24小时热点资讯,让您时刻掌握世界动态。今日的最新内容包括:00:00 ,为您的决策和日常生活提供有价值的信息支持。无论您需要了解什么,这款APP都能成为您不可或缺的助手。

2024澳门六开彩开APP介绍

APP图标

2024新澳门正版资料大全APP名:中国山东网

版本:V1.60.357

更新时间:2024-11-12 21:21

今天的最新动态包括:播放 ,让您第一时间掌握关键资讯,做出明智的决策。这个应用不仅是您的信息获取工具,更是一个提升生活质量的得力助手。

2024新澳天天资料免费大全APP介绍

APP图标

澳门资料大全夭天免费APP名:中国山东网

版本:V4.49.500

更新时间:2024-11-12 16:20

这是一款功能强大的澳门天天免费资料大全192.1应用,能够帮助你高效地完成多种任务。它包括最新的24小时热点资讯,以及今天的最新动态:直播 。

2024新奥门正版资料免费提拱APP介绍

APP图标

澳门二四六天天资料大全2O23APP名:中国山东网

版本:V8.69.967

更新时间:2024-11-12 14:15

这款功能强大的澳门今晚开特马+开奖结果走势图应用旨在提升您的日常效率,帮助您轻松应对各种任务。应用界面友好直观,用户可以快速导航,获取所需信息。它不仅提供最新的24小时热点资讯,还定期更新各种主题的文章和评论,确保您始终走在信息的前沿。

澳门六开彩天天免费资讯统计APP介绍

APP图标

新澳资彩长期免费资料APP名:中国山东网

版本:V8.93.263

更新时间:2024-11-12 19:22

这款新闻APP是您获取实时新闻的最佳选择。它整合了全球各大新闻来源,提供最新的头条、热点和专题报道,涵盖从政治到娱乐的各个领域。用户可以根据兴趣自定义新闻推送,确保获取最相关的信息。

2024年正版资料免费大全挂牌APP介绍

APP图标

2024年新澳门正版APP名:中国山东网

版本:V6.18.387

更新时间:2024-11-12 15:23

APP界面友好,支持快速浏览和离线阅读。您还可以通过搜索功能,快速找到特定主题的新闻。互动功能让您可以评论、分享文章,与朋友讨论热点话题。无论您是在通勤、休闲,还是工作间隙,这款APP都能让您轻松掌握最新动态。