谷歌最新视频抠图术:影子烟雾都能抠,添加水印更顺滑

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,谷歌转载请联系出处。最新
如何更顺滑的视频术影顺滑添加水印?
谷歌的这项新技术,让文本简直就像贴在地面上,抠图抠添哪怕是烟雾印更在沙尘横飞的场景里。
只需输入一段视频,最新和指定对象的视频术影顺滑粗略蒙版。
比如人和狗的谷歌影子。
不管是任意对象和主体,不论怎么移动,所有元素都能抠出来。 这就是谷歌最新的视频分层技术——omnimatte,入选CVPR 2021 Oral。
目前这项技术都已开源。
如何实现
计算机视觉在分割图像或视频中的对象方面越来越有效,然而与对象相关的场景效果。
比如阴影、反射、产生的烟雾等场景效果常常被忽略。
而识别这些场景效果,WordPress模板对提高AI的视觉理解很重要,那谷歌这项新技术又是如何实现的呢?
简单来说,用分层神经网络渲染方法自监督训练CNN,来将主体与背景图像分割开来。
由于CNN的特有结构,会有倾向性地学习图像效果之间的相关性,且相关性却强,CNN越容易学习。
首先,使用现成的分割网络比如Mask RCNN,来讲这些主体分成多个遮罩层和背景噪声图层,并按照某种规则进行排序。 比如,在一个骑手、一辆自行车以及几个路人的场景中,就会把骑手和自行车归入一个层,把人群归入第二层。
omnimatte模型是一个二维UNet,逐帧处理视频。每一帧都用现成的技术来计算物体掩码,来标记运动中的主体,免费源码下载并寻找和关联蒙版中未捕捉到的效果,比如阴影、反射或者烟雾,重建输入帧。
为了保证其他静止的背景元素不被捕获,研究人员引入了稀疏损失。
此外,还计算了视频中每一帧和连续帧之间的密集光流场,为网络提供与该层对象相关的流信息。
最终生成Alpha图像(不透明度图)和RGBA彩色图像,尤其RGBA图像,简直可以说是视频/图像剪辑法宝!
有什么用途 技术效果如此,那有什么样的用途呢?
首先就可以复制或者删除图像。


背后的团队
最后再来说一下背后的团队。
其中,论文一作是牛津大学四年级博士生Erika Lu,曾是谷歌实习生,在麻省理工学院获得了计算机科学与工程学士学位。
https://arxiv.org/pdf/2105.06993.pdf 
相关文章
电脑网络连接错误678的解决方法(探寻网络错误678的原因和解决方案)
摘要:在日常使用电脑连接网络的过程中,我们有时会遇到各种各样的问题。其中,错误678是一个常见的连接问题,它会导致我们无法正常访问互联网。本文将为大家介绍错误678的原因和解决方法,帮助...2025-11-05
域名申请有什么要注意的?新手该怎么进行?域名注册是网站建设的第一步。首先,用户需要清楚什么类型的域名注册通常是。一般来说,在选择域名时,域名后面的后缀是cn或com,。如果是个人注册的域名,可以选择域2025-11-05
二级域名可以解析吗?新手怎么进行二级域名解析?顶级域名之下的域名,在国际顶级域名下,它是指域名注册人的网上名称;在国家顶级域名下,它是表示注册企业类别的符号。下面益华网络就带大家看看二级域名可以解析吗2025-11-05如何通过改机械键盘音效提升打字体验(利用电脑键盘改造教程打造个性化机械音效)
摘要:机械键盘作为一种受欢迎的打字工具,其独特的手感和声音成为了许多用户钟爱的原因。然而,市场上的机械键盘声音种类有限,无法满足个性化需求的用户。本文将介绍如何通过改机械键盘音效来提升打...2025-11-05
为什么起域名意义非凡?起域名有什么名堂?域名作为网站的门牌号,是网站的招牌,也是人们上网时对网站的第一印象。当用户看到一个域名,他们会把它和它是什么样的网站联系起来。因此,域名的选择必须经过站长的精心2025-11-05

最新评论