探索华企万网

客服热线:

186-7230-8000

看一看

谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸

谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸
谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸

△ 输入黑白,生成色彩

谷歌培育了一只AI,是一只自动给视频上色的AI。

从彩色视频里,截取某一帧作参考。再把所有帧都变成黑白,AI仅仅依靠参考帧的颜色,便可以还原整段视频的色彩了。

把影像从灰暗变到新鲜,只用了下面这一张图。

谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸

并且,没有人告诉AI,哪里是人,哪里是柜子。

走到哪,都认识你

这是一个自我监督 (Self-Supervised) 的物体追踪模型。

谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸

所以,研究人员喂给神经网络的是,大量的无标记视频数据。

模型要学会预测,黑白视频中,物体的颜色。

最关键的步骤,就是物体跟踪

谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸

比如,AI看到了一辆汽车,没有人告诉它那是汽车。

但在黑白的图像里,它还是要准确找到这辆车所在的区域,把参考帧里相应区域的红色填过去。

谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸

虽然,模型没有用参考标准标记 (Ground Truth Labels) 训练过。但从结果上看,神经网络依然学成了人类喜闻乐见的样子。

面包上的奶油,即便涂好的样子不同了,AI也依然记得。

谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸

姿势也可以追踪

另外,研究人员发现,这个模型还可以用来追踪人类的姿势。

对于主角是人类的视频,神经网络只有了解他们的一举一动,才能更顺畅地为人类上色。

毕竟,他们动作比较多,还喜欢给自己加戏。你看——

你让我坐下?

谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸

我就不坐下。

谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸

我很厉害吧。

谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸

再不鼓掌我…

谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸

只要输入一帧带有骨架的图。

谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸

AI就可以推断出,视频里其他帧的姿势了。

谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸

那么,追踪功夫姿势的话,一定会更燃吧。

然而,并没有,可能只会更佛系,因为——

谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸
谷歌AI自动给黑白视频上色,没有人告诉它哪里是汽车,哪里是人脸

△ 你的黄色,不,是你的黄色

这是太极的上色效果。

注意,二者清晰度不同,不是AI的问题,是微信动图只支持2MB以内,的后果。

分享到: