近日,网络博主@大谷Spitzer在网上发布了他用AI技术修复100年前老城影像的视频,引来了网友的火热围观和热议。“有种时间线突然相交的感”、“完全打破了我的模糊
因此,最近大谷Spitzer有点忙,接受了国内许多采访。生活中是一名游戏开发者的大谷接受南都科创记者采访时坦言,自己还是一个“人工智能的初学者”,并非是一个专业视频修复师,但希望新技术赋能生活中的一些事物,表达出对于创新的理解与态度,也让大家知道,创新可以很接地气。
“我是人工智能的初学者,这次修复视频也是边学边做的。”大谷目前在纽约生活和工作,是一位游戏开发者。
“我以为主要是的朋友可能会有一些共鸣,因为这个视频展现的是老文化,完全没有想到它会像现在这样这么火。”大谷介绍,这次修复影像时他参考了开发人员Denis Shiryae的影像修复教程,使用的开源代码在Github(软件源代码托管服务平台)上有很详细的介绍。普通人只要有一些基础的编程知识,都可以跟着步骤来操作。
第一个是DAIN插帧算法,因为将播放速度较快的老电影调到正常的时间流速后,会发现很多镜头之间的帧速不稳定,梦见吃面条用人工智能进行补帧可以让影像达到60帧每秒的帧速,使人看画面觉得非常灵动;
第二个是为视频上色的DeOldify项目,这个人工智能看过大量的黑白电影以及它们的上色版本后,就能学习分辨什么是蓝天、白云、草地,什么是人的皮肤的颜色;
第三个是做分辨率扩增的ESRGAN方法,能让画面变成4K的画质,它能让模糊的图像在放大的同时保留一些细节。
南都科创记者了解到,大谷提到的Denis Shiryae在今年2月曾在视频网站Youtube中上传他用神经网络增强的4K高清版《火车进站》,这是125年前上映的全世界第一部电影。
但Denis的这套方案目前并不能取代人工,例如去年修复上映的《开国大典》,其资料片的老已经有了大量的划痕和变形。除了运用AI,还需要大量的人力来修补视频中的关键帧。
“目前这个阶段,人工修复的效果一定会比AI修复要好。因为艺术家会知道某段历史中大家穿什么样的衣服,画面也不会出现颜色抖动的情况。而AI如果没有学过东方文化它就不会知道故宫的墙是红色的。”大谷说。
虽然AI已经能够实现很多智能的效果,但其仍然需要依靠数据库。正因如此,细心的观众会在大谷视频开头画面旁的小字留意到这样一句话:“色彩为AI学习结果,不代表历史原色。”
“大家可能平时一听人工智能就觉得这常‘赛博朋克’(未来风格)的东西,有时候就会害怕去了解,或者直接在第一步就放弃了。我希望把它做成一个大家都能尝试的这么一个科普的视频,这样更多人就能加入到创作当中。”大谷讲道。
为何这次视频会火?从网友留言来看,多是被AI修复过的影像震撼,认为百年前的老与自己那么远,又那么近。
大谷修复的老城影像来自《》四年前发布的资料影片。为了让原来的黑白默片在修复后更加生动,大谷别出心裁地加入了音效设计——他用了很多民俗的历史文化录音,还有阎秋霞、骆玉笙两位音乐大师作品中的一些片段。
“比如左右声道可以表现马车在画面中的不同,或者表现一个站在屏幕前的人突然往左跑。不同音效之间有空间感的差别,这些都要通过细微调整才能让观众代入到场景中。这部分工作我也是花了一天半的时间才完成。”大谷解释道。
高三时,大谷就开始创作个人游戏作品《Eddy紫》,这款游戏中的30首原创音乐也是一大特色,全部都是他自己利用上学时的闲暇时间制作完成的。后来,对游戏的爱好变成了大谷现在的工作,在纽约做游戏设计师以及技术美术。
采访中,大谷坦言自己并非一个专业的视频修复师,而且也并非一个前沿的技术开发者。但是他做出这些视频,是想表达一种创新的态度。
据大谷介绍,美国主要的游戏产业都在西海岸,包括暴雪、等,它们主要开发大家玩的那些投资规模非常大的游戏,例如Riot Games制作的英雄联盟。而纽约所在东海岸则偏向游戏开发,技术氛围与西海岸的产业模式完全不同,大部分从业者更介于艺术家和游戏开发者两个角色。
“有些开发者其实就是艺术家,他们只是用游戏作为一个媒介来做一些艺术相关的、表达的东西。我觉得这就是游戏的特点——敢于冒险、敢于表达自己。”大谷说,尽管有时候游戏的尝试会失败,但这不妨碍游戏人的创作,他们可以在短时间内做一些小游戏出来,然后试验一下,总结经验,再做一些创作。“我的很多美国朋友其实比较佛系,他们只是想把游戏做好,好玩就行,其他的也没想那么多。”
“我一直觉得技术是能改变社会的,然后能让大家都对传统社会认识有一种新的理解。”大谷认为,就像这次会修复影像,也是通过看过去的纪录片,然后想把它变成彩色版本。
“大家能感觉到生活来之不易。我在做游戏时候也希望大家一起创作,一起做东西,对很多东西都有一个新理解,去激发大家的创造力。”对于大谷来说,AI修复之会继续。
他认为,AI能帮助完成一些影像的初步修复工作,可以让人工有更多时间投入创造部分,而不是繁琐的人工劳动当中。人工跟技术要相互配合起来,发挥更大的作用。
目前大谷正计划做一期新视频,主要介绍怎么用AI修复影像。“我相信我如果能学会的话,大家也可以跟着来学。”大谷说道。
十大券商策略:扩大内需战略的明确是大牛市的信号!科技成长是中长期主线万 新股大肉签来了!一只顶格中签概率或超40% 本周新股看点多
十大券商策略:扩大内需战略的明确是大牛市的信号!科技成长是中长期主线万 新股大肉签来了!一只顶格中签概率或超40% 本周新股看点多
乐视网“退市”暴雷!贾跃亭套走200亿,收割2个大佬、19位明星、17家机构、26万股民!宁波热水器维修http://106693.shop.liebiao.com/,