Google机器学习新研究InfiniteNature-Zero,可生成任意长度飞越自然地景的影片
Google研究出能够不断生成3D自然地景的技术InfiniteNature-Zero,系统只要透过观看照片,就能够学习生成丰富的3D环境景物。InfiniteNature-Zero仅使用单张图片,生成高解析度、高品质的飞越地景的画面,研究人员表示,这是前所未有的突破性能力。
InfiniteNature-Zero可用於游戏和虚拟实境生成新内容,像是在无限自然场景进行沈浸式飞行。研究人员将这个研究问题称为无限景色生成,透过给定场景单张景色照,使系统能够生成相片级,通过该场景任意长度,并受用户控制的3D路径画面。
研究人员提到,无限景色生成非常具有挑战性,因为系统需要在山脉这类大型地标的另一侧生成新内容,并且渲染出逼真且高解析度内容。难以使用影片作为训练资料的原因,是由於研究人员难以找到具有正确相机运动的高品质影片,而且单个影片影格的美学水准,通常也难以跟刻意捕捉的照片相提并论。
InfiniteNature-Zero是这个研究的初期成果,研究人员运用渲染、调整并重复循环策略,设计一种从静态照片集,学习生成无限景色的方法。用单一照片训练一个模型生成场景穿越影片,其中一个重要的设计,是照片与渲染的图像会成为一个循环的相机路径(下图),也就是第一张照片与最後一张合成照片是相同的,这一个训练约束,限制模型学习生成中间缺少的景色,并且提高图像解析度。
研究人员在InfiniteNature-Zero,使用可从网路上大量取得的风景照片集进行训练,并且使用对抗网路生成高品质图像,最後添加了一个经过训练的元件,生成高品质天空区域,提高最终结果的真实度。