首页 K维生活 E蕙生活 Z再生活 Y懂生活
主页 > Z再生活 >AI 影像生成动用「GAN 技术」,连舞癡都能跳出超专业舞蹈 >

AI 影像生成动用「GAN 技术」,连舞癡都能跳出超专业舞蹈

AI 影像生成动用「GAN 技术」,连舞癡都能跳出超专业舞蹈

随着 AI 技术持续进步,人们对 AI 生成的图像影片越发感到真实自然

AI 生成的图像影片让人们越来越难辨别真伪,因为它生成的图像影片实在是太真实了,背后的技术其实用到了 Generative Adversarial Networks(GANs,对抗式生成网路)的变形,如果对这技术没兴趣可以跳过它的发展历史解释直接看实际案例。

AI 研发进展:从深度学习到 GANs

Deep Learning 深度学习(或是说 Deep Neural Network)只要是有在关注 AI 技术的人都非常熟悉,它的相关演算法在 2015、2016 ImageNet 竞赛突破人类辨识分类的準确率后,人类永远追不上机器,Deep Learning 的变形衍生就一直在科学研究及实际 AI 应用有很大的进步,像是人脸辨识就是用 Convolutional Neural Network 所做到的,也已经造就了中国商汤科技(SenseTime)获得 6 亿美金(约 180 亿台币)的 C 轮融资,估值达到 45 亿美金(约 1,350 亿台币)。

Deep Neural Network 下有一个变形是 Generative Adversarial Networks(GANs,对抗式生成网路),它是由 Ian Goodfellow 在 2014 年所提出。Facebook AI 大师 Yann LeCun 在接受 Quora 专访时说「GAN 及其变形是近十年最有趣的想法」, 由 GAN 衍生的研究论文数量也级数增长。

AI 影像生成动用「GAN 技术」,连舞癡都能跳出超专业舞蹈GAN 运作起来就像偷渡游戏:一个当偷渡商,一个当海关

所以什幺是对抗式生成网路?引述自 AI 部落格主 Adit Deshpande 的 解释 ,更加清楚直白:

GANs 的基本原理是它有两个模型:一个生成器,一个判别器。判别器的任务是判断给定图像是否看起来「自然」,换句话说,是否像是人为(机器)生成的。而生成器的任务是,顾名思义,生成看起来「自然」的图像,要求与原始数据分布儘可能一致。

GANs 的运作方式可被看作是两名玩家之间的零和游戏。原论文的类比是,生成器就像一支造假币的团伙,试图用假币矇混过关。而判别器就像是警察,目标是检查出假币。生成器想要骗过判别器,判别器想要不上当。当两组模型不断训练,生成器不断生成新的结果进行尝试,它们的能力互相提高,直到生成器生成的人造样本看起来与原始样本没有区别。

GAN 可以去除图片内的多余物

我们有时拍照时,会有不希望出现的路人在背景图里,2012 年 PhotoShop 就已经可以做到可以去除路人,然而背后的演算法持续精进,现在可以用 GAN 的衍生演算法做到。

AI 影像生成动用「GAN 技术」,连舞癡都能跳出超专业舞蹈食物挖空来补图,比赛哪家 AI 最厉害

今年痞客邦的黑客松,就是把食物的图片中挖掉一块不规则形状,让参赛的队伍去实作 AI 影像生成,由现场的观众投票看哪一张 AI 生成的食物比较真实而愿意去吃,获得最多票数的得奖。笔者亲自实作了演算法,故意挑了比较夸张的图片放上来,并不是每个 AI 生成的影像都很完美。当然这都可以透过训练资料的选择,训练次数多寡来让模型的影像生成更好。

下图是用 PConv-Keras 实作的 Partial Convolutional Neural Network。给了一张如下的图片。

AI 影像生成动用「GAN 技术」,连舞癡都能跳出超专业舞蹈

经由 AI 演算法后产生出下面两张图

AI 影像生成动用「GAN 技术」,连舞癡都能跳出超专业舞蹈

哪一张图你觉得比较自然呢?

AI 只用手绘草稿线条,就能即时生成图像

拿只黑笔把猫的轮廓用简单线条画出来,Pix2Pix 会根据形状、人们的绘画还有真实世界的图来自动完成整只猫的上色。

AI 影像生成动用「GAN 技术」,连舞癡都能跳出超专业舞蹈

AI 影像生成动用「GAN 技术」,连舞癡都能跳出超专业舞蹈舞癡也能完美跳出专业级舞蹈,有 AI 就行

加州柏克莱的研究团队,把跳舞高手的影片录製下来,用演算法找出肢体的轴线,然后把不会跳舞人的肢体轴线找出来,两个轴线互相对齐后,把肢体动作投射到不会跳舞的人上,产生出来的影片变成不会跳舞的人在影片中会跳舞了。

以上案例是笔者觉得比较有趣的,当然还有其他案例就不细讲,像是风格转换:透过生成,就可以轻易把梵谷画风转移到另一张照片上了。高解析度影像生成:透过不断的生成与判别,模型最后可以训练出比原图更高清画质的图像。

PConv-Keras 的 Github 送给你!

参考

《AI4quant 部落格》



上一篇: 下一篇:

相关推荐