把自拍拍成漫画:
不仅仅是一种面部风格。
不仅仅是人的脸,全身和背景都护理了。
这是最近在Reddit大受欢迎的自拍变漫画AI,不到一天就得到了1800+赞。
什么来着?
自拍成为漫画,脸部、全身、背景都受到照顾
该AI被称为webtoonMe,根据深度学习技术将图像翻译成漫画风格。
熟悉的人可能会知道,webtoon、web+cartoon,也就是“网页版漫画”,是漫画的一种表现形式,是从韩国产生的。
这个自拍变身漫画AI的技术组也是韩国出身。
一开始只切换了脸部,后来又想包括背景。
但是问题是,由于照片中各种物体(脸部、身体部位、衣服、背景等)的风格属性不同,如何输出统一的结果呢。
作者采访了一些webtoon的创作者,发现webtoon的“前景”和“背景”是用不同的工具制作的,为了使两者更自然地融合,后期也进行了很多修饰。
于是,他们把这种AI分为面部转换和背景转换两个部分,即一个背景生成器+1个面部生成器,切出人脸与背景分别处理。
具体来说,构建了由人脸、身体部位、物体、自然背景等不同部分组成的webtoon数据集。
然后,创建各种深度学习模型,以减少前景元素和背景元素之间的样式差异。
最后还模仿了不同的创作者修饰技术,通过一些后处理算法使生成的结果更自然、质量更高。
具体技术细节尚未透露,目前试用链接仍未打开。
但在众多怦然心动的背后,一些细心的网友看起来只是在一些例子中发现了一些问题。
你需要改善眼睛的效果
比如对于这双眼睛,很多网友都说有点害怕。一直往前看,眼睛动不了。
如果模仿眼球旋转、眨眼、眯眼睛等眼部动作,效果肯定会更好。
另外,抛开这一点,脸部和背景都处理得很好,是这个身体部位的身材不够彻底,还是有点像真的。
倒不如说这种AI的稳定性值得称赞。
哦,还有一个缺点,有网友说“可惜”:
要是这个AI还没起名字就好了,要不然就可以叫WaifuNet了[旺柴]
One More Thing
说起这个人物动画化的AI,一直在陆续出现。
例如,前几天的AnimeGAN2采用了神经风格迁移+GAN,由湖北工业大学的3名学生和老师开发,大受欢迎。一时间需要网友排几个小时的队看动画片里自己的样子。
AnimeGAN2的风格与今天的webtoonMe不同,因为变换点也只是人的脸,所以眼睛的追踪做得很好。
但面对一个不高清晰度的人脸,效果一般。
两者各有长处吧。你喜欢哪个。
参考链接:[1]https://webtoon.github.io/webtoonMe/en
[2]https://www.Reddit.com/r/MachineLearning/comments/sfbtds/p_webtoonme_project_selfie_to_webtoon_style/
文章评论