基于 AI 技术深度学习的马赛克去除——CodeFormer,不过仅仅能修复面部

已收录   阅读次数: 615
2023-11-0718:26:21 发表评论
摘要

很早之前,介绍过有关去除马赛克的新闻和应用,而到了 2023 年的今天,伴随着 AI 的发展,去除马赛克越来越容易。最近,伯衡君在 Github 上发现一个项目,名字叫做 CodeFormer,可以将马赛克去除的干干净净,恢复靓丽的容貌,似乎目前仅仅对人脸有效果。它到底有什么经验效果呢?请看本篇文章……

分享至:
基于 AI 技术深度学习的马赛克去除——CodeFormer,不过仅仅能修复面部

开篇寄语

很早之前,介绍过有关去除马赛克的新闻和应用,而到了 2023 年的今天,伴随着 AI 的发展,去除马赛克越来越容易。最近,伯衡君在 Github 上发现一个项目,名字叫做 CodeFormer,可以将马赛克去除的干干净净,恢复靓丽的容貌,似乎目前仅仅对人脸有效果。它到底有什么经验效果呢?请看本篇文章。

前情提要

体验地址

项目地址

内容详情

你是否曾经为你的照片质量感到沮丧?你是否想要让你的老照片或者AI生成的人脸更加清晰和真实?你是否想要让你的视频画面更加细腻和流畅?如果你的答案是肯定的,那么你一定会对 CodeFormer 项目感兴趣。

基于 AI 技术深度学习的马赛克去除——CodeFormer,不过仅仅能修复面部

作者给出的一个颇为明显的例子。

CodeFormer 是一个使用代码本查找变换器实现的强大的人脸修复算法,它可以恢复低质量的图片,老照片和AI生成的人脸。它可以减少噪声,模糊和压缩,让你的照片焕然一新。

该项目由新加坡南洋理工大学的S-Lab实验室开发的,并在2022年的 NeurIPS 会议上发表论文。

其不仅可以修复人脸,还可以进行人脸上色和人脸修补,让你的照片更加生动和完整。 它还支持视频输入,你可以用它来提升你的视频质量。

你可能会想,CodeFormer 是如何实现这些神奇的效果的呢?它是不是使用了一些复杂的深度学习模型,或者一些高端的硬件设备?其实,CodeFormer 的原理很简单,它就是利用了一种叫做代码本查找变换器的技术,它可以从一个大的人脸数据库中找到最匹配的人脸片段,然后用它们来替换原始图片中的低质量的人脸部分。

这听起来很简单,但是实际上,这是一个非常困难的任务,因为人脸的形状,颜色,表情,光照,角度等都会影响匹配的效果。CodeFormer 使用了一种特殊的注意力机制,来保证匹配的人脸片段和原始图片的人脸部分在这些方面都尽可能的一致。

CodeFormer 还使用了一种叫做自适应实例归一化的技术,来保证匹配的人脸片段和原始图片的人脸部分在风格上也尽可能的一致。 这样,就可以避免出现一些奇怪的现象,比如一个人的眼睛是蓝色的,但是鼻子是红色的,或者一个人的脸是圆的,但是耳朵是尖的。

伯衡君在体验上来说,效果是惊人的,它可以让你的照片从模糊到清晰,从灰暗到鲜艳,从平淡到生动。它可以让你的老照片重现光彩,让你的AI生成的人脸更加真实,让你的视频更加流畅。它可以让你的照片变得像是由专业的摄影师拍摄的,或者像是由著名的画家绘制的。

如果你想免费使用 CodeFormer,你可以在本地运行 GitHub代码,或者尝试 Colab演示。你也可以在Hugging Face,Replicate 或 OpenXLab 上在线体验它,Github 项目上已经给出了地址。

最直观的使用就是前往其在线体验地址,将原有的内容替换为你想要替换的图片,比如伯衡君使用这张图片。

基于 AI 技术深度学习的马赛克去除——CodeFormer,不过仅仅能修复面部

在在线体验地址内,将文件替换成这张。

基于 AI 技术深度学习的马赛克去除——CodeFormer,不过仅仅能修复面部

点击 “Run” 后,我们可以看一下实际效果。

基于 AI 技术深度学习的马赛克去除——CodeFormer,不过仅仅能修复面部

似乎效果一般,可能我用的那张图质量太差了,后来用一张质量非常好的图后,生成效果就出来了。

基于 AI 技术深度学习的马赛克去除——CodeFormer,不过仅仅能修复面部

有兴趣的朋友赶快来试试看,很有意思哦。

  • 我的微信
  • 微信扫一扫加好友
  • weinxin
  • 我的微信公众号
  • 扫描关注公众号
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: