如果编程语言大战，您将支持谁
|
ContextNet 分别应用了下采样 (DS) 和剪裁 (C) 策略。从图中可以看出，DS 导致细节模糊，剪裁则导致跨 patch 不一致问题。 而该研究提出的 HDMatt 方法解决了这两个缺陷，抠图效果与真值（上图 c）最接近，这说明该方法能够拟合精细细节。 该研究的主要贡献有： 这是首个基于深度学习的高分辨率图像抠图方法，在硬件资源限制下使现实世界中的高质量 HR 抠图成为现实。 提出一种新型模块 CPC，用来捕获 patch 之间的长程语境依赖性。在 CPC 内部，新提出的 Trimap-Guided Non-Local（TGNL）操作旨在高效传播来自 reference patch 不同区域的信息。 在定量和定性实验方面，HDMatt 方法在 Adobe Image Matting (AIM)、AlphaMatting 基准和真实高分辨率图像数据集上均实现了新的 SOTA 性能。 HDMatt 方法 为了解决高分辨率图像的抠图问题，该研究提出 HDMatt 方法，该方法首先将输入图像和 trimap 剪裁为 patch，然后估计每个 patch 的 alpha 值。仅使用一个 patch 的信息会导致信息损失以及不同 patch 之间的预测不一致问题。因此，该研究提出新型 Cross-Patch Context Module (CPC) 模块，高效利用每个 query patch 的跨 patch 信息。最后，将每个 patch 的估计 alpha 值连接，输出整个图像最终的前景蒙版。
下图 2 展示了 HDMatt 方法的整体框架：
抠图是图像和视频编辑与合成的关键技术。通常，深度学习方法会以整个输入图像和相关的 trimap 作为输入，使用卷积神经网络来推断前景蒙版（alpha matte）。这种方法在图像抠图领域实现了 SOTA 结果。但是，由于硬件限制，这些方法在实际的抠图应用中可能会失败，因为现实世界中需要抠图的输入图像大多具备很高的分辨率。 近日，来自伊利诺伊大学香槟分校（UIUC）、Adobe 研究院和俄勒冈大学的研究者提出了一种名为 HDMatt 的新方法，这是首个处理高分辨率输入图像的深度学习抠图方法。 早在 2017 年，Adobe 等机构就发表论文《Deep Image Matting》，采用大规模数据集与深度神经网络学习图像的自然结构，进一步分离图像的前景与背景。而那篇论文的一作 Ning Xu 正是这篇论文的第二作者。只不过，研究者这次将矛头对准了高分辨率图像。
具体来说，HDMatt 方法使用新型模块设计，以基于 patch 的剪裁 - 拼接方式（crop-and-stitch）为高分辨率输入图像进行抠图，进而解决不同 patch 之间的语境依赖性和一致性问题。基于 patch 的原版推断方法单独计算每个 patch，而该研究提出了新的模块——CrossPatch Contextual module (CPC)，该模块由给定的 trimap 指导，对跨 patch 语境依赖性进行建模。 大量实验表明了该方法的有效性及其对于高分辨率输入图像的必要性。HDMatt 方法在 Adobe Image Matting 和 AlphaMatting 基准上均实现了新的 SOTA 性能，并且在更真实的高分辨率图像上获得了优秀的效果。
下图展示了，在处理高分辨率图像时，HDMatt 方法与之前最优方法 ContextNet 的对比结果： 而时下， Mozilla 这一次研究所采用的数据则更精确，Mozilla的研究收集了 5.2 万名参与者的全部浏览记录，数据包括对 66 万个独特域名的 3500 万次网站访问，也是该领域规模比较大的一次研究。 参与者首先和 Mozilla 团队分享他们的浏览历史，然后，Mozilla 团队开始试验他们是否能从大量数据中重新识别出这些用户。结果显示，99%的浏览记录被发现具有独特性，能与用户“对号入座”。 此外，2012年和2020年的两次研究对比也展示了互联网时代的变化：八年前，对于用户访问量比较大的前50个网站，识别用户的准确率为38%，对于500个网站的数据集，准确率为70%;今天，以50个网站为基础的重新识别准确率为50%，以150个网站为基础的重新识别准确率为90%。 伴随着5G技术的发展，人们创造的信息总量也以几何级数进行累积，研究显示，过去几年中人类制造的数据占整个人类历史数据量的95%，换言之，大数据时代已经真正降临。
在互联网时代的后半场，我们的生理信息都将进入传播渠道，成为5G技术下的重要信息资源。而通过用户浏览记录分析用户身份无疑会成为进入传播渠道的另一重要数据，如何规避这一数据信息下的隐私暴露风险，创造更好地保护隐私的路径，依然有待实践探索。但任何技术的狂想始终来自人和人性，人类的智慧是技术的智慧，也是破解技术困境的智慧。 （编辑：阳江站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
