CSY's blog

图像对齐和图像拼接

发表于 2022-11-28 分类于 methods Valine：
本文字数： 6.8k 阅读时长 ≈ 6 分钟

👉👉👉👉👉👉本次实验选取来自论文的数据集 video2 的视频帧，通过 SIFT 特征点检测进行图像对齐，其第一帧的左，右视图如下：

阅读全文 »

DRNet

发表于 2022-10-16 更新于 2022-11-25 分类于 paper ， cv ， hr Valine：
本文字数： 3.8k 阅读时长 ≈ 3 分钟

DRNet: Decomposition and Reconstruction Network for Remote Physiological Measurement

【心率监测】【arxiv】【paper】【code未开源】

摘要

本文提出了一种非端到端的 bvp 信号估计网络，其基本思想来自 CVD 和 DualGan，可以简要概括为：将生理信号和非生理信号进行分离，并且通过互相组合使 rppg 估计器能够对各种噪声都具备鲁棒性。其整个网络基于两个无法证明的假设：1. STMap 的生理信号和非生理信号是线性组合的，2. 。同时本文提出了一种数据增强策略（仅针对 STMap）、一个即插即用的注意力模块（仅针对 STMap）、一种新的损失函数（并不新），在 VIPL、PURE、UBFC 上基本全指标超了 Dual-GAN，是新的 SOTA，暂未开源。

概览

阅读全文 »

Diffusion_Model

发表于 2022-10-16 更新于 2022-11-25 分类于 paper ， cv Valine：
本文字数： 12k 阅读时长 ≈ 11 分钟

Denoising Diffusion Probabilistic Models

【图像生成】【NIPS2020】【paper】【code】

摘要

本文将介绍扩散模型（diffusion model）的开山作 DDPM，着重介绍其数学原理，并给出一个简单的实现。简单来看，DDPM 包含两个过程：1.扩散过程，即将原始图像逐步加入高斯噪声最终变成 $\mathcal N(0,I)$ 的过程，此过程无参数；2.逆扩散过程，即通过训练一个神经网络，将从 $\mathcal N(0,I)$ 中采样的 $\epsilon$ 逐层迭代还原至原始输入的过程，此过程含参数。本质上，DDPM 就是将 VAE 进行了多层的扩展，区别在于：1.扩散过程中无参，2.模型的中间部分与原始输入 shape 保持一致；DDPM 和 VAE 同时都是使用最大似然估计的方式构造损失函数。

概览

阅读全文 »

Privacy-Phys

发表于 2022-10-16 更新于 2022-11-25 分类于 paper ， cv ， hr Valine：
本文字数： 2.1k 阅读时长 ≈ 2 分钟

Privacy-Phys: Facial Video-based Physiological Modification for Privacy Protection

【心率监测】【SPL2022】【paper】【code未开源】

摘要

本文提出了一种基于预训练的 3D-CNN 网络结构用于在保持视觉不变性的基础上修改视频中人脸的 rppg 信号，可以用于 IDEA 中的正样本生成模块之中。另外，本文讲故事的方式是：rppg 信号中具备人的生理和疾病等隐私信息，这些信息不希望被他人窃取，因此使用 PrivacyPhys 方法可以快速地修改 rppg 信号以干扰窃取，可以用于视频软件之中。

一个有意思的点在于：本文所谓的预训练的网络其实完全不参与微调，梯度也不用来更新网络参数，而是直接更新结果。

概览

阅读全文 »

CVD

发表于 2022-10-15 更新于 2022-11-25 分类于 paper ， cv ， hr Valine：
本文字数： 2.8k 阅读时长 ≈ 3 分钟

Video-Based Remote Physiological Measurement via Cross-Verified Feature Disentangling

【心率检测】【ECCV2020】【paper】【code】

摘要

本文提出了一种基于自编码器的架构的特征学习器，并且将输入的 video 表示为多尺度 STmap，通过多编码器-单解码器的方式生成编码不同特征的编码器，同时通过交叉验证解离（CVD）的策略训练。同时对解码出的特征估计时使用了可以输出多种生理信号的估计器，是结合了自编码器、解离表征、rppg 估计网络的 SOTA。

概览

阅读全文 »

Meta-rPPG

发表于 2022-10-15 更新于 2022-11-25 分类于 paper ， cv ， hr Valine：
本文字数： 3.6k 阅读时长 ≈ 3 分钟

Meta-rPPG: Remote Heart Rate Estimation Using a Transductive Meta-Learner

【心率监测】【ECCV2020】【paper】【code】

摘要

本文采用了元学习的方式探索了在跨数据集上的适应性问题，通过将每个 clip 的预测看做单个任务的方式构造多任务，并将每个 clip 区分为互不相交的 Q, S 进行 few-shot 学习。得到的网络结构理论上可以在预训练的基础上支持 zero-shot 学习，通过梯度合成生成器快速学习无标签数据。缝合元学习的基础上在 MAHNOB-HCI 取得了 SOTA，在 UBFC 上效果普通。

概览

阅读全文 »

AutoHR

发表于 2022-10-14 更新于 2022-11-25 分类于 paper ， cv ， hr Valine：
本文字数： 3.1k 阅读时长 ≈ 3 分钟

AutoHR: A Strong End-to-end Baseline for Remote Heart Rate Measurement with Neural Searching

【心率检测】【SPL2020】【paper】【code未开源】

摘要

本文提出了一种基于 NAS 的心率检测 backbone 设计策略，在操作域中加入了 TDC（时空差分卷积），同时提出了一种时域和频域的混合损失函数，在单数据集和跨数据集上的测试都取得了较好的结果，并且为了解决现有方法泛化能力弱的问题提出了新的数据增强策略，取得了端到端的 SOTA。

概览

阅读全文 »

HR_CL_the_way_to_my_heart

发表于 2022-10-14 更新于 2022-11-25 分类于 paper ， cv ， hr Valine：
本文字数： 8.3k 阅读时长 ≈ 8 分钟

The Way to my Heart is through Contrastive Learning:Remote Photoplethysmography from Unlabelled Video

【心率检测】【ICCV2021】【paper】【code】

摘要

这篇文章为了解决心率检测数据集难以采集的问题提出了一种可能的对比学习方法，并且同时缝合了能够放大 ROI 区域的显著性采样器，取得了一般的结果。实际上，这篇文章对比的 SOTA 都很有年代感，而 CVPR2021 有一篇基于 Dual-GAN 的工作在效果上已经远超这篇文章的结果，甚至是数量级级别的优势。这篇文章的结果甚至放在 20 年都毫无竞争力，基本可以说贡献仅限于某个可行的对比学习框架和一个新 loss。

概览

阅读全文 »

HR_Dual_GAN

发表于 2022-10-14 更新于 2022-11-25 分类于 paper ， cv ， hr Valine：
本文字数： 2.9k 阅读时长 ≈ 3 分钟

Dual-GAN: Joint BVP and Noise Modeling for Remote PhysiologicalMeasurement

【心率检测】【CVPR2021】【paper】【code未开源】

摘要

本文提出了一种基于对偶 GAN 的心率预测网络，同时提出了一种解决不同 ROI 之间的噪声和 BVP 分布不一致的问题的即插即用块。并且本文网络的贡献除了效果非常好之外，对于噪声更加鲁棒。除此之外，该网络结构并不是纯 Dual-GAN，而是由三个生成器和一个判别器组成的网络，用到了回归的方式进行训练，并非无监督训练，并且全部的 G/D 基于 CNN，网络只需要在 1080Ti 上训练 10 个 epoch 即可收敛。可以说唯一的缺点是还没开源了😭