1. title：CreatiParser: Generative Image Parsing of Raster Graphic Designs into Editable Layers
2. [2604.19632v1] CreatiParser: Generative Image Parsing of Raster Graphic Designs into Editable Layers
3. 机构：中科大
4. 文本单独处理，用 Qwen3-VL 学习（GRPO 增强）从图片输出文字协议（json文件），然后渲染出来。主体 diffusion 用 SDXL，三条轨迹，LTA 在同一个空间位置上，让三个分支互相 attention，通过可学习的门控残差加回原 token。

二、方法

2.1 任务定义

输入：RGB 图 输出：三类可编辑图层：

2.2 pipeline

1. VLM-based Text Layer Parsing：用 Qwen3-VL + LoRA 从图像预测文本渲染协议 JSON，再用渲染引擎生成文字层。
2. Multi-branch Diffusion for Background and Sticker：用三分支 SDXL U-Net 生成背景和贴纸，支持 RGBA 透明图层。
3. ParserReward-guided GRPO：只优化 QwenLM 的 LoRA 参数，用奖励函数让文字协议预测更符合像素、位置和语义一致性。

2.2.1 文字部分

论文把文字层表示为 Text Rendering Protocol：

其中：

• $c=(W,H)$：画布尺寸；
• $\ell_i$：第 (i) 个文本实例。

每个文本实例：$\ell_i = (g_i, s_i, a_i, r_i)$ 包括四类属性：

对于弯曲文字，作者用三次 Bézier 曲线表示路径，并用 $τ$ 表示文字是否沿曲线排列。最后，Qwen3-VL 直接从输入图像预测这个 JSON 协议，再由渲染引擎生成文字层。同时用 GRPO 优化Qwen3-VL 文本协议预测。

2.2.1.1 GRPO refinement

给定输入图 $I$，从 Qwen3-VL 采样 $K$ 个候选协议 ${P^{(k)}}_{k=1}^{K}$，论文默认：K=16，采样使用 temperature sampling，$\tau=0.8$。

每个候选协议都会经过 render engine：

这一步很重要。奖励不是直接看 JSON 文本，而是看 JSON 渲染之后的视觉结果。

每个候选文字层有三个 reward：

1. Pixel reward：衡量渲染后的文字层和原图文字区域像素是否接近。

1. Localization reward: 衡量文字 mask 位置是否对齐。

1. Semantic reward ：基于 Levenshtein 编辑距离的文本相似度

其中：

总奖励：

组内归一化 advantage ：对同一张图的 $K$ 个候选协议，计算 reward 后做 group normalization：

GRPO 的核心： 不是训练一个 value model，而是在同一组候选里比较谁更好。

用 clipped objective 更新 LoRA 更新目标类似 PPO：

其中：

加 KL 正则：

论文中 $\epsilon_c=0.2$，$\beta=0.01$，学习率 $10^{-4}$，训练 2000 steps

2.2.2 diffusion

作者以 SDXL 为 backbone，构建三个 U-Net 分支：

三个分支拓扑相同，但条件输入不同。每个分支都有独立 LoRA，原始 SDXL 参数冻结，只训练 LoRA。 RGBA latent 用 LayerDiffuse。

2.2.2.1 LTA(Layer Token Attention)

假设三个分支在同一空间位置都有 token：

作者不是把所有 3N 个 token 全部混合做全局 attention，而是在每个空间位置 n 上，把三个分支的 token 堆起来：

然后只在这三个分支 token 之间做 attention。也就是说，每个位置只和同一位置的其他分支交流，而不是和全图所有位置交流。最后通过可学习门控融合回原分支。

2.3 数据集和评估

2.3.1 数据集设置

2.3.2 评估指标

评估指标分三类：

1. Layer Reconstruction Accuracy：Text IoU 和 Sticker IoU。
2. Text Editability：Font Accuracy 和 Attribute Accuracy。Font 是字体 ID exact match；Attr 是其他外观和关系字段的平均准确率。
3. Pixel-Level Reconstruction：分别计算 text、sticker、background 的 RGB L1，以及平均值。

2.3.3 对比方法

• Baseline：Grounded-SAM-2 做 text/sticker segmentation，LaMa 做 background inpainting。
• LayerD：matting-first，再做 background completion。
• 由于不同方法和 Crello 的图层 taxonomy 不一致，作者用 GPT-4V 做自动层类别归一化，并用 200 个样本人工验证，报告总体分类准确率 94.5%。

1. A Unified and Controllable Framework for Layered Image Generation with Visual Effects
2. UC Santa Cruz，Adobe Research
3. [2601.15507v2] A Unified and Controllable Framework for Layered Image Generation with Visual Effects
4. 以前的方法，只分解 RGBA 的前景层。把前景层视为物体+阴影。支持三种生成模式：给定前景生成背景、给定背景生成前景和t2l。同时提出了一个 dataset：LASAGNA-48K，包含超过 48K 图像三元组的数据集：composite image、clean background、foreground layer with visual effects。

二、方法

2.1 数据

普通 layered dataset 没有“带 visual effects 的前景层”。Lasagna-48K：数据来自 MULAN、COCO 2017、SOBA，最终包括 8K MULAN、39K COCO 和 1K SOBA 样本。

Public datasets
    ↓
Step 1: Non-occluded mask selection
    ↓
Step 2: LayerDecomp decomposition
    ↓
Step 3: VLM-based data filtering / artifact removal
    ↓
Step 4: Joint captioning
    ↓
Lasagna-48K triplets:
    composite image
    clean BG
    FG layer with visual effects
    captions

2.2 pipeline

mask、fg 和 bg 当成上下文，和 noisy token 拼接在一起。四类 embedding 注入：

位置编码是3D-RoPE。

具体架构：

• base architecture / backbone：Diffusion Transformer, DiT
• initialization：2B pre-trained DiT model
• text encoder：T5
• image latent：RGBA-VAE，fine-tuned from DiT VAE
• training objective：flow matching

1.1 PCA 的核心目的

PCA，全称 Principal Component Analysis，主成分分析。

它的目标是：

这里的“变化信息”通常用 方差 衡量。方差越大，说明数据在这个方向上越分散，这个方向越能表达数据差异。

在文献中，PCA 被描述为经典的无监督线性降维方法，目标是得到高维数据的紧凑表示，并常用于特征提取和模式识别。

1.2 PCA 推导主线

假设有 $n$ 个样本：

每个样本是 $d$ 维列向量：

比如一张图片拉平成向量后，每个像素就是一个维度。

1. 求均值

先求所有样本的平均值：

这个 $\mu$ 也是一个 $d\times 1$ 的列向量。 它表示所有样本的“中心位置”。

2. 中心化

把每个样本减去均值：

中心化后的样本 $\tilde{x}_i$ 表示：

如果把所有中心化样本按列拼起来：

3. 构造散度矩阵 / 协方差矩阵

定义：

也可以写成：

形状是：

这个 $S$ 叫 散度矩阵 或 协方差矩阵。 它描述的是：

教程材料中也把

称为 covariance matrix 或 scatter matrix，并说明若数据已中心化，则可写成 $S=XX^T$。

4. 投影到一个方向

假设我们找一个方向：

并要求它是单位向量：

一个样本投影到这个方向上：

形状是：

所以 $z_i$ 是一个数字。 它表示：

5. 投影后的总方差

PCA 要让投影后的数据尽量分散，所以看：

代入 $z_i=u^T\tilde{x}_i$ 得到：

展开：

所以：

把 $u$ 提出来：

而括号里就是 $S$，所以：

于是 PCA 的一维目标变成：

并且要求：

教程材料中也说明，$u^TSu$ 可以理解为投影后的方差，也可以理解为中心化数据投影重构后的平方长度。

6. 用拉格朗日乘子求解

现在要解：

构造拉格朗日函数：

对 $u$ 求导：

令导数为 0：

得到：

这就是 特征值问题。

7. PCA 的核心结论

这里：

• $S$：协方差矩阵 / 散度矩阵；
• $u$：特征向量；
• $\lambda$：特征值。

对于单位特征向量 $u$，有：

所以：

因此 PCA 选择：

作为第一主成分方向。

1.3 多个主成分的形式

如果不只要一个方向，而是要 $k$ 个方向：

把它们按列拼成矩阵：

要求这些方向两两正交、每个长度为 1：

投影：

形状：

也就是：

多个方向上的总方差是：

于是多维 PCA 目标是：

最优解是：

其中 $q_1,\dots,q_k$ 是 $S$ 最大的 $k$ 个特征值对应的特征向量。

1.4 PCA 的另一种理解：最小重构误差

PCA 也可以从“重构”角度理解。

一个样本投影到低维空间：

再重构回原空间：

也就是说：

PCA 选择的 $U$，既能让投影方差最大，也等价于让重构误差尽量小。

文献中也把 PCA 描述为在最小二乘重构误差意义下获得高维数据的紧凑表示。

1.5 PCA 怎么用于人脸识别：Eigenfaces

Eigenfaces 可以理解为：

它把每张人脸图像看成一个高维向量，然后用 PCA 找出人脸图像中最主要的变化方向。

2DPCA 文献中提到，Sirovich 和 Kirby 首先用 PCA 表示人脸图像，认为任意人脸可以近似表示为平均脸加少量 eigenimages 的加权和；Turk 和 Pentland 随后提出了著名的 Eigenfaces 人脸识别方法。

1. 图像向量化

假设一张灰度人脸图像大小是：

像素总数：

把图像拉直成列向量：

比如 $100\times 100$ 的图像：

拉直后：

2. 求平均脸

有 $M$ 张训练人脸：

平均脸：

这里 $\Psi$ 也是一张脸，只不过是平均后的脸。

3. 减去平均脸

每张脸中心化：

$\Phi_i$ 表示：

4. 组成训练矩阵

把所有中心化人脸按列拼起来：

形状：

其中：

• $N$：每张图像的像素数；
• $M$：训练图像数量。

通常：

比如：

5. 正常 PCA 要求协方差矩阵

理论上要构造：

形状：

如果 $N=10000$，那么：

太大。

文献也指出，PCA 人脸识别需要先把二维人脸矩阵变成一维图像向量，这会导致很高维的向量空间；由于协方差矩阵大且训练样本相对少，准确估计协方差矩阵会很困难。

1.6 Eigenfaces 的小矩阵技巧

真正想求的是：

其中：

这个 $u$ 可以 reshape 回一张图像，所以叫 eigenface，特征脸。

但 $AA^T$ 太大，于是改求小矩阵：

形状：

如果 $M=100$，那么只需要分解 $100\times 100$ 的小矩阵。

关键推导

先求：

其中：

两边左乘 $A$：

左边变成：

右边变成：

所以：

因此：

就是大矩阵 $AA^T$ 的特征向量。

这就是 Eigenfaces 最重要的计算技巧：

文献中也提到，Eigenfaces 的特征向量可以通过 SVD 等技术高效计算，从而避免直接生成巨大协方差矩阵。

1.7 人脸如何用 Eigenfaces 表示？

取前 $K$ 个特征脸：

把它们组成：

对一张新脸 $\Gamma$，先减平均脸：

再投影：

形状：

所以：

这就是这张脸的低维表示。 原来一张脸需要 $N$ 个像素表示，现在只需要 $K$ 个权重表示。

1.8 人脸重构公式

因为：

所以可以近似重构：

加回平均脸：

展开写：

这句话是 Eigenfaces 的核心直观解释：

2DPCA 论文也指出，在 Eigenfaces 方法中，主成分和特征向量可以组合起来重构人脸图像。

1.9 人脸识别流程

训练阶段：

1. 把每张训练人脸拉成向量 $\Gamma_i$；
2. 求平均脸 $\Psi$；
3. 得到中心化人脸 $\Phi_i=\Gamma_i-\Psi$；
4. 组成矩阵 $A=[\Phi_1,\dots,\Phi_M]$；
5. 求小矩阵 $A^TA$ 的特征向量 $v_k$；
6. 得到真正特征脸：

1. 取前 $K$ 个特征脸；
2. 每张训练脸投影成权重向量：

测试阶段：

1. 新脸 $\Gamma_{\text{test}}$ 减平均脸：

1. 投影成权重：

1. 和训练集中每个人脸的权重向量比较距离：

1. 找最近的那个训练样本，作为识别结果。

这就是最近邻分类：

2DPCA 文献在比较 PCA/Eigenfaces 和 2DPCA 时也说明，PCA/Eigenfaces 使用普通欧氏距离进行最近邻分类。

1.10 延伸

1.10.1 2DPCA

1.10.2 GLRAM

等价于：

1.10.3 FDA

1.10.4 KFDA

二、线性降维

从 PCA/Eigenfaces → LDA/Fisherfaces → MMC → NLDA/OLDA → LPP/MFA → RI $(L_{2,1})$ 鲁棒版本 核心问题都是：

目标是在低维空间里保留对分类有用的信息，去掉光照、表情、姿态、噪声、异常值等无关变化。

2.1 总体知识结构

四篇文献可以这样串起来：

Eigenfaces vs Fisherfaces 论文的核心观点是：PCA 最大化总散度，但这些散度可能主要来自光照和表情，而不是身份差异；Fisherfaces 使用类别信息，试图保留身份差异并压制类内变化。论文还指出，同一人脸在固定姿态、不同光照下，理想 Lambertian 情况会落在 3D 线性子空间中，但真实人脸会受阴影、镜面反射、表情影响而偏离该子空间。

2.2 统一符号

设训练样本为

共有 $c$ 个类别，第 $i$ 类为 $X_i$，样本数为 $N_i$。

全局均值：

第 $i$ 类均值：

低维投影：

2.3PCA / Eigenfaces

2.3.1 PCA 的直观目标

PCA 不使用类别标签，只关心所有样本整体的变化方向。它希望找到投影矩阵 $U$，使投影后样本方差最大。

总散度矩阵：

投影后总散度为：

PCA 目标：

若只取一个方向 $u$，问题变成：

2.3.2 PCA 公式推导

构造拉格朗日函数：

对 $u$ 求导：

得到：

所以 PCA 的投影方向就是 $S_T$ 的特征向量，取最大特征值对应的前 $d$ 个方向。

在 Eigenfaces 中，每张人脸图像被看作一个高维向量，PCA 得到的特征向量仍然具有图像维度，因此可视化后称为 eigenfaces。论文中也指出，若 PCA 维度取到训练样本数附近，Eigenface 方法会接近直接相关匹配。

3.3 PCA 的局限

PCA 最大化的是总散度：

其中：

• $S_B$：类间散度，有利于分类；
• $S_W$：类内散度，通常是不希望保留的变化。

问题在于 PCA 不区分这两者。光照、表情、姿态变化可能导致很大的类内散度，因此 PCA 可能优先保留这些方向，而不是保留身份判别方向。Eigenfaces 论文明确指出，PCA 对重构是最优的，但不一定对判别最优。

2.4 LDA / Fisherfaces

2.4.1 LDA 的目标

LDA 使用类别标签。它希望：

定义类间散度：

定义类内散度：

LDA 的经典目标是 Fisher 准则：

对于单个投影方向 $u$：

Eigenfaces vs Fisherfaces 论文中正是用这个准则来构造 Fisherfaces，并指出最大可得判别维数不超过 $c-1$。

2.4.2 LDA 单方向推导

令：

等价于约束优化：

构造拉格朗日函数：

对 $u$ 求导：

得到广义特征值问题：

若 $S_W$ 可逆，则：

所以 LDA 取 $S_W^{-1}S_B$ 最大特征值对应的方向。

2.4.3 多维 LDA

对多个方向 $U=[u_1,\dots,u_d]$，目标为：

解仍来自广义特征值问题：

取最大的 $d$ 个广义特征值对应的特征向量。

由于

所以 LDA 最多只能得到 $c-1$ 个有效判别方向。

2.4.4 Fisherfaces：PCA + LDA

在人脸识别中，经常有：

也就是图像维度远大于训练样本数。此时：

因此 $S_W$ 奇异，无法直接求 $S_W^{-1}$。

Fisherfaces 的解决方法是：

1. 先用 PCA 降到 $N-c$ 维；
2. 再在该子空间中做 LDA，降到 $c-1$ 维。

公式为：

更具体地：

Fisherfaces 论文指出，这样做的目的就是先把维度降到 $N-c$，使之后的类内散度矩阵不再奇异，再执行标准 LDA。

2.5 Lambertian 线性子空间模型

这部分解释为什么人脸光照变化可以被线性子空间近似。

对 Lambertian 表面上一点 $p$，图像强度为：

其中：

• $a(p)$：反照率；
• $n(p)\in\mathbb{R}^3$：表面法向量；
• $s\in\mathbb{R}^3$：光照方向与强度。

因为 $E(p)$ 对 $s$ 是线性的，所以整张图像也可以写成：

其中 $B$ 由表面法向和反照率决定。因此固定姿态下，同一张脸在不同光照下的图像理论上位于一个 3D 线性子空间中。Eigenfaces vs Fisherfaces 论文正是基于这一观察来解释线性子空间方法和 Fisherfaces 的动机。

但真实情况有阴影、表情、镜面反射，因此实际图像不会完全落在 3D 子空间中。Fisherfaces 的思想是学习一个投影，使这些类内变化被压制，同时保留身份差异。

2.6 MMC：Maximum Margin Criterion

2.6.1 MMC 的基本思想

MMC 的动机是：LDA 需要处理

当 $S_W$ 奇异时不稳定。MMC 改用「差值型」准则：

避免直接求 $S_W^{-1}$。

MMC 论文指出，MMC 几何上最大化的是类间平均 margin，并且相比 PCA 更能表示类别可分性；它还可以通过不同约束与 LDA 建立联系。

6.2 MMC 的 margin 推导

设第 $i$ 类均值为 $m_i$，类内散布度为 $s_i$。两个类别之间的 margin 定义为：

含义：

• $

  m_i-m_j

  ^2$：类中心距离，越大越好；

• $s_i+s_j$：两个类自身扩散程度，越小越好。

总体 MMC 是所有类别对 margin 的加权和：

展开：

第一项可以化为类间散度：

第二项可以化为类内散度：

所以：

投影后：

2.6.3 MMC 的特征值推导

约束：

单方向时：

拉格朗日函数：

求导：

得到：

所以 MMC 取 $S_B-S_W$ 的较大特征值对应的特征向量。通常只保留正特征值方向，因为：

表示该方向上类间分离大于类内扩散。

MMC 论文指出，这种方法不需要计算 $S_W^{-1}$，因此可避开小样本问题；并且在线性特征提取部分，最优解由 $S_B-S_W$ 的特征向量给出。

2.6.4 MMC 与 LDA 的关系

LDA 是比值型：

MMC 是差值型：

二者目标相似：都是希望 $S_B$ 大、$S_W$ 小。

区别是：

• LDA 需要处理 $S_W^{-1}$，小样本时不稳定；
• MMC 不需要求逆，直接做普通特征分解；
• MMC 可以丢弃负特征值方向，因此可能得到更低维但仍有判别力的子空间。

2.7 NLDA：Null Space LDA

2.7.1 为什么需要 NLDA

当 $S_W$ 奇异时，存在一些方向 $u$ 使得：

这表示在这些方向上，同一类样本被压缩到一起，即类内散度为 0。若同时：

则这些方向对分类非常有用。

NLDA 的目标：

也就是在 $S_W$ 的零空间中最大化类间散度。JMLR 论文指出，NLDA 正是通过在类内散度矩阵的零空间中最大化类间距离来隐式避免奇异性。

2.7.2 NLDA 推导流程

由于直接求 $S_W$ 的零空间可能很大，常先去掉 $S_T$ 的零空间。

定义：

做 SVD：

于是：

设 $U_1$ 对应非零奇异值，则投影到 $U_1$ 空间：

然后找：

即：

再在这个零空间中最大化：

最终：

JMLR 论文中给出了 NLDA 算法：先对 $H_T$ 做 reduced SVD，形成 $\widetilde{S}_B,\widetilde{S}_W$，再计算 $\widetilde{S}_W$ 的零空间，最后在该零空间中取 $W^T\widetilde{S}_B W$ 的主特征向量。

2.8. OLDA：Orthogonal LDA

2.8.1 OLDA 的目标

OLDA 希望得到正交判别向量：

它的优化形式为：

其中 $(\cdot)^+$ 是 Moore–Penrose 伪逆。

OLDA 的思想是通过同时对角化 $S_B,S_W,S_T$，在避免奇异问题的同时获得正交投影方向。JMLR 论文说明，OLDA 可以分解为三步：去掉 $S_T$ 零空间、执行 classical ULDA、再做正交化。

2.8.2 OLDA 推导流程

仍从：

得到 $U_1,\Sigma_T$。

构造：

对 $B$ 做 SVD：

构造：

其中 $q=\operatorname{rank}(S_B)$。

然后做 QR 分解：

最终：

即 $Q$ 是 OLDA 的正交判别投影矩阵。JMLR 论文中 Algorithm 2 正是这个流程。

2.8.3 NLDA 与 OLDA 的等价条件

论文给出条件：

在该条件成立时：

也就是说，虽然 NLDA 从 $S_W$ 零空间角度出发，OLDA 从正交化和同时对角化角度出发，但在高维小样本数据中，它们常得到等价的判别子空间。JMLR 论文的主结论就是在该温和条件下 NLDA 与 OLDA 等价，并据此提出更高效的 iNLDA。

2.9 LPP 与 MFA：从全局结构到局部结构

9.1 PCA/LDA 的不足

PCA 和 LDA 都偏全局：

• PCA 保留全局方差；
• LDA 保留全局类间/类内散度。

但很多图像数据在高维空间里具有局部流形结构。LPP 和 MFA 的思想是用图来描述局部邻域关系。

2.9.2 图嵌入统一框架

定义图权重矩阵：

度矩阵：

图拉普拉斯矩阵：

经典图嵌入目标：

约束：

对应广义特征值问题：

RI 维度约简论文指出，PCA、LDA、LPP、MFA 都可以放入图嵌入框架，但该框架通常使用 $L_2$ 或 Frobenius 范数，因此容易受异常值和图像变化影响。

2.9.3 LPP

LPP 目标是保持近邻点在低维空间中仍然接近：

展开：

约束常写为：

因此得到：

2.9.4 MFA

MFA 同时构建两类图：

1. 类内 compactness graph：同类近邻应靠近；
2. 类间 penalty graph：不同类边界邻居应远离。

目标可写为：

其中：

• $L_c$：类内紧致图；
• $L_p$：类间惩罚图。

对应广义特征值问题：

2.10RI $(L_{2,1})$ 鲁棒降维

2.10.1 为什么引入 $L_{2,1}$ 范数

传统 PCA/LDA/LPP/MFA 多用 Frobenius 范数：

平方项会放大异常值。

RI 论文定义 $L_{2,1}$ 范数为：

其中 $A_i$ 是第 $i$ 行。该范数没有整体平方放大，并满足旋转不变性：

其中 $R$ 为旋转矩阵。论文指出，$L_{2,1}$ 的鲁棒性来自其没有平方操作，并据此提出 RI-PCA、RI-LDA、RI-LPP、RI-MFA。

2.10.2 $L_{2,1}$ 到加权二次型的推导

考虑：

为了便于求解，使用迭代加权形式。对每一项：

因此定义权重：

于是：

这就是 RI 系列方法的核心：把非光滑的 $L_{2,1}$ 优化转化为一系列加权二次型特征值问题。

2.10.3 RI-PCA

RI-PCA 用 $L_{2,1}$ 度量总体散度：

其中：

加权矩阵：

于是 RI 总散度：

RI-PCA 求：

对应：

由于 $D_{Rt}$ 依赖于 $U$，所以需要迭代更新。RI 论文中给出了 RI-PCA 的目标、对应特征方程和迭代求解方式。

2.10.4 RI-LDA

RI-LDA 定义 RI 类间散度：

其中：

权重：

RI 类内散度：

目标：

对应特征值问题：

取较小特征值对应方向。RI 论文中明确给出 RILDA 的类间、类内 $L_{2,1}$ 散度定义，以及由此得到的特征值求解形式。

2.10.5 RI-LPP 与 RI-MFA

RI-LPP 把 LPP 中的平方距离：

替换为：

然后转化为加权二次型：

目标：

对应：

RI-MFA 类似，只是把图换成：

• 类内 compactness 图；
• 类间 penalty 图。

目标：

对应：

RI 论文把 RIPCA、RILDA、RILPP、RIMFA 统一成一个 RI 子空间学习框架，并指出这些方法本质上是对应传统方法的重加权版本。

2.11 一个统一视角

这些方法可以统一理解为：

或：

对应关系：

2.12 建议掌握的推导重点

按重要性排序：

1. PCA 推导

2. LDA 推导

3. Fisherfaces 小样本处理

4. MMC 推导

5. NLDA 推导

6. OLDA 推导

7. RI $L_{2,1}$ 推导

2.13 一句话总结

这组文献的主线是：PCA 从无监督最大方差开始，但不够判别；LDA/Fisherfaces 引入类别散度，但遇到小样本奇异；MMC、NLDA、OLDA分别从差值准则、零空间、正交约束解决奇异性；LPP/MFA进一步引入局部图结构；RI 系列再用 $L_{2,1}$ 范数把这些方法鲁棒化。

三、回归

0. 总体框架

这几篇论文可以分成三类：

LRC 论文明确把人脸识别建模为线性回归分类，并用最小重构误差决策；谱回归论文则把 LDA、LPP、NPE 等谱方法统一成先谱嵌入、后回归的两步框架；两篇 $\ell_{2,1}$ 论文进一步把回归目标加上行稀疏正则，用于特征选择。

3.1 线性回归分类 LRC：从最小二乘到最近子空间

3.1.1 基本假设

第 $i$ 类有 $p_i$ 张训练图像，每张图像拉直为 $q$ 维向量：

第 $i$ 类训练样本按列堆叠：

LRC 核心假设：同一类样本近似落在同一个线性子空间，若测试样本 $y$ 属于第 $i$ 类，则：

$\alpha_i \in \mathbb{R}^{p_i}$ 为回归系数，本质是最近子空间分类。

3.1.2 最小二乘推导

对第 $i$ 类求解：

目标函数展开：

对 $\alpha_i$ 求导：

令导数为 0：

若 $X_i^T X_i$ 可逆：

3.1.3 投影矩阵与重构误差

第 $i$ 类重构样本：

代入最小二乘解：

定义帽子矩阵：

则

分类残差：

决策规则：

3.1.4 模块化 LRC 与遮挡处理

图像分 $M$ 个局部块，第 $n$ 块第 $i$ 类子空间：

测试图像第 $n$ 块：$y^{(n)}$，最小二乘解：

局部重构与残差：

局部块决策：

3.2 $\ell_{2,1}$-范数：为什么能做特征选择？

3.2.1 定义

矩阵 $M \in \mathbb{R}^{n \times m}$，第 $i$ 行 $m_i$：

结构特点：

1. 行内 $\ell_2$：整行视作整体；
2. 行间 $\ell_1$：诱导行稀疏。

若 $W \in \mathbb{R}^{d \times c}$，每行对应一个原始特征：

行范数趋近 0 则对应特征可剔除。

3.3 RFS：联合 $\ell_{2,1}$ 最小化的鲁棒特征选择

3.3.1 从普通最小二乘开始

线性预测：

普通最小二乘：

3.3.2 鲁棒损失：残差不平方

RFS 改用样本残差 $\ell_2$ 求和：

3.3.3 加入行稀疏正则

最终目标：

3.3.4 约束形式推导

令误差矩阵 $E$：

等价优化：

拼接变量与系数矩阵：

约束化为 $AU=Y$，目标：

3.3.5 迭代重加权解法推导

拉格朗日函数：

$\ell_{2,1}$ 范数梯度：

$D$ 为对角阵：

极值条件：

代入约束 $AU=Y$：

回代得闭式：

迭代更新：

3.4 UDFS：无监督场景下的判别特征选择

3.4.1 局部判别思想

样本局部邻域 $N_k(x_i)$，局部数据矩阵：

局部中心化矩阵：

中心化数据：

局部散度：

无监督伪标签：

3.4.2 局部判别分数推导

代入散度与伪标签，利用迹循环性质化简得：

3.4.3 UDFS 目标函数推导

最小化形式：

化简为统一矩阵形式：

其中

3.4.4 UDFS 的优化

$\ell_{2,1}$ 重加权近似：

每轮优化：

迭代步骤：

3.5 谱回归 SR/USSL：把谱嵌入转化为回归

3.5.1 图嵌入目标

图权重 $W$、度矩阵 $D_{ii}=\sum_j W_{ij}$、拉普拉斯 $L=D-W$。 一维嵌入 $y$：

约束：

等价广义特征值：

3.5.2 线性外推：从 $y$ 到投影方向 $a$

线性映射：$y_i = a^T x_i$，整体

代入得高维广义特征问题：

3.5.3 谱回归核心定理

两步分解：

1. 谱求解：$\boldsymbol{Wy = \lambda Dy}$
2. 回归拟合：

3.5.4 加入稀疏正则

普通回归：

Ridge：

Lasso：

Elastic Net：

3.6 四篇论文之间的关系

主线逻辑：

1. LRC：$y \approx X_i\alpha_i$，靠重构残差分类；
2. Spectral Regression：$X^T a \approx y$，谱嵌入+回归统一谱方法；
3. RFS：$X^T W \approx Y$，$\ell_{2,1}$ 损失抗噪、$\ell_{2,1}$ 正则选特征；
4. UDFS：$G = X^T W$，无监督构造伪标签，结合局部判别与 $\ell_{2,1}$ 稀疏选特征。

3.7 核心公式汇总

LRC

$\ell_{2,1}$-范数

RFS

UDFS

Spectral Regression

3.8 一句话总结

把高维模式识别问题统一建模为线性回归/谱回归；分类依托子空间重构残差，特征选择依靠 $\ell_{2,1}/\ell_1$ 正则诱导稀疏置零无用特征；无监督场景借助图结构与局部判别构造可回归的伪标签，全程以回归+残差+稀疏正则+谱图结构为统一框架。