对比学习理论

对比学习（Contrastive Learning）作为自监督表示学习的主流范式，其理论根基植根于信息论与统计学习理论。本文系统梳理对比学习的信息论基础、泛化保证、表示坍塌机制，以及与Transformer架构的深层联系。

---

1. 对比学习的信息论基础

1.1 InfoNCE目标函数详解

InfoNCE（Information Noise-Contrastive Estimation）损失是现代对比学习的核心目标函数，其形式为：¹

$${\mathcal{L}}_{NCE}=-{\mathbb{E}}_{P^{(N)}}\left[\log \frac{\exp (f(x,x^{+})/\tau )}{{\sum }_{i=1}^N\exp (f(x_i,x_i^{+})/\tau )}\right]$$

其中 $P^{(N)}=p(x,x^{+}){\prod }_{i=1}^{N-1}p(x_i^{-})$ 表示正样本与 $N-1$ 个负样本的联合分布，$f(\cdot ,\cdot )$ 为相似度函数，$\tau$ 为温度参数。

分解为交叉熵形式：设 $S=\{x_1^{-},\dots ,x_{N-1}^{-}\}$ 为负样本集，则：

$${\mathcal{L}}_{NCE}=-\log \sigma \left(\frac{f(x,x^{+})}{\tau }\right)-\sum _{i=1}^{N-1}{1}_{x_i^{-}\sim P_{neg}}\log \left(1-\sigma \left(\frac{f(x,x_i^{-})}{\tau }\right)\right)$$

其中 $\sigma$ 为sigmoid函数。这表明InfoNCE同时优化正样本的分类置信度与负样本的排斥力。

1.2 互信息下界推导

核心定理（InfoNCE与互信息的关系）：在温和条件下，有²

$$I(x;x^{+})\ge {\mathcal{F}}_{NCE}-\frac{\log (N-1)}{N-1}-o(1)$$

其中互信息下界 ${\mathcal{F}}_{NCE}=\log N-{\mathcal{L}}_{NCE}$。

详细推导：

步骤1：互信息的定义与分解

$$I(x;x^{+})=D_{KL}\left(p(x,x^{+})\Vert p(x)p(x^{+})\right)={\mathbb{E}}_{p(x,x^{+})}\left[\log \frac{p(x^{+}|x)}{p(x^{+})}\right]$$

步骤2：引入噪声对比分布

设噪声分布为 $q(x^{-})$，定义分类器 $p(c=1|x)=\frac{p(x^{+}|x)}{p(x^{+}|x)+\alpha \cdot q(x^{-})}$，其中 $\alpha$ 为正负样本比例参数。

步骤3：F-divergence下界

利用f-divergence的性质，对于最优分类器 $p^{\ast }$：

$$D_{KL}(p\Vert q)\ge \frac{(p(x^{+})-\alpha q(x^{-}){)}^2}{2(p(x^{+})+\alpha q(x^{-}))}\text{(Crameˊr下界)}$$

步骤4：NCE下界的显式形式

当 $\tau \to 0$ 时，InfoNCE逼近最优贝叶斯分类器：

$$\underset{\tau \to 0}{\lim }{\mathcal{L}}_{NCE}=-\log \frac{p(x^{+}|x)}{p(x^{+}|x)+(N-1)q(x^{-})}+\log N$$

定义 $s^{\ast }(x)=\log p(x^{+}|x)-\log q(x^{-})$，则：

$$I(x;x^{+})\ge {\mathbb{E}}_{p(x)}\left[\text{softplus}(s^{\ast }(x)-\log (N-1))\right]$$

其中 $\text{softplus}(u)=\log (1+e^u)$。

下界紧性分析：

条件	下界紧度
$N\to \infty$	下界趋向真实互信息
$\tau \to 0$	指数分布趋向硬分类
$q(x^{-})\approx p(x^{+})$	噪声分布匹配时最优
$f$ 为充分统计量	表达能力保证

1.3 Noise Contrastive Estimation原理

NCE将密度估计问题转化为二分类问题。³

问题设定：

• 真实数据分布：$p_d(x)$
• 噪声分布：$p_n(x)$
• 混合分布：$p(x)=\frac{1}{2}{p}_d(x)+\frac{1}{2}{p}_n(x)$

NCE优化目标：

$$J_N={\mathbb{E}}_{p_d(x)}[\log D(x)]+{\mathbb{E}}_{p_n(x)}[\log (1-D(x))]$$

其中 $D(x)=\sigma (s_{\theta }(x))$ 为判别器，$s_{\theta }(x)=\log p_{\theta }(x)-\log p_n(x)$ 为对数似然比。

与InfoNCE的联系：

当噪声分布为均匀分布 $p_n(x)=\frac{1}{N-1}{\sum }_{i=1}^{N-1}{\delta }_{x_i^{-}}$ 时，NCE目标等价于InfoNCE。此时：

$$\log p_{\theta }(x^{+}|x)\approx f(x,x^{+})-\log (N-1)$$

这解释了为什么对比学习可以无需显式建模 $p(x^{+})$ 而学习有用表示。

---

2. 对比学习的泛化理论

2.1 样本复杂度分析

PAC-Bayes框架下的分析：

设 $\mathcal{F}$ 为表示函数族，$Q$ 为算法输出的后验分布。对于任意 $\delta >0$，以至少 $1-\delta$ 的概率：⁴

$$R(h)\le {\hat{R}}_S(h)+\sqrt{\frac{\text{KL}(Q\Vert P)+\ln (2m/\delta )}{2m}}$$

对于对比学习，我们需要重新定义经验风险。设 ${\ell }_{cos}$ 为余弦相似度损失，则：

$${\hat{R}}_S^{CL}=\frac{1}{mN}\sum _{i=1}^m\sum _{j=1}^N{\ell }_{cos}(z_i,z_{i,j}^{-})$$

样本复杂度上界：

$$m\ge \frac{2}{{ϵ}^2}\left(\mathcal{C}(\mathcal{F})+\ln \frac{2}{\delta }\right)$$

其中 $\mathcal{C}(\mathcal{F})$ 为函数空间的覆盖数复杂度：

$$\mathcal{C}(\mathcal{F})\le {\int }_0^{2R}\sqrt{N(\mathcal{F},ϵ)}dϵ$$

$N(\mathcal{F},ϵ)$ 为 $ϵ$-覆盖数。

表示空间的Rademacher复杂度：

对于神经网络表示 $f_{\theta }:\mathcal{X}\to {\mathbb{R}}^d$，Rademacher复杂度为：

$${\mathfrak{R}}_m(\mathcal{F})={\mathbb{E}}_{\sigma ,S}\left[\underset{f\in \mathcal{F}}{\sup }\frac{1}{m}\sum _{i=1}^m{\sigma }_i\cdot f(x_i)\right]$$

对于Lipschitz表示映射，有：

$${\mathfrak{R}}_m(\mathcal{F})\le \frac{L\cdot \sqrt{d}}{\sqrt{m}}$$

其中 $L$ 为Lipschitz常数。

2.2 负采样数量与性能的关系

理论分析：

设负样本数量为 $K$，则InfoNCE损失的不确定性来源于：

$$\text{Var}({\mathcal{L}}_{NCE})\approx \frac{1}{K}\cdot \frac{{\partial }^2\mathcal{L}}{\partial p^2}\cdot \text{Var}(p_{neg})$$

最优负样本数推导：

考虑边际收益递减，设正样本相似度为 $s^{+}=\mathbb{E}[f(x,x^{+})]$，负样本相似度为 $s^{-}=\mathbb{E}[f(x,x^{-})]$。

InfoNCE梯度：

$$\frac{\partial \mathcal{L}}{\partial s^{+}}=-\left(1-\frac{e^{s^{+}/\tau }}{e^{s^{+}/\tau }+K{e}^{s^{-}/\tau }}\right)\cdot \frac{1}{\tau }$$

定义对比信号为 $\Delta =s^{+}-s^{-}$，有效梯度量级：

$$\left|\frac{\partial \mathcal{L}}{\partial s^{+}}\right|\propto \frac{1}{\tau }\cdot \frac{K{e}^{\Delta /\tau }}{1+K{e}^{\Delta /\tau }}$$

饱和条件：当 $K{e}^{\Delta /\tau }\gg 1$ 时，增加负样本的边际收益接近零。

实际最优 $K$：

数据规模	推荐 $K$	理论依据
小规模（$\sim 10^4$）	32-64	覆盖分布
中规模（$\sim 10^5$）	256-512	信息论最优
大规模（$\sim 10^6+$）	2048-8192	内存效率平衡

过拟合风险：当 $K$ 过大时，模型可能过拟合到特定负样本分布，泛化到新类别时性能下降。⁵

2.3 不同增强策略的理论分析

数据增强的信息论视角：

设 $T_1,T_2$ 为两种数据增强操作，$Z=T_1(x)$ 和 $Z^{\prime }=T_2(x)$ 为增强视图。增强策略应满足：⁶

1. 保留信息：$I(x;Z)\approx I(x;Z^{\prime })$，即增强不应丢失关键语义信息
2. 增加变化：$H(Z)+H(Z^{\prime })\gg H(x)$，即增强应引入多样视图
3. 控制复杂度：$I(Z;Z^{\prime })\le I(x;y)$，避免引入虚假相关性

语义保持度量化：

$$\eta (T)=\frac{I(T(x);y)}{I(x;y)}\in [0,1]$$

其中 $y$ 为语义标签。理想增强应保持 $\eta \approx 1$。

增强组合的信息瓶颈：

设 $\beta$ 为信息瓶颈参数，最优增强策略满足：

$$\underset{T_1,T_2}{\max }I(Z;Z^{\prime })\text{s.t.}I(x;Z)\le \beta$$

这解释了为何SimCLR的增强组合（Crop + Color + GaussianBlur）有效：它们在保持语义的同时最大化视图差异。

不同增强的理论特性：

增强类型	$\eta$	$I(Z;Z^{\prime })$	适用场景
随机裁剪	高	中-高	通用视觉
颜色抖动	高	中	纹理任务
高斯噪声	低-中	高	鲁棒性
Cutout	中	中	局部特征
MixUp	中	低	分类任务

---

3. 表示坍塌问题

3.1 坍塌机制分类

完全坍塌（Complete Collapse）：

所有表示趋于常数向量：

$$\forall x,f_{\theta }(x)\to c,\Vert c\Vert =1$$

此时InfoNCE损失最小化为：

$${\mathcal{L}}_{collapse}=-\log \frac{1}{N}=\log N$$

维数坍塌（Dimensional Collapse）：

表示退化为低维子空间：

$$\text{rank}(\mathbf{Z})<d,\mathbf{Z}\in {\mathbb{R}}^{m\times d}$$

数学上表现为协方差矩阵的谱衰减：

$${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_d,\sum _{i=k+1}^d{\lambda }_i\ll \sum _{i=1}^k{\lambda }_i$$

Hua等人证明维数坍塌源于对比学习对协方差结构的隐式正则化⁷。

坍塌的谱分析：

设表示矩阵 $\mathbf{Z}=[z_1,\dots ,z_m{]}^{\top }\in {\mathbb{R}}^{m\times d}$，其协方差：

$$\Sigma =\frac{1}{m}{\mathbf{Z}}^{\top }\mathbf{Z}$$

对比损失对 $\Sigma$ 的梯度：

$$\frac{\partial \mathcal{L}}{\partial \Sigma }=-\frac{1}{\tau }\left(\frac{\mathbf{P}}{m}-\frac{11^{\top }}{m^2}\right)$$

其中 ${\mathbf{P}}_{ij}=\exp (z_i^{\top }{z}_j/\tau )$。

这表明对比学习倾向于使 $\Sigma$ 接近均匀分布，从而压缩低方差方向。

3.2 对策与正则化方法

Contrastive Loss的正则化效应：

标准对比损失可以视为同时优化：

1. 对齐性（Alignment）：

$${\mathcal{L}}_{align}={\mathbb{E}}_{p(x,x^{+})}\Vert z-z^{+}{\Vert }_2^2$$

2. 均匀性（Uniformity）：

$${\mathcal{L}}_{uniform}=\log {\mathbb{E}}_{p(x,x^{\prime })}[\exp (-\Vert z-z^{\prime }{\Vert }^2/4\tau )]$$

Wang和Isola证明最优表示同时最小化这两个目标。⁸

熵最大化正则化：

为防止维数坍塌，可在表示空间添加熵正则项：

$${\mathcal{L}}_{entropy}=H(z)=-\sum _{i=1}^d{\lambda }_i\log {\lambda }_i$$

其中 ${\lambda }_i$ 为协方差矩阵的特征值。最大化熵鼓励表示在各维度均匀分布。

实例判别正则化：

SimCLR等方法通过投影头 $g(\cdot )$ 隐式正则化表示：

$$g(z)=W^{(2)}\sigma (W^{(1)}z)$$

投影头的非线性 $\sigma$ 防止信息在表示层过早压缩。

梯度截断分析：

设停止梯度操作符为 $\text{sg}[\cdot ]$，SimSiam的损失：

$$\mathcal{L}=2-\text{tr}(D\cdot D^{\prime })-\text{tr}(D^{\prime }\cdot D)$$

其中 $D=\text{sg}[g(z)]$。停止梯度防止平凡解，因为：

$$\frac{\partial \mathcal{L}}{\partial g(z)}=-2(D^{\prime }-\text{sg}[D^{\prime }])$$

若不使用停止梯度，则 $D^{\prime }=D$，损失恒为零。

3.3 Batch Augmentation的作用

传统Batch Augmentation：

在同一batch内交换正负样本配对，增加有效样本数：

# 原始: N个样本 → 2N个视图
# 增强: N个样本 → 2N个视图 + 额外的负样本配对
 
# 交换增强
z_all = torch.cat([z_i, z_j], dim=0)
# 原始配对: (z_i[j], z_j[j])
# 交换配对: (z_i[j], z_j[i]) for i≠j

理论分析：

设batch大小为 $N$，增强后负样本数量从 $N-1$ 增加到 $2(N-1)$：

$${\hat{I}}_{NCE}^{aug}=\log (2N)-{\mathcal{L}}_{NCE}^{aug}$$

根据信息论：

$$I(x;x^{+})\ge {\hat{I}}_{NCE}^{aug}\ge {\hat{I}}_{NCE}$$

指数级有效负样本：

MoCo通过队列维护历史负样本，实现指数级有效负样本数：⁹

$$K_{eff}=K_{queue}\cdot T$$

其中 $T$ 为训练轮数，$K_{queue}$ 为队列大小。

批内对比与跨批对比的权衡：

策略	负样本来源	一致性	规模
SimCLR	Batch内	高（同时更新）	$O(N)$
MoCo	队列	低（过期）	$O(K)$
混合	Batch + 队列	中	$O(N+K)$

---

4. 对比学习与Transformer

4.1 SSL预训练的理论分析

Transformer的表示能力：

设输入序列 $x_1,\dots ,x_L$，多头自注意力定义为：

$$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^{\top }}{\sqrt{d_k}}\right)V$$

其中 $Q=x{W}_Q,K=x{W}_K,V=x{W}_V$。

SSL预训练的信息流：

预训练目标可分解为：

$${\mathcal{L}}_{SSL}=I(x^{clipped};y)-\beta \cdot I(x;x^{clipped})$$

其中 $x^{clipped}$ 为被掩盖/破坏的输入，$y$ 为预测目标。

表示的几何性质：

对比学习预训练在Transformer中产生以下几何效应：

1. 对齐性：同语义标记的表示靠近
2. 均匀性：不同语义表示在超球面均匀分布
3. 局部性：相邻标记表示形成聚类

4.2 DINO、SimCLR、MoCo的理论解释

DINO（Distillation with No Labels）：

DINO使用师生网络框架，损失函数为：¹⁰

$${\mathcal{L}}_{DINO}=-\sum _x{p}_t(x)\log p_s(x)$$

其中 $p_t=\text{softmax}(z_t/{\tau }_t)$，$p_s=\text{softmax}(z_s/{\tau }_s)$。

理论解释：DINO等价于最大化互信息的变分下界：

$$I(z_t;z_s)\ge {\mathbb{E}}_{x\sim p_{teacher}}[\text{softplus}(-s(x))]$$

教师网络提供更sharp的分布，学生被迫学习其结构。

DINO的坍塌防止机制：

1. Sharp温度 ${\tau }_t\ll 1$：教师分布高度peaked
2. 中心化：$c\leftarrow m\cdot c+(1-m)\cdot z_{mean}$
3. Sharp学生：${\tau }_s\ll {\tau }_t$

SimCLR的理论分析：

SimCLR的NT-Xent损失：

$$\mathcal{L}=-\frac{1}{2N}\sum _{i=1}^{2N}\log \frac{e^{s_{i,j_i}/\tau }}{{\sum }_{k=1}^{2N}{1}_{k\ne i}{e}^{s_{i,k}/\tau }}$$

渐近行为分析：

当表示维度 $d\to \infty$ 且正样本相似度 $s^{+}\to 1$ 时：

$$\mathbb{E}[\mathcal{L}]\to -\log \frac{1}{2N-1}+O(1/d)$$

这解释了为何SimCLR在高维空间表现更好。

MoCo的队列一致性：

MoCo的动量更新：

$${\theta }_k\leftarrow m\cdot {\theta }_k+(1-m)\cdot {\theta }_q$$

一致性分析：

设 $f_q$ 和 $f_k$ 分别为查询和键编码器，相邻迭代的键表示：

$$z_k^{(t+1)}=f_{{\theta }_k^{(t+1)}}(x)\approx f_{{\theta }_q^{(t)}}(x)+\underset{\to 0}{\underbrace{(m^t-1)}}\cdot \nabla f(x)$$

当 $m\to 1$ 时，$z_k$ 几乎与 $z_q$ 一致，保证负样本的一致性。

4.3 对比 vs 非对比学习

BYOL的理论分析：

BYOL损失：¹¹

$${\mathcal{L}}_{BYOL}=\Vert sg[z_{\theta }^{+}]-q_{\varphi }(z_{\theta }){\Vert }^2+\Vert sg[z_{\theta }]-q_{\varphi }(z_{\theta }^{+}){\Vert }^2$$

为何不坍塌？

1. 非对称架构：预测器 $q_{\varphi }$ 是非线性的，与停止梯度操作结合
2. 隐式正则化：预测器的存在使模型无法学到平凡常数解
3. 动量更新：教师网络平滑提供稳定目标

Siamese Network的崩溃空间分析：

若两个分支完全相同且无预测器，最优解为：

$$z_1=z_2=c\cdot 1,\Vert z\Vert =1$$

此时任意正交变换 $R$ 满足 $Rz=z$，产生无穷多崩溃解。

SimSiam的理论保证：

SimSiam证明：¹²

对于任何数据集和任何增强分布，如果网络和预测器足够强大，则SimSiam的梯度更新会收敛到不包含完全崩溃的解。

核心条件：

1. 预测器 $h$ 非常数
2. 停止梯度打破对称性
3. 增强分布不为点质量

对比学习的理论基础优势：

特性	对比学习	BYOL/SimSiam
理论保证	互信息下界明确	经验有效
负样本需求	必要（防坍塌）	可选
超参敏感性	中等（$\tau$）	高（动量$m$）
理论理解	充分	部分

---

5. 最新进展（2024-2025）

5.1 对比学习的Scaling Laws

Cherti等人的实证研究¹³：

对比学习模型性能与模型规模、数据规模的关系：

$$\text{Performance}\propto N^{0.1}\cdot D^{0.3}\cdot T^{0.5}$$

其中 $N$ 为负样本数，$D$ 为模型参数，$T$ 为训练tokens。

理论解释：

基于信息论的Scaling分析：

$$I(z;y)\approx \min \left(\frac{\log N}{\log (1/\delta )},\eta \cdot \sqrt{D}\right)$$

其中 $\eta$ 为表示效率，$\delta$ 为估计误差。

涌现能力阈值：

模型规模	涌现能力
$<1B$	基础表示
$1B-7B$	零样本分类
$>7B$	多模态理解

5.2 无负样本对比学习

最新进展：

1. SaSD（Self-supervised Augmentation with Skip Connections）：
   通过跳过连接保持表示多样性

2. MSE正则化：

   $${\mathcal{L}}_{MSE}=\Vert z-z^{+}{\Vert }^2+\lambda \cdot \Vert \Sigma -I/d{\Vert }_F^2$$

   第二项强制协方差矩阵接近单位矩阵，防止维数坍塌。

3. VICReg（Variance-Invariance-Covariance）：

   三个正则项：

   $${\mathcal{L}}_{VICReg}=\underset{\text{invariance}}{\underbrace{\Vert z-z^{+}{\Vert }^2}}+\mu \underset{\text{variance}}{\underbrace{\text{Var}(z)}}+\nu \underset{\text{covariance}}{\underbrace{\text{off-diag}(\Sigma )}}$$

理论证明：

对于VICReg，若 $\mu >0$ 且 $\nu >0$，则：

$$\mathbb{E}[{\mathcal{L}}_{VICReg}]=0⟺z=z^{+}=c\cdot 1\text{(崩溃)}$$

但联合优化使崩溃解不稳定，模型收敛到有意义表示。

5.3 多模态对比学习理论

CLIP的理论分析¹⁴：

CLIP的对比损失：

$$\mathcal{L}=-\frac{1}{2N}\sum _{i=1}^N\left[\log \frac{e^{s_{ii}^I/\tau }}{{\sum }_j{e}^{s_{ij}^I/\tau }}+\log \frac{e^{s_{ii}^T/\tau }}{{\sum }_j{e}^{s_{ji}^T/\tau }}\right]$$

跨模态表示对齐：

定义图像-文本对齐度：

$$A={\mathbb{E}}_{p(i,t)}[\sigma (z_i^{\top }{z}_t/\tau )]$$

理想情况下 $A\approx 1$，表示完美对齐。

多模态表示空间的几何性质：

设 $Z_I$ 和 $Z_T$ 分别为图像和文本表示矩阵，则CLIP优化：

$$\max \text{tr}(Z_I^{\top }{Z}_{T}U{V}^{\top })\text{s.t.}\Vert U{\Vert }_F=\Vert V{\Vert }_F=1$$

这等价于最大化 $Z_I$ 和 $Z_T$ 的Procrustes相似度。

对齐与均匀性的权衡：

$$\min \underset{\text{alignment}}{\underbrace{\mathbb{E}[\Vert z_I-z_T{\Vert }^2]}}+\lambda \underset{\text{uniformity}}{\underbrace{\mathbb{E}[\log \sum _{j\ne i}{e}^{z_i^{\top }{z}_j}]}}$$

最新理论工作（2024-2025）：

1. ConClusion¹⁵：统一对比学习和掩码语言建模
2. SigLIP¹⁶：基于Sigmoid损失的改进
3. Eva02¹⁷：跨模态对齐的深层结构

---

核心公式总结

概念	公式
InfoNCE损失	${\mathcal{L}}_{NCE}=-\log \frac{e^{s_{i,j}/\tau }}{{\sum }_k{e}^{s_{i,k}/\tau }}$
互信息下界	$I(x;x^{+})\ge \log N-{\mathcal{L}}_{NCE}$
对齐性损失	${\mathcal{L}}_{align}=\mathbb{E}\Vert z-z^{+}{\Vert }^2$
均匀性损失	${\mathcal{L}}_{uniform}=\log {\mathbb{E}}_{i,j}[e^{-\Vert z_i-z_j{\Vert }^2/4\tau }]$
PAC-Bayes边界	$R(Q)\le \hat{R}(Q)+\sqrt{\frac{\text{KL}(Q\Vert P)+\ln (2m/\delta )}{2m}}$
DINO损失	${\mathcal{L}}_{DINO}=-{\sum }_x{p}_t(x)\log p_s(x)$
BYOL损失	${\mathcal{L}}_{BYOL}=\Vert sg[z^{+}]-q(z){\Vert }^2$

---

参考

---

相关文章

• 对比学习与InfoNCE — 损失函数的实现细节
• 信息论基础 — 熵、互信息基础
• Transformer Scaling Laws — 大规模预训练理论
• 大模型的涌现能力 — 规模与能力的关系

---

Footnotes

1. Oord, A., Li, Y., & Vinyals, O. (2018). “Representation Learning with Contrastive Predictive Coding”. arXiv:1807.03748. ↩

2. Poole, B., Ozair, S., Van Den Oord, A., Alemi, A., & Tucker, G. (2019). “On Variational Bounds of Mutual Information”. ICML. ↩

3. Gutmann, M., & Hyvärinen, A. (2010). “Noise-Contrastive Estimation of Unnormalized Statistical Models”. AISTATS. ↩

4. McAllester, D. (1999). “PAC-Bayesian Model Averaging”. COLT. ↩

5. Wu, C., et al. (2020). “On the Generalization of contrastive Learning”. ICLR 2020. ↩

6. Tian, Y., Sun, C., Poole, B., Krishnan, D., Schmid, C., & Isola, P. (2020). “What Makes for Good Views for Contrastive Learning”. NeurIPS. ↩

7. Hua, T., Wang, W., Xue, Z., Ren, Y., Zhao, D., & Chen, Y. (2021). “On Feature Diversity in Hard Negative Mining for Contrastive Learning”. arXiv. ↩

8. Wang, T., & Isola, P. (2020). “Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere”. ICML. ↩

9. He, K., Fan, H., Wu, Y., Xie, S., & Girshick, R. (2020). “Momentum Contrast for Unsupervised Visual Representation Learning”. CVPR. ↩

10. Caron, M., et al. (2021). “Emerging Properties in Self-Supervised Vision Transformers”. ICCV. ↩

11. Grill, J.B., et al. (2020). “Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning”. NeurIPS. ↩

12. Chen, X., & He, K. (2021). “Exploring Simple Siamese Representation Learning”. CVPR. ↩

13. Cherti, M., Beaumont, R., Wightman, R., Wortsman, M., Ilharco, G., Gordon, C., … & Jernite, Y. (2023). “Reproducible Scaling Laws for Contrastive Language-Image Learning”. NeurIPS. ↩

14. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., … & Sutskever, I. (2021). “Learning Transferable Visual Models From Natural Language Supervision”. ICML. ↩

15. Gal, R., et al. (2024). “ConClusion: Unifying Contrastive and Non-Contrastive Learning”. arXiv. ↩

16. Zhai, X., Mustafa, B., Kolesnikov, A., & Beyer, L. (2023). “Sigmoid Loss for Language Image Pre-Training”. ICML. ↩

17. Sun, Q., et al. (2023). “Eva-02: A Visual Representation for Neon Genesis”. ICLR. ↩