Transformer 的直观理解
本文从直觉、图像和几何角度解释 Transformer 的核心思想：自注意力（Self-Attention）、多头机制（Multi-Head Attention）、位置编码（Positional Encoding）与整体结构的"并行信息建模"思想。1. 背景：从序列到全局关系传统的序列模型（RNN、LSTM）逐步处理输入：$$ x_1 \to x_2 \to x_3 \to \dots \to x...
cmyfoucs 发布的文章
最优化问题中的极端问题思考
1. 极端问题的定义与哲学在最优化理论中，极端问题（Extremal Problem） 旨在确定某类对象在给定约束下使某个量达到最大或最小。例如：在所有满足约束 $x\in S$ 的函数/向量中，求使 $f(x)$ 极大/极小的 $x$在图、集合、函数族等离散或连续结构中，寻找"最优极端配置"极端问题的本质是 在可行域边界上寻找结构最优解，体现"边界产生极值"的普遍规律2. 极值存在与约束条件（分...
线性代数的直观理解一
1. 向量与空间：从几何到抽象1.1 向量的直观意义向量最初来源于空间位移的概念：方向与长度的组合在二维/三维空间中，向量 $\vec{v} = (v_1, v_2, v_3)$ 表示位置的变化。加法与数乘反映"平移与缩放"几何上：$$ \vec{u} + \vec{v} = \text{平行四边形对角线法则},\quad a\vec{v} = \text{沿方向拉伸或翻转} $$抽象上，向量不局...
加密算法数学原理（续）
加密算法数学原理详解目录数论基础对称加密数学原理非对称加密数学原理椭圆曲线密码学数学原理哈希函数数学原理密钥交换数学原理数字签名数学原理数论基础模运算class ModularArithmetic: """模运算数学原理""" @staticmethod def mod_exp(base, exponent, modulus): &quo...
AutoEncoder 与 SVD 近似的直观理解
本文用直观几何与网络结构的角度，解释 PCA 如何在深度学习与数据压缩中体现——尤其是与 AutoEncoder（自动编码器）和奇异值分解（SVD）的对应关系。1. PCA：数据压缩的线性基础主成分分析（PCA）通过线性代数实现数据降维：$$ X \in \mathbb{R}^{n\times d},\quad X = U\Sigma V^T $$V 的列向量（特征方向） 是数据方差最大的方向UΣ...