cmyfoucs 发布的文章

1. GPT 是什么？GPT 全称 Generative Pre-trained Transformer，意为"生成式预训练 Transformer"。它是一种通过预测下一个词（Next Token Prediction）来学习语言规律的模型，本质上是：$$ P(w_t | w_1, w_2, ..., w_{t-1}) $$也就是说，GPT 不需要人工标签，它通过阅读大量文本自动学习如何预测句子...

本文从直觉、图像和几何角度解释 Transformer 的核心思想：自注意力（Self-Attention）、多头机制（Multi-Head Attention）、位置编码（Positional Encoding）与整体结构的"并行信息建模"思想。1. 背景：从序列到全局关系传统的序列模型（RNN、LSTM）逐步处理输入：$$ x_1 \to x_2 \to x_3 \to \dots \to x...

1. 极端问题的定义与哲学在最优化理论中，极端问题（Extremal Problem） 旨在确定某类对象在给定约束下使某个量达到最大或最小。例如：在所有满足约束 $x\in S$ 的函数/向量中，求使 $f(x)$ 极大/极小的 $x$在图、集合、函数族等离散或连续结构中，寻找"最优极端配置"极端问题的本质是 在可行域边界上寻找结构最优解，体现"边界产生极值"的普遍规律2. 极值存在与约束条件（分...

1. 向量与空间：从几何到抽象1.1 向量的直观意义向量最初来源于空间位移的概念：方向与长度的组合在二维/三维空间中，向量 $\vec{v} = (v_1, v_2, v_3)$ 表示位置的变化。加法与数乘反映"平移与缩放"几何上：$$ \vec{u} + \vec{v} = \text{平行四边形对角线法则},\quad a\vec{v} = \text{沿方向拉伸或翻转} $$抽象上，向量不局...

加密算法数学原理详解目录数论基础对称加密数学原理非对称加密数学原理椭圆曲线密码学数学原理哈希函数数学原理密钥交换数学原理数字签名数学原理数论基础模运算class ModularArithmetic: """模运算数学原理""" @staticmethod def mod_exp(base, exponent, modulus): &quo...