Executive SummaryLarge Language Model （LLM） evaluation benchmarks serve as critical infrastructure for the responsible development, deployment, and regulation of artificial intelligence systems. This ...
大模型评估基准手册是指导大模型性能评估的专业工具，其重要性随着大模型在各行业的应用日益广泛而显著提升。构建科学、全面、客观的大模型评估体系，不仅能帮助研究者和开发者准确把握模型能力边界，还能为模型优化提供方向性指导，同时为行业应用选型提供可靠依据。本报告基于最新研究进展，系统梳理了大模型评估的关键维度、指标、方法及工具，旨在为大模型研发、测试和应用提供标准化评估框架。一、大模型评估的关键维度与指标...
模块/主题核心类/函数/操作主要用途/说明Tensor操作torch.tensor(), torch.randn(), view(), reshape(), to(device)创建张量、改变形状、设备转换自动微分requires_grad=True, backward(), grad, torch.no_grad()设置梯度追踪、计算梯度、清空梯度、禁用梯度计算数据加载与处理Dataset, D...
deepseek原理综述🔢 核心思想：下一个词的预测大型语言模型的本质是一个概率模型。给定一个词序列（即上下文或提示），其根本任务是预测下一个最可能出现的词。基本设定：设有一个词序列(w_1, w_2, w_3, \dots, w_{t-1})，其中每个(w_i)来自一个庞大的词汇表 (V)。核心目标：计算在给定上文的情况下，下一个词 (w_t) 是词汇表中任意一个词的条件概率：$$ P(w_t ...
✅ 基于 LangChain 0.2+（2024 年主流版本） 📌 导入惯例：from langchain import ... 或 from langchain_core import ...🧱 一、核心概念概念说明LLM大语言模型接口（如 OpenAI、Anthropic、Ollama）ChatModel支持对话格式的模型（messages 输入）PromptTemplate构建结构化提示词C...