登录社区云，与社区用户共同成长
邀请您加入社区
LLM（Large Language Model，大型语言模型）是指基于大规模数据和参数量的语言模型。Transformer架构：大模型LLM常使用Transformer架构，它是一种基于自注意力机制的序列模型。Transformer架构由多个编码器层和解码器层组成，每个层都包含多头自注意力机制和前馈神经网络。这种架构可以捕捉长距离的依赖关系和语言结构，适用于处理大规模语言数据。自注意力机制（Se
本文介绍了如何利用LoRA技术和4位量化方法在24GB显存的普通GPU上微调DeepSeek大模型。DeepSeek凭借高效的MLA架构和低显存占用优势，成为开发者微调的热门选择。文章系统讲解了从理论原理到实战操作的全流程，包括交叉熵损失函数、数据子集策略等核心概念，重点解析了LoRA技术如何通过低秩矩阵分解将可训练参数压缩至1%以下，以及4位量化如何将内存需求降至1/8。通过IMDB情感分类任务
