登录社区云，与社区用户共同成长
邀请您加入社区
24年10月清华大学的论文"RDT-1B: A Diffusion Foundation Model for Bimanual Manipulation"。双手操作在机器人技术中至关重要，但由于协调两个机械臂（导致多模态动作分布）的固有复杂性以及训练数据的稀缺性，开发基础模型极具挑战性。本文提出机器人扩散Transformer（RDT），一种用于双手操作的开创性扩散基础模型。RDT 以扩散模型为基
24年5月论文“A Survey on Vision-Language-Action Models for Embodied AI”。
越来越觉得面试时这些八股文没什么意义。全靠面试前刷题，跟实际能力关系不大，不刷资深架构师都答题困难。每年要面试几十号人，前期面这些八股文不错的招进来的翻过两次车，干不了活试用期退了。后面问项目经验题，场景题，实际解决经验题，目前招进来的还没翻过车
大型语言模型(LLM)代理是基于大语言模型的智能系统，具备强大的语言理解、多任务处理、自适应和自主学习能力。其工作原理包括输入处理、推理、响应生成和反馈机制。LLM代理在客户服务、内容生成、推荐系统、语言翻译和教育辅助等领域有广泛应用，但仍面临数据隐私、偏见、可解释性和效率等挑战，未来研究将聚焦于解决这些问题，提升其能力与应用范围。
MMTEB的研究成果为嵌入模型的选型提供了一种全新的评判标准，打破了“模型越大越优”的固有观念。无论是对预训练数据的多语种覆盖要求，还是对指令微调带来的性能提升，这项研究都强调了科学评测的重要性。未来，随着多语言应用需求的不断增加，这种以任务导向、成本敏感为核心的评测体系必将推动整个行业向更高效、更精准的方向发展。总之，MMTEB不仅为开发者提供了一份详尽的嵌入模型能力图谱，也为全球多语言RAG系
大型语言模型 (LLM) 已经彻底改变了人工智能，影响了各个科学和工程学科。最初为机器翻译设计的 Transformer 架构已成为 GPT 模型的基础，极大地推进了该领域的发展。然而，当前的 LLM 在其训练方法上面临着挑战，该方法主要侧重于在保持因果关系的同时，根据先前上下文预测下一个 token。这种直接的方法已应用于各种领域，包括机器人技术、蛋白质序列、音频处理和视频分析。
虽然图像也是对真实世界的采样, 但是不同的人、动物, 对于图像中提取的信息是不同的, 我们从图像中获取的信息都是根据一种强"先验"知识学习到的, 其他动物的理解也是基于它们的"先验"学习到的问题 2. 语言是一种人类或物种创造出来描述世界的, 本身会有一种强结构性, 更容易通过概率模型经过大量的学习根据前因后果进行预测(扯远了…, 随着模型参数量的提升, 模型的性能显著增强, 远远超出人们的预料.
人工智能技术正以惊人的速度重塑我们的日常生活与工作模式。在AI的广阔领域中，大型语言模型（LLM）凭借卓越的自然语言处理、强大的知识推理及广泛的适用场景，已成为众多企业和开发者竞相追逐的热点。其中，Llama3.1作为该领域的明星产品，凭借其高效性、智能性及高度的可扩展性，收获了广泛的认可与赞誉。
预训练+微调范式的兴起成为 LLM 发展的关键转折。通过在特定领域的文本数据上进行微调，模型能够学习到该领域的特有词汇、语法和语义特征，从而提升在相关领域任务上的性能。在 NLP 中，微调通常涉及在预训练模型的基础上，使用小规模的任务特定数据集继续训练模型，以优化其在该任务上的表现。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习
RAG 的基本流程是：通过稀疏或稠密检索从知识库获取信息，将最相关的结果与用户输入一同传入 LLM，生成最终回答。然而，输出中仍可能因多种原因出现幻觉。本文将聚焦于检测 RAG 系统生成的响应，而非改进检索环节。我们将探讨几种幻觉检测技术，以帮助构建更可靠的 RAG 系统。
今天给大家推荐一本由吴恩达和OpenAI团队共同编写的关于大型语言模型（LLM）的权威教程！，在Github上已经高达50k star了，这含金量不用多说，在这里给大家强烈推荐一波，不多bb直接开始介绍！
大型语言模型横行，之前非常焦虑，现在全面拥抱。目前也有很多开源项目进行大模型微调等，笔者也做了一阵子大模型了，特此来介绍一下ChatGLM-6B模型微调经验，并汇总了一下目前开源项目&数据。笔者与很多人微调结论不同，本人在采用单指令上进行模型微调，发现模型微调之后，
概括QLORA是一种有效的微调方法，它减少了内存使用，足以在单个48GB GPU上微调65B参数模型，同时保留完整的16位微调任务性能。。Guanaco模型在Vicuna基准上优于之前所有公开发布的模型，达到ChatGPT性能水平的99.3%，而只需要在单个GPU上进行24小时的微调。使用QLORA对1000多个模型进行了微调，提供了8个指令数据集、多种模型类型(LLaMA、T5)和常规微调无法运
25年8月来自Galaxea 的技术报告论文“Galaxea Open-World Dataset and G0 Dual-System VLA Model”。Galaxea 开放-世界数据集，是一个在真实的人类生活和工作环境中记录的大规模、多样化的机器人行为集合。所有演示均使用一致的机器人具身而收集，并搭配精确的子任务级语言注释，以方便训练和评估。在此数据集的基础上，推出 G0，这是一个双-系统
你可能听说过，最近几个月出现了很多人工智能的应用程序。你可能也在用一些这样的应用。比如ChatPDF和CustomGPT AI这些AI工具，它们可以帮我们省去很多麻烦，我们不用再翻来覆去地看文档，就能找到想要的答案。它们让AI为我们做了很多工作。那么，开发这些工具的人是怎么做到的呢？其实，他们都用了一个叫LangChain的开源框架。01。
LLM（Large Language Model，大型语言模型）是指基于大规模数据和参数量的语言模型。Transformer架构：大模型LLM常使用Transformer架构，它是一种基于自注意力机制的序列模型。Transformer架构由多个编码器层和解码器层组成，每个层都包含多头自注意力机制和前馈神经网络。这种架构可以捕捉长距离的依赖关系和语言结构，适用于处理大规模语言数据。自注意力机制（Se
Github项目上有一个，它全面涵盖了大语言模型的所需的基础知识学习，LLM前沿算法和架构，以及如何将大语言模型进行工程化实践。这份资料是初学者或有一定基础的开发/算法人员入门活深入大型语言模型学习的优秀参考。这份资料重点介绍了我们应该掌握哪些核心知识，并推荐了一系列优质的学习视频和博客，旨在帮助大家系统性地掌握大型语言模型的相关技术。针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，
*?**大模型LLM(Large Language Models) 通常采用基于Transformer的架构。Transformer模型由多个编码器或解码器层组成，每个层包含多头自注意力机制和前馈神经网络。这些层可以并行处理输入序列中的所有位置，捕获长距离依赖关系。大模型通常具有数十亿甚至数千亿个参数，可以处理大量的文本数据，并在各种NLP任务中表现出色。
本文提出了两种推理模型：DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero是一个未经过监督微调（SFT）直接通过大规模强化学习训练的模型，展现了强大的推理能力。然而，它也面临可读性差和语言混杂等挑战。为了解决这些问题，DeepSeek-R1在强化学习之前融入了多阶段训练和冷启动数据，进一步提升了推理性能。
