전체 글30 Multi-modal LLM 연구 소개 Multi-Modal Large Language Models(LLMs)는 텍스트뿐만 아니라 이미지, 비디오, 음성 등의 다양한 데이터를 처리할 수 있는 기술로, 언어 이해를 확장해 세계를 더 깊이 이해하고 해석할 수 있는 가능성을 열었습니다. 기존 텍스트 기반 LLM의 한계를 극복하기 위해 개발된 멀티모달 모델은 의료 진단, 자율 주행, 멀티미디어 검색 등 다양한 영역에서 중요한 역할을 하고 있습니다. 본 논문 리뷰에서는 Multi-Modal LLM의 주요 연구를 분석하고, 기여점, 한계 및 미래 연구 방향을 논의합니다. 주요 기여점1. "Learning Transferable Visual Representations via Text-to-Image Generative Models" (Ramesh et .. 2024. 11. 22. LLM + 페르소나 주요 기여점1. "A Persona-Based Neural Conversation Model" (Li et al., 2016)Li와 연구진은 대화 모델에서 페르소나를 통합하기 위한 초기 연구를 통해 각 대화 에이전트가 일관성 있는 성격과 관점을 유지하도록 설계된 신경 대화 모델을 제안했습니다.기여점: 이 논문은 처음으로 대화 시스템에서 "페르소나"의 개념을 본격적으로 도입했습니다. 각 대화 에이전트는 고유한 백스토리와 선호도를 가지며, 이를 통해 인간 사용자와 더 자연스러운 상호작용을 가능하게 했습니다.한계점: 모델의 페르소나가 데이터에 의존하므로 새로운 페르소나를 생성하거나 기존 데이터를 변형하는 데 유연성이 부족했습니다. 또한, 대화의 깊이나 맥락을 다루는 데 한계가 있었습니다.2. "Plug-and.. 2024. 11. 22. World models World Model의 기여와 혁신: 환경 모델링의 재발견World Model은 강화학습(Reinforcement Learning, RL)에서 환경과 상호작용하며 정책을 학습하는 과정의 패러다임 전환을 제안합니다. David Ha와 Jürgen Schmidhuber의 2018년 논문 *"World Models"*는 환경 자체를 직접 학습된 시뮬레이션으로 대체함으로써 RL의 샘플 효율성을 비약적으로 높일 가능성을 열었습니다. 이를 통해 에이전트는 환경에서의 실제 상호작용 대신, 잠재공간에서 계획(planning)과 행동(action)을 수행할 수 있습니다. 이러한 접근법은 특히 물리적 시뮬레이션이 비용이 많이 들거나 불가능한 상황에서 유용합니다.Dreamer와 MuZero는 World Model의 진화된 .. 2024. 11. 21. LLM에 working memory를 더한다면? 1. 서론대규모 언어 모델(LLM)은 자연어 처리에서 혁신적인 성과를 이끌어내며, 인간과 유사한 수준의 텍스트 생성과 언어 이해 능력을 보여줍니다. 그러나 이러한 모델은 인간의 작업 기억(working memory)에 해당하는 지속적이고 맥락적으로 적응 가능한 기억 능력의 구현에 있어 한계를 드러냅니다. 작업 기억은 사람의 일시적인 정보 저장 및 처리 능력을 의미하며, 복잡한 추론, 계획, 장기 맥락 유지 등에 필수적입니다. 본 원고에서는 LLM과 작업 기억의 연결고리를 다룬 최신 연구를 탐구하며, 주요 기여점과 한계를 분석합니다.2. 주요 논문 소개(1) A Study on Memory-Augmented Large Language Models (2023)기여점:이 논문은 LLM에 외부 메모리 모듈을 추.. 2024. 11. 20. 베이지안 관점에서 In-Context Learning을 들여다보자 1. Bayesian Inference in Pre-trained Language Models저자: Xie et al. (2021)기여:이 논문은 ICL을 베이지안 추론의 관점에서 재해석합니다. 사전 학습된 언어 모델이 프롬프트를 관찰 데이터로 간주하고, 모델 내부의 사전 확률 분포를 업데이트해 예측을 생성한다고 설명했습니다. 이를 통해 언어 모델이 베이지안 업데이트와 유사한 메커니즘으로 작동할 가능성을 시사합니다.한계:ICL의 베이지안적 성격을 정량적으로 검증하기 위한 실험이 부족하며, 모델이 어떻게 명시적으로 사후 확률을 형성하는지에 대한 메커니즘은 여전히 추상적입니다.2. Towards Understanding In-Context Learning as Implicit Bayesian Inferenc.. 2024. 11. 19. Graph of Thought : Tree of Though의 상위호환 Graph of Thought: 새로운 추론 패러다임1. 연구 배경최근 대규모 언어 모델(LLM)은 놀라운 성능을 보여주고 있지만, 논리적 추론(logical reasoning)과 복잡한 문제 해결에서는 한계를 보이고 있습니다. 기존의 Chain of Thought(CoT) 접근법은 이러한 문제를 해결하기 위해 연속적인 사고 과정(선형적 추론 경로)을 명시적으로 모델링합니다. 그러나 현실의 많은 문제는 선형이 아닌 비선형적 상호작용과 여러 정보 간의 동시 연결성을 요구합니다.이를 해결하기 위해 제안된 **Graph of Thought(GoT)**는 문제 해결 과정을 그래프 구조로 표현하여, 복잡한 문제를 더 유연하고 다차원적으로 분석할 수 있도록 합니다. 이는 인간 사고의 비선형적 특성을 모방하여, 모델.. 2024. 11. 19. 이전 1 2 3 4 5 다음