전체 글30 Graph Neural Network을 위한 LLM 연구 방향 서론그래프 신경망(Graph Neural Networks, GNN)은 그래프 구조화된 데이터에서 학습을 가능하게 하여 소셜 네트워크, 분자 상호작용, 지식 그래프 등 다양한 응용 분야에서 주목받고 있습니다. 최근 대규모 언어 모델(LLM)의 성공은 텍스트 데이터뿐 아니라 그래프와 같은 비정형 데이터에서도 강력한 학습 잠재력을 제공할 가능성을 제기합니다. 이에 따라 LLM을 그래프 신경망과 결합하려는 연구가 활발히 이루어지고 있습니다.주요 논문"Graph-Text Pre-training for Graph Neural Networks" (Xu et al., 2023)주요 기여점: 이 논문은 그래프와 텍스트 데이터를 동시에 학습하는 사전 훈련 방법을 제안합니다. 텍스트를 노드 특징으로, 그래프 구조를 관계로 .. 2024. 11. 19. Tree 구조로 생각한다 ToT 1. METHOD (방법론)Tree of Thought(ToT) 프레임워크는 대규모 언어 모델(LLM)의 문제 해결 능력을 강화하기 위해 고안된 새로운 추론 및 탐색 접근 방식입니다. 기존의 체인 오브 띠장(Chain of Thought, CoT) 방식이 직선적이고 고정된 추론 경로를 따르는 데 반해, ToT는 문제 해결을 위한 다양한 가능성을 동시에 탐색할 수 있는 구조적 방식을 제공합니다주요 구성 요소:생각(Thought) 생성:생각은 문제 해결을 향한 중간 추론 단계로, 트리 구조의 노드로 표현됩니다.각 노드는 다양한 가능한 해결 방법을 나타내며, 트리 형태로 확장됩니다.상태(State) 평가:생성된 각 상태(생각의 노드)를 평가하여 유망한 상태를 선별합니다.평가 방법은 두 가지로 나뉩니다:독립 .. 2024. 11. 18. Chain of Thought 주요 내용과 발전동향 1. Chain of Thought 개념 및 원리Chain of Thought(이하 CoT)는 대규모 언어 모델(LLM)에서 다단계 추론(multistep reasoning)을 유도하기 위한 기법으로, 모델이 복잡한 문제를 해결할 때 중간 사고 과정을 명시적으로 나타낼 수 있도록 설계되었습니다. 이 방식은 다음과 같은 특징을 가집니다.연속적 사고 유도:CoT는 모델의 응답이 단순한 정답(output)이 아니라, 문제 해결 과정에서 필요한 논리적 단계를 포함하도록 훈련되거나 설계됩니다.텍스트 기반 논리 흐름:예를 들어, "계산 문제"에서 숫자 간의 관계를 단계적으로 설명하거나, "윤리적 딜레마"에서 논리적 사고 과정을 나타냅니다.사례 기반 학습:CoT는 주로 예시(prompting)를 통해 모델의 사고 흐.. 2024. 11. 18. LLM이 일관적인 답변을 하게 하려면? LLM의 self-consistency에 대한 논문들은 LLM이 여러 문맥과 역할에서 일관되게 작동하는 방법을 연구하며, 신뢰성, 사용자 경험, 안전성 측면에서 중요한 시사점을 제공합니다. Self-consistency는 AI가 동일한 질문이나 상황에 대해 반복적인 응답을 할 때 일관성 있는 답변을 제공하도록 하는 특징으로, 일관성이 결여될 경우 모델이 사용자에게 혼란을 주거나 잘못된 정보를 전달할 위험이 있습니다. 주요 연구 내용과 시사점은 다음과 같습니다.Self-Consistency MechanismSelf-consistency 연구는 LLM이 동일하거나 유사한 질문에 일관성 있는 응답을 생성하기 위한 메커니즘에 중점을 둡니다. 많은 연구에서 이 목적을 달성하기 위해 **자기 검토(self-revi.. 2024. 11. 14. LLM이 AGI로 가기위한 길 LLM(Large Language Models)이 진정한 AGI(Artificial General Intelligence)로 발전하기 위해서는 단순한 언어 모델을 넘어선 폭넓은 인지 능력과 유연성을 확보해야 한다는 연구들이 있습니다. 현재의 LLM은 강력한 언어 이해와 생성 능력을 갖추었지만, AGI의 특성을 구현하기에는 아직 여러 한계가 있습니다. 이에 대한 주요 개선점과 연구를 다음과 같이 요약할 수 있습니다.상황 인식 및 추론 능력LLM이 AGI로 발전하기 위해서는 단순한 문맥 이해를 넘어 복잡한 추론과 상황 인식 능력을 갖추어야 한다는 의견이 많습니다. 대표적인 연구로는 Yoshua Bengio의 “System 2 AI” 개념이 있습니다. 여기서 System 2 AI는 인지심리학에서의 이론을 차용.. 2024. 11. 14. 요즘 핫한 벡터DB가 뭘까 벡터 데이터베이스(Vector Database)는 벡터 형태의 데이터를 효율적으로 저장하고 검색할 수 있는 데이터베이스 시스템입니다. 벡터DB는 특히 머신러닝과 AI의 발전과 함께 텍스트, 이미지, 음성 등 다양한 유형의 비정형 데이터를 벡터로 표현하고, 이를 기반으로 빠르고 정확한 검색과 유사성 계산을 지원하는 데 중점을 둡니다.벡터 데이터의 개념과 특징벡터는 데이터 포인트를 다차원 공간에서 위치시키기 위한 수치 값의 배열을 의미합니다. 예를 들어, 단어를 벡터로 변환하면 그 단어가 특정 의미나 문맥을 다차원 벡터 공간에서 특정 위치에 나타내며, 이 위치를 통해 다른 단어와의 유사성을 계산할 수 있습니다. 이러한 벡터 표현은 특히 딥러닝 모델에서 자연어, 이미지, 음성 등 다양한 데이터를 이해하고 학습.. 2024. 11. 14. 이전 1 2 3 4 5 다음