전체 글30 LLM이 자기자신을 인식할수 있을까? LLM(self-identification in large language models)과 관련된 연구는 대형 언어 모델들이 스스로의 정체성을 인식하거나 특정 역할을 수행할 때 자신의 역할, 한계, 정체성을 인식하는 방식을 탐구합니다. 이 주제는 LLM이 활용되는 맥락에서 모델의 안정성과 신뢰성을 높이는 데 중요한 요소로 여겨지고 있습니다. 다음은 최근 연구에서 제안된 주요 개념과 아이디어들입니다.모델의 자기 인식(Self-Identification) 메커니즘AI 모델의 자기 인식 메커니즘에 대한 주요 연구는 LLM이 특정 질문이나 요청을 받을 때 그에 맞게 자신을 특정 역할에 맞춰 인식하고 반응하는 방법을 이해하는 데 중점을 둡니다. 예를 들어, "너는 어떤 AI야?"와 같은 질문에 LLM이 자신이 언.. 2024. 11. 14. 벡터양자화 VQ-VAE(Vector Quantized Variational Autoencoder)는 2017년에 Google Brain의 연구진이 발표한 모델로, 벡터 양자화(quantization) 기법을 활용하여 학습 데이터의 연속적인 특징 벡터를 이산적인 코드북(codebook) 벡터로 변환하는 방식을 제안했습니다. VQ-VAE의 주요 혁신은 연속적인 표현 공간을 이산적인 표현 공간으로 변환하면서도, 학습 중에 모델이 불안정해지지 않도록 안정적인 양자화 메커니즘을 사용하는 것입니다. 이 양자화 방식은 기존의 VAE가 가진 제한점을 극복하고, 고품질의 잠재 표현(latent representation)을 학습하는 데 기여합니다.1. VQ-VAE의 양자화 기법 소개VQ-VAE에서 제안된 새로운 양자화 방식은 입력.. 2024. 11. 14. LLM의 할루시네이션을 극복하는 방법 대형 언어 모델(LLM)에서 발생하는 환각(hallucination)은 모델이 사실에 기반하지 않은 정보를 생성하거나 질문과 무관한 답변을 내놓는 현상을 말합니다. 이러한 환각은 특히 의료, 법률, 학술 분야 등에서 잘못된 정보를 줄 가능성이 있어 심각한 문제로 부각되고 있습니다. LLM 환각은 데이터 편향, 학습 방식의 한계, 모델의 자율적 언어 생성 방식 등이 주요 원인으로 꼽힙니다. LLM의 환각 문제 해결을 위해 여러 접근법이 제안되고 있습니다. 첫 번째는 **사실 검증(fact-checking)**과 관련된 모델을 추가적으로 학습시키는 것입니다. 이를 통해 모델의 답변을 사실에 근거하도록 유도할 수 있습니다. Fact-checking(팩트체킹)은 LLM과 같은 인공지능 시스템이 제공하는 정보의 .. 2024. 11. 14. GPU 메모리 부족으로 LLM 연구가 어렵다면? https://fastcampus.co.kr/data_online_quantization?referral=7b41bfa5085806dfa24b8c9de0ce567f LLM 모델 파인튜닝을 위한 Quantization | 패스트캠퍼스파인튜닝의 고질병 메모리 리소스 제약, Inference시 발생하는 Latency 증가 문제 해결!fastcampus.co.krLLM 모델을 활용하여 AI 서비스를 개발하면서 발생하는대표 2가지 병목인 모델 학습 시 Fine-Tuning에서 발생하는 메모리 리소스 제약,Inference를 할 때 발생하는 Latency 증가 문제를 해결해줄 수 있는 LLM Quantization ! 2024. 11. 8. 요즘 핫한 랭그래프, 패스트캠퍼스에서 한번에 끝내자 https://fastcampus.co.kr/dev_online_aiagent?referral=7b41bfa5085806dfa24b8c9de0ce567 모두의 AI 케인의 LangGraph로 끝내는 멀티 AI Agent ft. 5가지 Advanced AI agent 구축 프로젝트 | 패스트캠국내 최초 AI 얼리어답터 모두의AI가 알려주는 멀티 AI Agent 강의 | LLM 한계는 극복하고 성능은 제곱하는 멀티 AI 에이전트를 가장 빠르게 배우며, AI에 복잡한 행동능력을 설계하는 workflow 및 LangGrapfastcampus.co.kr국.내.최.초. LLM 한계는 극복하고, 성능은 제곱하는 멀티 AI 에이전트를 가장 빠르게 배우며AI에 복잡한 행동능력 설계하는 workflow 및 LangGrap.. 2024. 11. 8. np.where - 배열 원소에 대한 조건부 검색을 한번에 하자 np.where는 배열 원소에 대한 조건부 검색이다.리턴값은 조건에 맞는 배열의 인덱스 또는 값이다.리턴값이 튜플인지 ndarray인지 주의해야한다. 1. 어떤 배열에 대해 조건에 맞는 인덱스 뽑아내기np.where(array에 대한 조건): 조건이 True에 해당하는 인덱스로 구성된 ndarray를 튜플로 감싸서 반환 먼저 1차원 배열에 대한 조건에 맞는 인덱스를 뽑아내는 예제를 만들었다.a = np.array([1,2,3,4,5])c = np.where(a > 3) # 배열 a에 대해 조건이 참인 인덱스(3, 4)를 반환 print("반환값 : ", c)print("반환값의 타입 : ", type(c))print("반환된 튜플의 첫번째 원소의 타입 :", type(c[0.. 2024. 8. 7. 이전 1 2 3 4 5 다음