AgileBus - IT 기술자를 위한 최신 기술 Trends

Llama-2 install locally - Llama-2 로컬 사용 LLama.cpp를 다운 받아 Llama-2를 테스트 하는 방법을 정리해 봅니다. [ Llama-2 working locally ] llama-2를 실행하는 과정을 다음과 같은 스크립트로 작성을 했습니다. (적합한 시스템 환경에서는 순차적으로 실행이 되겠으나 일부 패키지, 컴파일 환경 등은 하나씩 확인이 필요합니다.) # vi get_llmacpp.sh # -------------------------- #!/bin/bash # ****************************** # 1st Step : llama.cpp download & compile # ****************************** if [ ! -d ..

[생성형AI] RAG(Retrieval Augmented Generation)에 대한 초보자 가이드 RAG(Retrieval Augmented Generation)란 무일까요? 검색 증강 생성은 사전 학습된 대규모 언어 모델(예: 상호 작용 중인 모델)의 기능을 외부 검색 또는 검색 메커니즘과 결합하는 방법입니다. 이 아이디어는 생성 프로세스 중에 외부의 방대한 문서 모음에서 정보를 가져올 수 있도록 하여 생성 모델의 기능을 향상시키는 것입니다. 검색 증강 RAG 생성AI의 장점 RAG에는 몇 가지 놀라운 장점이 있습니다. 1. 지식 확장성 모든 정보를 저장하고 응답 하는 모놀리식 모델 대신 RAG 모델은 외부 데이터베이스를 업데이트하거나 다양한 지식을 확대하는 것만으로 확장이 가능합니다. 2. 메모리 ..

(기술)인공지능과 빅데이터 분석을 위한 고성능 분산DBMS SingleStoreDB 빅데이터와 인공지능의 보편화 최근 빅데이터와 인공지능으로 데이터 수집과 관리 기술을 많은 기업에서 사용할 만큼 보편화 되어 있습니다. 그러나 방대하고 다양한 데이터를 처리하기 위해서 도입되는 오픈소스 기반의 데이터 기술들은 데이터 엔지니어, 데이터 사이언티스트등과 같은 고급 기술인력들을 요구하고 있습니다. 이러한 기술 인력은 부족하고 관련 기술의 난이도가 높을 수록 데이터를 관리하고 생산하는 Cost가 실제 데이터를 활용한 서비스를 만드는데 커다란 장벽으로 인식 될 수 있습니다. 앞으로 기술의 발전속도 만큼 더 빠르고 방대한 데이터들이 생겨 날 수록 데이터 기술은 더욱 효율화가 필요하고 더 간단하게 데이터를 활용하는 접근..

프롬프트엔지니어링ChatGPT로 인해 인공지능의 영역은 사용자가 모델에게 제공하는 프롬프트 (입력 문장 또는 질문)를 통해 모델의 출력을 조작하고 원하는 결과를 얻는 AI 프롬프트 또는 프롬프트 엔지니어링의 방법에 이르렀습니다. 방대한 자료를 학습하여 탄생한  LLM(Large Language Model)으로 자연어의 이해, 기계 번역, 텍스트 생성, 질문 응답 및 다양한 언어 관련 작업에서 "인간 수준의 언어 이해와 생성 능력을 갖춘 모델"로서 활용 되고 있습니다.  LangChain(랭체인)은! LangChain은 언어 모델을 기반으로 하는 GPT기반 AI 애플리케이션을 개발하기 위한 프레임워크입니다.  LangChain을 이용해서 chatGPT의 API와 연계하여  LLM을 기반으로한 다양한 언어 ..