Gpt4All을 이용하면 PC에서도 무료로 GPT를 사용한다.

 

Gpt4All을 이용하면 PC에서도 무료로 GPT를 사용한다.

 

Gpt4all 은 

GPT4All은 로컬에서 실행되는 무료 대화형 챗봇입니다.
이 모델은 GPU나 인터넷 연결이 필요하지 않으며, 사용자의 하드웨어에서 실시간 추론이 가능합니다. 

대형 인프라를 이용한 LLM 기술로  OpenAI, Dall-E 등과 같은 서버 기반 대형 플랫폼 서비스도 있지만,   모바일 단말에서도 작동가능한 소형 언어 모델(sLLM)로도 원하는 결과를 얻을 수 있을 만큼 발전하였습니다.

최근 GPT4와 같은 클라우드 서비스를 이용하는 것처럼 모바일 디바이스, 자동차, MS 코파일럿 같은 프로그램 개발툴, 디자인툴등의 솔루션, 폐쇄망내 시스템 등 어디에서나 GPT를 이용하는 시대가 되었습니다.


GPT4All을 이용하면 PC에서도  gpt를 무료로 쉽게 구성이 가능합니다.   미리 학습된  언어 처리 모델을 다운로드하여  GPT 챗봇을 쉽게 이용할 수 있고(MPT, Orca, Falcon, LlaMA3 등) , 유료 GPT4 API를 연결하여 사용할 수도 있는 PC에서 작동하는 대화형 챗봇 시스템입니다. 

* Llama3 : Meta(페이스북)에서 개발한 오픈 소스 LLM
* Orca :  MS에서 개발한 LLaMA의  튜닝 모델
* MPT : MosaicML사에서 개발 , 1조 토큰으로 훈련된 모델 MPT-7B, MPT-30B 등이 있음


GPT4ALL을 이용한 RAG 구현
"nomic Embed", SBert 등의  모델을 이용하면 "Local Docs" 를 이용하여  외부 학습 데이터를 임베딩 할 수 있어서 RAG와 같이 지식을 확장하여 검색이 가능합니다.

"GPT4All " 은 Nomic AI는 이 소프트웨어에서 로컬 PC에서도 gpt을 이용할 수 있도록 만든 솔루션입니다. 

로컬 PC에서  llama, gpt4등을 모델을 연결하여 챗봇을 이용할 수 있는 생태계를 지원하고 , 설치와 사용하기 편리합니다. 그리고  로컬 데이터를 이용하므로 보안을 강화하는 동시에 모든 사람이나 기업이 자체 최첨단 대규모 언어 모델을 쉽게 구축하고 배포할 수 있습니다.


 
Gpt4All의 주요 기능

• 다양한 질문에 답하기: GPT4All은 세계의 다양한 주제에 대한 질문에 답할 수 있습니다.
• 개인적인 글쓰기 도우미: 이메일, 문서, 창작 이야기, 시, 노래, 연극 등을 작성하는 데 도움이 됩니다.
• 문서 이해와 요약: 사용자가 제공한 텍스트 문서를 요약하고 내용에 대한 답변을 제공합니다.
• 프로그램 코딩 가이드: 쉬운 코딩 작업에 대한 지침을 제공하며, 코드 능력은 계속해서 개선 중입니다.

 

 

 1. Gpt4All  프로그램 설치  따라하기

 
GPT4All 사이트 : https://gpt4all.io/index.html
설치환경 : 메모리가 8GB 이상 필요하며, 저장 디스크도 10G 정도는 여유가 있어야 합니다. 그리고 GPT 모델 검색엔진을 (빠른 작동을 위해서는  GPU (그래픽카드)를 요구합니다. 

아래와 같이 프로그램을 다운로드 및 설치 후에는 설치 프로그램에서 지정한 디렉터리에서 응용 프로그램을 찾을 수 있습니다. 설치 후 GPT4All의 바탕 화면 아이콘을 찾을 수 있습니다.
 

[GPT4all 프로그램 다운로드]
(Windows용) https://gpt4all.io/installers/gpt4all-installer-win64.exe
(OSX용 ) https://gpt4all.io/installers/gpt4all-installer-darwin.dmg
(Ubuntu 리눅스용 )  https://gpt4all.io/installers/gpt4all-installer-linux.run

 
(1) 다운로드한 프로그램을 실행합니다.

(2) 설치할 폴더를 생성하고 선택합니다.
    - 기본으로 설정된 디렉토리 용량이 부족할 수 있어서 별도 공간으로 설치를 합니다. (프로그램은 732MB, 추가 LLM모델 다운로드는 7~8GB 용량이 필요합니다.)

 
(3) gpt4All 설치 프로그램을 실행합니다.

 
 

2. GPT4All 은 다양한 언어 모델을 지원 

 
아래 화면에서 이용가능한 다양한 언어 모델을 검색하여 다운로드 가능합니다.  
GPT4All 모델을 다운로드하여 GPT4All 소프트웨어에 연결할 수 있는 3GB~8GB 파일들입니다. 
저는 화면 하단의  Download Path : G:/Gpt4All/nomic.ai/ 로 수정하여 언어 모델 파일의 저장 위치를 변경하였습니다.

 
ㅁ 무료 GPT모델인 Llama3 를 다운로드 받습니다.
GPT4All은 llama3, gpt4 등 다양한 LLM 모듈을 제공하고 있습니다. 그중에서 무료로 사용 가능한 Llama3를 다운로드 받아 설치합니다.

 
상단의 모델 검색 창에서 Llama3를 검색 해 보니 2024년 6월 만들어진 Llama-3-8B GGUF도 있어서 함께 설치하고 테스트해보려고 합니다.

 
 유료 Gpt4 API키를 사용하려면 아래와 같이 설치하면 됩니다.

 
 
 

3. Llama3을 이용하여 무료로  GPT에게  질문하기

   - Llama3 모델을 다운로드 완료하고 화면 상단의 LLM 모델 선택에서 앞에서 다운로드한  Llama3 Instruct 또는 Mistral Instruct를 선택합니다.
   - 그리고 하단의 채팅 화면에서 질문을 보내면 GPT의 답변을 볼 수 있습니다.

 
다음과 같이 GPT를 이용하여 질문을 무료로 사용할 수 있습니다. 느린 경우는 별도 그래픽 카드를 장착하면 빨라집니다.

 
 간단히 설치가 가능해서 워드 설치하듯이  쉽게 설치가 됩니다.
감사합니다.😄

GPT-4 ALL (Generative Pre-Trained Transformer 4 - All)은 인터넷에서 가장 강력한 대화형 AI 모델입니다. 이 모델은 응답을 생성하기 위해 다양한 데이터를 사용합니다.



이 프로그램을 설치하고 사용할 수 있습니다. 아래의 단계에 따라 설치하십시오:



1. GPT-4 ALL 모델을 다운로드합니다. 이를 위해 인터넷에서 "gpt4all"와 같은 키워드를 검색하고 사용할 수 있는 다양한 리소스가 있습니다.

2. 다운로드된 모델을 실행시킵니다. 이를 위해 명령어를 입력합니다. 예를 들어, "python gpt4all.py"와 같은 명령어를 사용할 수 있습니다.

3. GPT-4 ALL을 사용하기 위해서는 API키가 필요합니다. 이러한 키를 발급받으십시오.

4. API키를 입력합니다. 예를 들어, "python gpt4all.py --api-key YOUR_API_KEY"와 같은 명령어를 사용할 수 있습니다.

5. GPT-4 ALL을 사용하여 대화를 진행할 수 있습니다. 예를 들어, "python gpt4all.py --api-key YOUR_API_KEY --chat"와 같은 명령어를 입력합니다.

6. GPT-4 ALL이 대화를 진행할 수 있습니다. 예를 들어, "안녕하세요!"라고 입력하십시오.

7. GPT-4 ALL은 응답을 생성합니다. 이러한 응답에 대해 추가적인 작업을 수행할 수 있습니다.