Llama-2 install locally - Llama-2 로컬 사용

 

 

Llama-2  install locally  - Llama-2 로컬 사용

 
LLama.cpp를 다운 받아 Llama-2를 테스트 하는 방법을 정리해 봅니다.
 
[ Llama-2  working locally ]
llama-2를 실행하는 과정을 다음과 같은 스크립트로 작성을 했습니다.
(적합한 시스템 환경에서는 순차적으로 실행이 되겠으나 일부 패키지, 컴파일 환경 등은 하나씩 확인이 필요합니다.)
 

# vi get_llmacpp.sh
# --------------------------
#!/bin/bash

# ******************************
# 1st Step : llama.cpp download & compile
# ******************************
if [ ! -d "llama.cpp" ]
then
    git clone https://github.com/ggerganov/llama.cpp.git
    cd llama.cpp
    LLAMA_METAL=1 make
fi

# ******************************
# 2nd Step : download llama-2 models from huggingface
# ******************************

#  https://huggingface.co/localmodels/Llama-2-7B-ggml/tree/main
#  https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF
#
#  - llama-2-7b-chat.Q4_K_M.gguf        Q4_K_M  4       4.08 GB 6.58 GB medium, balanced quality - recommended

# - download : https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/resolve/main/llama-2-7b-chat.Q4_K_M.gguf

#export MODEL=llama-2–13b-chat.ggmlv3.q4_0.bin
#curl -L "https://huggingface.co/TheBloke/Llama-2-13B-chat-GGML/resolve/main/${MODEL}" -o models/${MODEL}

export  MODEL="llama-2-7b-chat.Q4_K_M.gguf"
curl -L "https://huggingface.co/TheBloke/Llama-2-7B-chat-GGUF/resolve/main/${MODEL}" -o models/${MODEL}


# ******************************
# 3rd Step : run main chat_app with llama-2 models
# ******************************


./main -m ./models/llama-2–13b-chat.ggmlv3.q4_0.bin - color - ctx_size 2048 -n -1 -ins -b 256 - top_k 10000 - temp 0.2 - repeat_penalty 1.1 -t 8

 

LLAMA-2-7B-Chat 모델 실행 명령 옵션

LLAMA-2-7B-Chat 모델  실행 명령 옵션

-m /mydata/llma2/llama.cpp/models/llama-2-7b-chat.Q4_K_M.gguf: 이 옵션은 LLAMA 모델의 경로를 지정합니다.

--color: 이 옵션은 채팅에서 색상을 사용하도록 설정합니다.
--ctx_size 2048: 이 옵션은 채팅 컨텍스트의 크기를 2048로 설정합니다.

-n -1: 이 옵션은 무한한 대화를 생성하도록 설정합니다.

-ins: 이 옵션은 삽입을 허용하도록 설정합니다.
-b 256: 이 옵션은 배치 크기를 256으로 설정합니다.
--top_k 10000: 이 옵션은 상위 k개의 토큰을 고려하도록 설정합니다.

--temp 0.2: 이 옵션은 생성된 텍스트의 다양성을 조절하는 온도를 0.2로 설정합니다.
--repeat_penalty 1.1: 이 옵션은 반복되는 토큰에 대한 패널티를 설정합니다.
-t 8: 이 옵션은 쓰레드 수를 8로 설정합니다

 

 
 

1. Llama-2 local 설치 - install gobjc gcc-objc - 컴파일러 설치

2. Llama-2 local 설치 할 때 생기는 문제들 - llama.cpp해결

 
출처: https://couplewith.tistory.com/566 [AgileBus - IT 기술자를 위한 최신 기술 Trends:티스토리]
 

LLama-2를 사용할 수 있는 몇 가지 방법입니다:

1. **스크립팅**: LLama-2를 사용하여 데이터 처리, 파일 조작, 시스템 관리 작업과 같은 복잡한 작업을 수행하는 스크립트를 만들 수 있습니다.
2. **워크플로우 자동화**: LLama-2를 사용하여 여러 작업으로 구성된 워크플로우를 정의하고, 이벤트나 스케줄에 따라 실행할 수 있습니다. 이를 통해 반복적인 작업을 자동화하고 개발 과정을 간소화할 수 있습니다.
3. **작업 관리**: LLama-2를 사용하여 작업을 관리하고 진행 상황을 추적할 수 있습니다. 이를 통해 조직적이고 일에 집중할 수 있습니다.
4. **다른 도구와의 통합**: LLama-2는 Git, Jenkins, Docker와 같은 다른 도구와 프레임워크와 통합할 수 있습니다. 이를 통해 이러한 도구에 특화된 작업을 자동화할 수 있습니다.
5. **맞춤화**: LLama-2는 매우 맞춤화가 가능하며, 특정 요구사항에 맞는 맞춤형 워크플로우와 작업을 만들 수 있습니다.
6. **시각적 인터페이스**: LLama-2는 워크플로우와 작업을 정의하기 위한 시각적 인터페이스를 제공합니다. 이를 통해 자동화 스크립트를 쉽게 이해하고 유지할 수 있습니다.

7. **오류 처리**: LLama-2는 내장된 오류 처리 기능을 포함하고 있으며, 오류와 예외를 중앙에서 처리할 수 있습니다.
8. **보안**: LLama-2는 인증과 권한 부여와 같은 보안 기능을 제공합니다. 이를 통해 스크립트에 접근하고 수정할 수 있는 사용자를 제한할 수 있습니다.
9. **확장성**: LLama-2는 확장성이 뛰어나며, 필요에 따라 소규모 또는 대규모로 작업을 자동화할 수 있습니다.
10. **커뮤니티 지원**: LLama-2는 활발한 사용자와 개발자 커뮤니티를 가지고 있으며, 학습과 문제 해결을 위한 지원과 자료를 제공합니다.