AgileBus - IT 기술자를 위한 최신 기술 Trends

MYSQL에서 제공하는 Vector Data 처리기능

MYSQL에서 제공하는 Vector Data 처리기능MySQL은 벡터 데이터 처리 기능을 내장하여 AI 기반 애플리케이션 개발을 지원합니다. 아래는 주요 기능과 사용 예시, 기존 벡터 DB 대비 장점을 정리한 내용입니다.  MySQL의 Vector DB 기능1. 벡터 데이터 타입 지원VECTOR(n): n차원 벡터 저장 가능 (예: VECTOR(768))[2][5].저장 방식: VARBINARY 또는 리스트 형식 문자열로 4바이트 부동소수점 저장[2].크기 제한: 2048~16383 차원 지원 (기본값 2048)[2]. 2. 벡터 변환 함수STRING_TO_VECTOR(): 문자열을 벡터로 변환 (예: '[1][2][3]' → 이진값)[2][5].VECTOR_TO_STRING(): 이진 벡터를 문자열로 ..

Mysql - AI 구현을 위한 Vector data 처리하기

#Mysql - AI 구현을 위한 Vector data 처리하기#MySQL은 벡터 데이터 처리 기능을 내장하여 AI 기반 애플리케이션 개발을 지원합니다.아래는 주요 기능과 사용 예시, 기존 벡터 DB 대비 장점을 정리한 내용입니다.  MySQL의 Vector DB 기능 1. 벡터 데이터 타입 지원VECTOR(n): n차원 벡터 저장 가능 (예: VECTOR(768))[2][5].저장 방식: VARBINARY 또는 리스트 형식 문자열로 4바이트 부동소수점 저장[2].크기 제한: 2048~16383 차원 지원 (기본값 2048)[2]. 2. 벡터 변환 함수STRING_TO_VECTOR(): 문자열을 벡터로 변환 (예: '[1][2][3]' → 이진값)[2][5].VECTOR_TO_STRING(): 이진 벡터..

MySQL Galera Cluster와 Replication 기술 (1/2)

#MySQL Galera Cluster와 Replication 기술# 1. Mysql Cluster와 Replication 구성 종류2. MySQL Galera Cluster와 Replication 기술 비교 Mysql은 인터넷 기술의 발전과 함께 다양한 분야에서 사용하는 오픈 소스 기반의 DBMS입니다. MySql의 가장 큰 장점은 성능 과 운용 측면에서 쉽게 사용할 수 있다는 점입니다.다른 DBMS대비 기술적인 난이도가 낮아서 일반 대중층에서도 사용하기 쉽다고 봅니다.다만 다양한 환경과 대량의 데이터 처리에서 한계점도 있고 완벽하지 않은 기술 부분은 운영자의 역량으로 커버를 해야 합니다.특히  멀티마스터 (multi master) , 클러스터링 기술과 같이 여러 DB를 하나의 DB처럼 사용하고 장애를..

MySQL Galera Cluster와 Replication 기술 (2/2)

#MySQL Galera Cluster와 Replication 기술# 1. Mysql Cluster와 Replication 구성 종류2. MySQL Galera Cluster와 Replication 기술 비교 Mysql은 인터넷 기술의 발전과 함께 다양한 분야에서 사용하는 오픈 소스 기반의 DBMS입니다.MySql의 가장 큰 장점은 성능 과 운용 측면에서 쉽게 사용할 수 있다는 점입니다.다른 DBMS대비 기술적인 난이도가 낮아서 일반 대중층에서도 사용하기 쉽다고 봅니다.다만 다양한 환경과 대량의 데이터 처리에서 한계점도 있고 완벽하지 않은 기술 부분은 운영자의 역량으로 커버를 해야 합니다.특히  멀티마스터 (multi master) , 클러스터링 기술과 같이 여러 DB를 하나의 DB처럼 사용하고 장애를 ..

힘과 책임에 대한 명언 (25년 4월)

"민주주의는 완벽하지 않다. 그러나 그것이 인간이 만든 정치 체제 중 가장 나은 것이다.”오늘 2025.4.1 만우절 날입니다. 평소 같으면 거짓말로 좋은 추억을 만들 수 있었겠지만, 오늘만큼은 모두가 정말 진지한 날이었을 것 같습니다.실제 대통령 탄핵이 한국에서는 밥먹듯이 일어난다고 욕하는 사람들도 있지만 그렇지도 않습니다. 지난 4개월 동안 누구도 쉽게 물러 서지 않은 팽팽함과 거짓으로 얼룩진 역사를 만들고 있습니다.가짜 같은 진짜 진짜 같은 가짜... 우리는 도플갱어가 된 세상에서 진짜를 구별하기도 어려워졌습니다.세상에서 교육도 평등도 돈으로 권력으로 해결되는 세상이기 때문이지요...지난 몇 년간 내 거 아니면 가짜 가 판을 쳐도 관심이 없었지요. 서울 집값이 1년 사이 경기도 아파트 것보다 ..

LLM(Large Language Model), SLLM(Super Lightweight Language Model), SLM(Small Language Model)의 특징 비교

인공지능 GPT를 기준으로 LLM(Large Language Model), SLLM(Super Lightweight Language Model), SLM(Small Language Model)의 특징을 비교하면 다음과 같습니다.🔹 LLM (Large Language Model)✅ 특징:수십억~수천억 개의 파라미터를 가진 대규모 AI 모델방대한 데이터 학습으로 다양한 분야에서 높은 성능 제공강력한 자연어 이해 및 생성 능력 보유✅ 장점:✔ 다양한 질문과 복잡한 작업 수행 가능✔ 높은 창의성과 정확성을 갖춘 응답✔ 문맥 유지 및 추론 능력 우수✅ 단점:✖ 높은 연산 비용 (고성능 GPU 필수)✖ 응답 속도가 상대적으로 느림✖ 실시간 처리 및 임베디드 환경 적용 어려움✅ 사용 사례:🔹 ChatGPT, Ba..

LLM (Large Language Model) , sLLM (specialized/small LLM) , 그리고 SLM (Small Language Model) 비교LLM, sLLM, 그리고 SLM은 각각 언어 모델의 크기와 목적에 따라 설계된 자연어 처리 기술입니다. LLM (Large Language Model)특징:대규모 텍스트 데이터를 기반으로 학습된 모델로, 수십억~수천억 개의 파라미터를 포함합니다.다양한 분야와 주제를 처리할 수 있는 범용성을 가지고 있습니다.클라우드 기반 서비스로 제공되며, API 호출 방식으로 사용됩니다.대표 사례: GPT-4 (OpenAI), Gemini (Google), Claude (Anthropic), LLaMA 2 (Meta).장점: 방대한 지식과 추론 능력.단점..

#Gensim #spaCy #NLTK #TextBlob #PyCaret #Word2Vec #Doc2Vec10가지 유용한Text 데이터 분석 라이브러리 데이터 분석을 위한 기술로 텍스트 분석 및 자연어 처리 도구들과 기법들을 설명하고 비교해봅니다.1. Gensim목적: 토픽 모델링, 문서와 단어 임베딩, 그리고 자연어 처리(NLP)를 위한 Python 라이브러리.주요 기능:LDA, Word2Vec, Doc2Vec, FastText와 같은 알고리즘 지원.대규모 텍스트 데이터를 효과적으로 처리.특징:간단한 사용법과 확장성이 뛰어남.텍스트 클러스터링 및 토픽 모델링에 강점.https://linkniti1.com/2. spaCy목적: 고성능의 자연어 처리(NLP)를 제공하는 Python 라이브러리.주요 기능:토큰..

핀크로또 에서  낙첨 복권 재 추첨에 2천만원 도전핀테크 생활 금융 앱 핀크(Finnq)앱에 "핀또 복권" 재추첨 시 2천만원 상금이 있답니다.아래 링크로 가입시 선물을 지급 합니다로또 등록하고 재추첨  대박 나시길 바랍니다.사용 방법1. 아래 링크로 회원 가입을 합니다.2. 동행복권 로또를 구매하고 핀크앱 등록 합니다.      QR로 간편하게 등록 됩니다.3. 해당 회차는 다음주 에 핀크에서 재추첨 합니다.🍀친구와 공유하고 100원씩 나눠받아요.실제 로또 당첨번호와 같으면 👍 2천만원 당첨!https://pop.finnq.com/event/fintto/fintto_share.html?eventId=FINTTO_001&inviVal=zyQwKzsCr0 핀또복권로또 용지 등록하고 재당첨 도전!pop...

활용 (Exploitation) 은 우리가 알고 있는 것에서 이익을 취하는 과정이고 ,탐색 (Exploration) 은 우리가 알지 못하는 것에 대한 지식을 얻는 것입니다.탐색(Exploration)과 활용(Exploitation)은 경영학 및 의사결정 이론에서 중요한 개념으로, 조직과 개인이 자원을 어떻게 할당하고 선택을 최적화하는지 설명하는 데 사용됩니다. 이 두 개념은 서로 상충되며 균형을 맞추는 것이 핵심입니다.탐색(Exploration) : 정보를 수집하면서 선택, **새로운 것을 발견하려는 노력 기존의 틀을 벗어나 새롭게 배울 수 있는 영역활용(Exploitation): 충분한 정보를 수집하여 결정 , 안정성과 효율성을 강조하는 반면, 혁신과 도전은 덜 포함**아래에서 각각의 정의와 특징, ..

N-gram과 skip-gram은 자연어 처리(NLP)에서 텍스트 데이터를 분석하거나 학습할 때 사용하는 대표적인 방법입니다. N-gram정의: N-gram은 텍스트를 연속된 N개의 단위로 분할하여 분석하는 기법입니다. 여기서 N은 1, 2, 3 등 원하는 크기를 나타냅니다.Unigram: 단일 단어로 분할 (N=1)Bigram: 두 단어씩 묶음 (N=2)Trigram: 세 단어씩 묶음 (N=3)작동 방식:주어진 텍스트를 입력받습니다.텍스트를 N개의 연속된 단어, 글자 등의 단위로 나눕니다.각 N-gram의 빈도나 확률 분포를 계산하여 분석에 활용합니다.주요 활용:문장 유사도 비교언어 모델링텍스트 분류 및 감정 분석예시:"I love AI"라는 문장이 있을 때:Unigram: ["I", "love", "..

인공지능 기술 요소 및 서비스 동향 정리인공지능 기술은 다양한 형태의 데이터를 처리하고 분석하는 데 사용되며, 각 데이터 유형에 특화된 기술 요소들이 존재합니다.인공지능 기술은 GPT가 나오기전과 나오고 난 이후 시장은 급속한 변화가 일어나고 있습니다.기존의 TEXT, DATA를 중심으로 예측하고 분류하고 분석하는 기술에서 비정형 이미지, 동영상을 생성하거나, 사람과의 대화, 지식의 검색증강 등을 통해 사람과의 상호작용이 증가하는 추세로 보여 집니다.앞으로 인공지능은 사람의 지능을 증강하고 역량을 강화하는 도구로서 지식을 수준으로 역량을 측정하는 시대는 사라질 지도 모릅니다. 오히려 사람의 본성과 인간미 넘치는 판단이 더 중요한 사회가 되기를 바랍니다.최근 인공지능 CEO, 인공지능 면접관 등 사람을 평..

Linux에서 syslog를 효과적으로 구성하는 방법을 한글로 정리해 보았습니다:1. 서비스별 로그 파일 분리특정 서비스나 애플리케이션 로그를 별도 로그 파일로 분리하여 관리합니다. 이렇게 하면 /var/log/syslog가 과도하게 복잡해지는 것을 방지할 수 있습니다.예: if $programname == 'apache2' then /var/log/apache2.log& stop 로그 로테이션 설정logrotate를 이용해 오래된 로그 파일을 압축하거나 삭제하여 디스크 용량 부족 문제를 방지합니다. /etc/logrotate.conf 또는 /etc/logrotate.d/ 파일에 정책을 추가합니다.예: /var/log/syslog { daily rotate 7 compress ..

리눅스 커널 파라미터 튜닝 할 때 많이 사용하는 설정  리눅스 커널은 ?리눅스 커널(Linux Kernel)은 운영체제의 핵심 부분으로, 하드웨어와 소프트웨어 간의 중개 역할을 수행합니다. 간단히 말해, 컴퓨터 자원을 효율적으로 관리하며 사용자가 원하는 작업을 수행할 수 있도록 지원합니다. 최근 클라우드 환경이 보편화 되면서 리눅서 커널 파라미터를 튜닝해야 할 일은 거의 없을 수 있습니다.다만 이러한 파라미터는 단순히 OS 튜밍 뿐아니라 Network 프로그램의 성능을 높이고 시스템 자원을 효율화 하는데 중요한 파라미터 들입니다. 리눅스 커널은 하드웨어 를 컨트롤 하는 메모리, 파일시스템, 네트워크등 다양한 입출력 인터페이스와 연계하여 사용자의 명령을 처리하는 역할을 하고 있습니다.아래와 같이 다양한 물..

(경영전략.사업전략) 기업의 가치 창출 전략 이론들  (1) 마이클 포터의 경쟁전략 (Five-Forces, 5-Forces) (2) 마이클 포터의 가치사슬 분석(Value Chain Analysis) (3) 자원 기반 관점 (Resource-Based View, RBV) 역량 확보 전략 (4) 헨리 체스브로(Henry Chesbrough) 개방형 혁신(Open Innovation) 이론 (5) 블루 오션 전략 (Blue Ocean Strategy) (5) 서비스 전략 분석 도구 비교(SWOT 위상 분포 동태)  기업이 성장하고 생존하기 위해서는 조직의 문화와 더불어 기업 특성에 맞는 전략들이 필요합니다.다양한 기업들이 사용하는 전략들에 대하여 살펴 봅니다.   서비스 전략 분석 도구들..

#Graph RAG가 기존 RAG 모델보다 더 정확한 이유는Graph RAG가 기존 RAG 모델보다 더 정확한 이유  1. RAG와 Graph RAG 데이터 구조의 차이기존 RAG는 주로 벡터 임베딩(Vector Embedding)을 사용하여 정보를 검색합니다. 이는 문서나 데이터를 고차원 벡터로 변환한 뒤, 사용자의 질문도 벡터화하여 벡터 공간에서 가장 유사한 항목을 검색하는 방식입니다.Graph RAG는 그래프 데이터 구조를 활용합니다. 그래프는 노드와 엣지로 구성되며, 데이터 간의 관계를 명시적으로 표현할 수 있습니다. 이를 통해 데이터 간의 연결성과 맥락을 더 잘 이해할 수 있습니다.  2. 검색 정확도벡터 기반 RAG 검색은 데이터의 유사도를 계산하는 데 효과적이지만, 문맥이나 관계를 충분히 반..

기술 역량 프레임워크 - 스킬 피라미드(Skill Pyramid): 기술의 가치를 이해하고 끊임 없이 미래를 준비하는 방법   끊임없이 새로운 기술을 배울 수 있는 능력은 오늘날의 세계에서 성공의 중요한 요소입니다.   컨설팅회사 딜로이트에 따르면 MZ세대는 생성형 AI를 즐겨 사용하면서도, 생성형 AI가 주도하는 자동화로 일자리가 없어지고 취업이 어려워질 것이라 우려하고 있음 오늘날 기술은 AI와 같은 지식 기술의 변화가 급격하게 성장하면서 기술의 변화는 점점 짧아지고 있다. 기술 변화의 속도에 따라 기술의 상대적 가치와 중요도도 변화하고 있습니다. 이 과정에서 스킬 피라미드(Skill Pyramid)는 이러한 기술 변천 과정을 체계적으로 설명하는 프레임워크로, 개인과 조직이 역량을 이해하고 개발하는 ..

GraphRAG(그래프 기반 검색-증강 생성) 파이프라인을 구축하는 방법 아래는 GraphRAG(그래프 기반 검색-증강 생성) 파이프라인 구축 방법을 구체적으로 실행 가능하도록 정리한 내용입니다. 각 단계별로 필요한 코드를 포함하여 설명합니다.1. 환경 설정먼저, Python 환경을 설정하고 필요한 라이브러리를 설치합니다.Python(3.7 이상)과 pip 설치.가상 환경 생성:python -m venv myenv source myenv/bin/activate # Windows: myenv\Scripts\activate필요한 라이브러리 설치:pip install llama-index graspologic numpy scipy neo4j-graphrag 가상 환경 생성 및 활성화python -m venv ..

Graph RAG의 주요 특징지식 그래프 활용:텍스트에서 엔티티와 관계를 추출하여 지식 그래프를 생성하고 이를 기반으로 정보를 검색 및 생성.노드(개체)와 엣지(관계)를 통해 데이터 간의 복잡한 연결성을 명확히 표현정보 간 관계 이해:검색된 정보들 간의 관계를 그래프 구조로 모델링하여 맥락과 상호작용을 더 깊이 이해이를 통해 더욱 일관성 있고 논리적인 텍스트 생성 가능효율적인 데이터 처리:대규모 데이터셋에서도 계층적 클러스터링과 그래프 순회를 통해 효율적으로 정보를 검색하고 처리복잡한 데이터 간 연결성을 유지하며 정확한 답변 제공추론 능력 강화:정보 간 관계를 기반으로 새로운 결론 도출 가능, 단순 검색 이상의 고차원적 질문 응답 성능 제공유연성과 확장성:다양한 데이터 구조와 관계를 처리할 수 있어 복잡..

Graph RAG의 정의Graph RAG(Graph Retrieval-Augmented Generation)는 기존 RAG(Retrieval-Augmented Generation) 시스템을 확장한 기술로, 데이터를 그래프 기반으로 조직화하여 정보 간의 관계와 맥락을 더 잘 이해하고 활용하는 방식입니다. Graph RAG는 지식 그래프(Knowledge Graph)를 활용하여 문서 간의 연결성을 파악하고, 복잡한 질문에 대한 답변을 생성하는 데 효과적입니다기존 RAG의 한계문맥 이해 부족:기존 RAG는 데이터를 조각(chunks)으로 나누어 처리하기 때문에 전체적인 문맥을 놓칠 수 있습니다복잡한 관계 처리의 어려움:단순히 벡터 유사도 기반 검색에 의존하여, 데이터 간의 복잡한 관계를 파악하는 데 한계가 있..