AgileBus - IT 기술자를 위한 최신 기술 Trends

인공지능GPT - LLM, sLLM, 그리고 SLM의 특징 비교

LLM (Large Language Model) , sLLM (specialized/small LLM) , 그리고 SLM (Small Language Model) 비교LLM, sLLM, 그리고 SLM은 각각 언어 모델의 크기와 목적에 따라 설계된 자연어 처리 기술입니다. LLM (Large Language Model)특징:대규모 텍스트 데이터를 기반으로 학습된 모델로, 수십억~수천억 개의 파라미터를 포함합니다.다양한 분야와 주제를 처리할 수 있는 범용성을 가지고 있습니다.클라우드 기반 서비스로 제공되며, API 호출 방식으로 사용됩니다.대표 사례: GPT-4 (OpenAI), Gemini (Google), Claude (Anthropic), LLaMA 2 (Meta).장점: 방대한 지식과 추론 능력.단점..

10가지 유용한Text 데이터 분석 라이브러리

#Gensim #spaCy #NLTK #TextBlob #PyCaret #Word2Vec #Doc2Vec10가지 유용한Text 데이터 분석 라이브러리 데이터 분석을 위한 기술로 텍스트 분석 및 자연어 처리 도구들과 기법들을 설명하고 비교해봅니다.1. Gensim목적: 토픽 모델링, 문서와 단어 임베딩, 그리고 자연어 처리(NLP)를 위한 Python 라이브러리.주요 기능:LDA, Word2Vec, Doc2Vec, FastText와 같은 알고리즘 지원.대규모 텍스트 데이터를 효과적으로 처리.특징:간단한 사용법과 확장성이 뛰어남.텍스트 클러스터링 및 토픽 모델링에 강점.https://linkniti1.com/2. spaCy목적: 고성능의 자연어 처리(NLP)를 제공하는 Python 라이브러리.주요 기능:토큰..

핀크로또 에서 낙첨 복권 재 추첨에 2천만원 도전

핀크로또 에서  낙첨 복권 재 추첨에 2천만원 도전핀테크 생활 금융 앱 핀크(Finnq)앱에 "핀또 복권" 재추첨 시 2천만원 상금이 있답니다.아래 링크로 가입시 선물을 지급 합니다로또 등록하고 재추첨  대박 나시길 바랍니다.사용 방법1. 아래 링크로 회원 가입을 합니다.2. 동행복권 로또를 구매하고 핀크앱 등록 합니다.      QR로 간편하게 등록 됩니다.3. 해당 회차는 다음주 에 핀크에서 재추첨 합니다.🍀친구와 공유하고 100원씩 나눠받아요.실제 로또 당첨번호와 같으면 👍 2천만원 당첨!https://pop.finnq.com/event/fintto/fintto_share.html?eventId=FINTTO_001&inviVal=zyQwKzsCr0 핀또복권로또 용지 등록하고 재당첨 도전!pop...

경영학 및 의사결정 이론 - 탐색(Exploration)과 활용(Exploitation)

활용 (Exploitation) 은 우리가 알고 있는 것에서 이익을 취하는 과정이고 ,탐색 (Exploration) 은 우리가 알지 못하는 것에 대한 지식을 얻는 것입니다.탐색(Exploration)과 활용(Exploitation)은 경영학 및 의사결정 이론에서 중요한 개념으로, 조직과 개인이 자원을 어떻게 할당하고 선택을 최적화하는지 설명하는 데 사용됩니다. 이 두 개념은 서로 상충되며 균형을 맞추는 것이 핵심입니다.탐색(Exploration) : 정보를 수집하면서 선택, **새로운 것을 발견하려는 노력 기존의 틀을 벗어나 새롭게 배울 수 있는 영역활용(Exploitation): 충분한 정보를 수집하여 결정 , 안정성과 효율성을 강조하는 반면, 혁신과 도전은 덜 포함**아래에서 각각의 정의와 특징, ..

Gram이란 N-gram과 skip-gram

N-gram과 skip-gram은 자연어 처리(NLP)에서 텍스트 데이터를 분석하거나 학습할 때 사용하는 대표적인 방법입니다. N-gram정의: N-gram은 텍스트를 연속된 N개의 단위로 분할하여 분석하는 기법입니다. 여기서 N은 1, 2, 3 등 원하는 크기를 나타냅니다.Unigram: 단일 단어로 분할 (N=1)Bigram: 두 단어씩 묶음 (N=2)Trigram: 세 단어씩 묶음 (N=3)작동 방식:주어진 텍스트를 입력받습니다.텍스트를 N개의 연속된 단어, 글자 등의 단위로 나눕니다.각 N-gram의 빈도나 확률 분포를 계산하여 분석에 활용합니다.주요 활용:문장 유사도 비교언어 모델링텍스트 분류 및 감정 분석예시:"I love AI"라는 문장이 있을 때:Unigram: ["I", "love", "..

인공지능 기술 요소 및 서비스 동향 정리인공지능 기술은 다양한 형태의 데이터를 처리하고 분석하는 데 사용되며, 각 데이터 유형에 특화된 기술 요소들이 존재합니다.인공지능 기술은 GPT가 나오기전과 나오고 난 이후 시장은 급속한 변화가 일어나고 있습니다.기존의 TEXT, DATA를 중심으로 예측하고 분류하고 분석하는 기술에서 비정형 이미지, 동영상을 생성하거나, 사람과의 대화, 지식의 검색증강 등을 통해 사람과의 상호작용이 증가하는 추세로 보여 집니다.앞으로 인공지능은 사람의 지능을 증강하고 역량을 강화하는 도구로서 지식을 수준으로 역량을 측정하는 시대는 사라질 지도 모릅니다. 오히려 사람의 본성과 인간미 넘치는 판단이 더 중요한 사회가 되기를 바랍니다.최근 인공지능 CEO, 인공지능 면접관 등 사람을 평..

Linux에서 syslog를 효과적으로 구성하는 방법을 한글로 정리해 보았습니다:1. 서비스별 로그 파일 분리특정 서비스나 애플리케이션 로그를 별도 로그 파일로 분리하여 관리합니다. 이렇게 하면 /var/log/syslog가 과도하게 복잡해지는 것을 방지할 수 있습니다.예: if $programname == 'apache2' then /var/log/apache2.log& stop 로그 로테이션 설정logrotate를 이용해 오래된 로그 파일을 압축하거나 삭제하여 디스크 용량 부족 문제를 방지합니다. /etc/logrotate.conf 또는 /etc/logrotate.d/ 파일에 정책을 추가합니다.예: /var/log/syslog { daily rotate 7 compress ..

리눅스 커널 파라미터 튜닝 할 때 많이 사용하는 설정  리눅스 커널은 ?리눅스 커널(Linux Kernel)은 운영체제의 핵심 부분으로, 하드웨어와 소프트웨어 간의 중개 역할을 수행합니다. 간단히 말해, 컴퓨터 자원을 효율적으로 관리하며 사용자가 원하는 작업을 수행할 수 있도록 지원합니다. 최근 클라우드 환경이 보편화 되면서 리눅서 커널 파라미터를 튜닝해야 할 일은 거의 없을 수 있습니다.다만 이러한 파라미터는 단순히 OS 튜밍 뿐아니라 Network 프로그램의 성능을 높이고 시스템 자원을 효율화 하는데 중요한 파라미터 들입니다. 리눅스 커널은 하드웨어 를 컨트롤 하는 메모리, 파일시스템, 네트워크등 다양한 입출력 인터페이스와 연계하여 사용자의 명령을 처리하는 역할을 하고 있습니다.아래와 같이 다양한 물..

(경영전략.사업전략) 기업의 가치 창출 전략 이론들  (1) 마이클 포터의 경쟁전략 (Five-Forces, 5-Forces) (2) 마이클 포터의 가치사슬 분석(Value Chain Analysis) (3) 자원 기반 관점 (Resource-Based View, RBV) 역량 확보 전략 (4) 헨리 체스브로(Henry Chesbrough) 개방형 혁신(Open Innovation) 이론 (5) 블루 오션 전략 (Blue Ocean Strategy) (5) 서비스 전략 분석 도구 비교(SWOT 위상 분포 동태)  기업이 성장하고 생존하기 위해서는 조직의 문화와 더불어 기업 특성에 맞는 전략들이 필요합니다.다양한 기업들이 사용하는 전략들에 대하여 살펴 봅니다.   서비스 전략 분석 도구들..

#Graph RAG가 기존 RAG 모델보다 더 정확한 이유는Graph RAG가 기존 RAG 모델보다 더 정확한 이유  1. RAG와 Graph RAG 데이터 구조의 차이기존 RAG는 주로 벡터 임베딩(Vector Embedding)을 사용하여 정보를 검색합니다. 이는 문서나 데이터를 고차원 벡터로 변환한 뒤, 사용자의 질문도 벡터화하여 벡터 공간에서 가장 유사한 항목을 검색하는 방식입니다.Graph RAG는 그래프 데이터 구조를 활용합니다. 그래프는 노드와 엣지로 구성되며, 데이터 간의 관계를 명시적으로 표현할 수 있습니다. 이를 통해 데이터 간의 연결성과 맥락을 더 잘 이해할 수 있습니다.  2. 검색 정확도벡터 기반 RAG 검색은 데이터의 유사도를 계산하는 데 효과적이지만, 문맥이나 관계를 충분히 반..

기술 역량 프레임워크 - 스킬 피라미드(Skill Pyramid): 기술의 가치를 이해하고 끊임 없이 미래를 준비하는 방법   끊임없이 새로운 기술을 배울 수 있는 능력은 오늘날의 세계에서 성공의 중요한 요소입니다.   컨설팅회사 딜로이트에 따르면 MZ세대는 생성형 AI를 즐겨 사용하면서도, 생성형 AI가 주도하는 자동화로 일자리가 없어지고 취업이 어려워질 것이라 우려하고 있음 오늘날 기술은 AI와 같은 지식 기술의 변화가 급격하게 성장하면서 기술의 변화는 점점 짧아지고 있다. 기술 변화의 속도에 따라 기술의 상대적 가치와 중요도도 변화하고 있습니다. 이 과정에서 스킬 피라미드(Skill Pyramid)는 이러한 기술 변천 과정을 체계적으로 설명하는 프레임워크로, 개인과 조직이 역량을 이해하고 개발하는 ..

GraphRAG(그래프 기반 검색-증강 생성) 파이프라인을 구축하는 방법 아래는 GraphRAG(그래프 기반 검색-증강 생성) 파이프라인 구축 방법을 구체적으로 실행 가능하도록 정리한 내용입니다. 각 단계별로 필요한 코드를 포함하여 설명합니다.1. 환경 설정먼저, Python 환경을 설정하고 필요한 라이브러리를 설치합니다.Python(3.7 이상)과 pip 설치.가상 환경 생성:python -m venv myenv source myenv/bin/activate # Windows: myenv\Scripts\activate필요한 라이브러리 설치:pip install llama-index graspologic numpy scipy neo4j-graphrag 가상 환경 생성 및 활성화python -m venv ..

Graph RAG의 주요 특징지식 그래프 활용:텍스트에서 엔티티와 관계를 추출하여 지식 그래프를 생성하고 이를 기반으로 정보를 검색 및 생성.노드(개체)와 엣지(관계)를 통해 데이터 간의 복잡한 연결성을 명확히 표현정보 간 관계 이해:검색된 정보들 간의 관계를 그래프 구조로 모델링하여 맥락과 상호작용을 더 깊이 이해이를 통해 더욱 일관성 있고 논리적인 텍스트 생성 가능효율적인 데이터 처리:대규모 데이터셋에서도 계층적 클러스터링과 그래프 순회를 통해 효율적으로 정보를 검색하고 처리복잡한 데이터 간 연결성을 유지하며 정확한 답변 제공추론 능력 강화:정보 간 관계를 기반으로 새로운 결론 도출 가능, 단순 검색 이상의 고차원적 질문 응답 성능 제공유연성과 확장성:다양한 데이터 구조와 관계를 처리할 수 있어 복잡..

Graph RAG의 정의Graph RAG(Graph Retrieval-Augmented Generation)는 기존 RAG(Retrieval-Augmented Generation) 시스템을 확장한 기술로, 데이터를 그래프 기반으로 조직화하여 정보 간의 관계와 맥락을 더 잘 이해하고 활용하는 방식입니다. Graph RAG는 지식 그래프(Knowledge Graph)를 활용하여 문서 간의 연결성을 파악하고, 복잡한 질문에 대한 답변을 생성하는 데 효과적입니다기존 RAG의 한계문맥 이해 부족:기존 RAG는 데이터를 조각(chunks)으로 나누어 처리하기 때문에 전체적인 문맥을 놓칠 수 있습니다복잡한 관계 처리의 어려움:단순히 벡터 유사도 기반 검색에 의존하여, 데이터 간의 복잡한 관계를 파악하는 데 한계가 있..

(좋은글) 봄날에 어울리는 명언 봄바람이 옷깃으로 불어오는 연휴를 보내고 봄날에 어울리는 사자성어를 통해 새로운 시작을 준비해 봅니다.내일 부터 연휴를 마침과 동시에 대학원 개강이라 주경야독 바쁜 봄날이 될 듯합니다.계속해서 논문도 찾고 두꺼운 교재를 읽어 보는데, 마음은 책의 무게만큼 무거워 집니다.봄날과 함께 새로운 출발을 위한 사자성어를 정리해 봅니다.  봄 날의 사자성어1. **춘풍화우(春風化雨)**: 봄바람과 단비처럼 따뜻하고 자애로운 교화를 의미합니다. 2. **화조월석(花朝月夕)**: 꽃이 피는 아침과 달이 뜨는 저녁, 즉 아름다운 자연 경치를 의미합니다. 3. **춘란추국(春蘭秋菊)**: 봄의 난초와 가을의 국화처럼 각기 다른 아름다움을 의미합니다.봄에 ..

2024년 모바일 앱 순위 총결산 리포트 2024년 한국인이 가장 많이 사용한 앱은 카카오톡, 유튜브, 네이버, 쿠팡, 네이버지도/내비, 인스타그램 순 2024년 상반기 대한민국 모바일 앱 순위는 유튜브, 카카오톡, 네이버가 상위권을 차지하고 있으며, 엔터테인먼트와 개인방송 분야에서 새로운 앱들이 급성장하고 있습니다. 인기 급상승 앱으로는 테무, 쿠팡이츠, 알리익스프레스 등이 있습니다. 2024년 모바일 앱 순위2024년 하반기 앱 상위 10위권 앱은 유튜브(YouTube), 카카오톡, 네이버, Chrome 브라우저, Google, 쿠팡, 네이버지도, 삼성인터넷 브라우저, Instagram, 배달의민족 순으로 나타났다.최근 생성형 AI의 발전으로  ChatGPT, 에이닷, 뤼튼, 제타, Perplexit..

[Programming] - 개발 생산성을 높혀주는 AI 코딩 어시스턴트 Best 10[Programming] - AI 코딩 어시스턴트에 필요한 데이터 보호 정책 안전한 코딩을 위한 AI 어시스턴트 데이터 보호 방안   AI 코딩 어시스턴트의 정의AI 코딩 어시스턴트는 인공지능을 활용하여 소프트웨어 개발자와 프로그래머에게 코드 작성, 디버깅, 최적화 등의 과정을 지원하는 도구입니다. 이 도구는 자연어 처리(NLP)와 머신러닝 기술을 활용하여 사용자의 입력을 이해하고, 적절한 코드 조각을 제안하거나 자동으로 생성하는 기능을 제공합니다.AI 코딩 어시스턴트는 개발자와 협업하여 코드 작성과 실시간 검증을 통해 개발자의 경험을 향상시키고, 반복적인 오류 검증을 줄여 개발 생산성과 품질을 높일 수 있습니다.대표적..

[Programming] - 개발 생산성을 높혀주는 AI 코딩 어시스턴트 Best 10[Programming] - AI 코딩 어시스턴트에 필요한 데이터 보호 정책 개발자들을 위한 AI 코딩 어시스턴트 추천 Best 10 최근 AI를 이용한 산업 다방면의 현경이 변화 되고 있습니다. 개발 환경에서도 AI를 통해 개발 생산성과 품질을 제공하는 AI코딩 어시스턴트 도구를 활용 하고 있습니다.AI코딩 어시스턴트의 종류와 특징에 대하여 알아 봅니다.AI 코딩 어시스턴트의 정의AI 코딩 어시스턴트는 인공지능을 활용하여 소프트웨어 개발자와 프로그래머에게 코드 작성, 디버깅, 최적화 등의 과정을 지원하는 도구입니다. 이 도구는 자연어 처리(NLP)와 머신러닝 기술을 활용하여 사용자의 입력을 이해하고, 적절한 코드 조각..

묵묵히 겨울을 이겨내고 봄을 기다린다. 冬過春來 -(동과춘래)"겨울을 이겨내고 봄이 온다"는 뜻으로, 어려운 시기를 지나고 나면 밝은 날이 올 것이라는 희망을 전해줍니다.지난 주말까지 영하의 날씨에 바람도 많이 불었는데  오늘은 바람속에 봄기운이 살짝 물들어 가는듯 합니다.벌써 2025년 2월이 지나고 3월의 봄이 오고 있나봅니다."겨울을 이겨내고 봄을 맞이하는" 과정에서 늘 즐겁고 따뜻함이 함께 하기를 기원하며 관련된 사자성어로 마음을 북도우어 봅니다. 1. 사자성어고진감래 (苦盡甘來): 고생 끝에 낙이 온다는 뜻으로, 어려운 시기를 잘 견디면 반드시 좋은 결과가 온다는 의미입니다.난관극복 (難關克服): 어려운 상황을 극복한다는 뜻으로, 어떠한 난관도 끈기와 인내로 극복할 수 있다는 믿음을 전합니다.유..

"冬過春來"묵묵히 겨울을 이겨내시고새해 복 많이 받으세요 동거춘래(冬去春來/冬過春來) 지난해 일들은 잊고 새로운 봄을 맞이하는 겨울의 시간되시길 바랍니다. 변산반도에 연말 휴가차 내소사를 방문 했습니다.며칠전 내린 눈 들이 곳곳에 쌓여 있고 산사의 지붕에 쌓인 하얀 눈들이 처마 아래로 톡톡 툭툭 탁탁 녹아 내립니다.조용한 자연 속에서 묵묵히 서 있는 고목과 동백꽃 나무의 겨울 눈망울은 지난 세월동안 겨울을 이겨내고 봄 꽃을 선사 합니다.내소사 대웅전 아미타불에 좋은 한 해를 기원 합니다.꽃망울은 묵묵히 겨울을 이겨내고 봄을 기다린다. 내소사 일주문을 지나면 전나무 숲길이 이어 집니다.강원도 월정사 만큼 빼곡한 전나무 숲길은 아니지만 소박한 나무의 향기를 느낄수 있습니다.내소사의 고목들 만큼 오래된 사찰..