★(전략) 모니터링 시스템의 트렌드 그리고 빅테크

(전략) 모니터링 시스템의  트렌드 그리고 빅테크

 

모니터링이라는 주제로 두서없이 내용들을 써보았습니다. 모니터링의 개념이 어떻게 변하고 있는지 이러한 일들이 우리의 미래에 어떤 일들을 가능하게 하고 있는지에 대한 검토를 위해 정리한 글입니다.

【모니터링 시스템의 목적】

1) 시스템의 빠른 장애 탐지 : 모니터링의 가장 기본적인  목적은 시스템의 상태를 빠르게 파악하는 것이다. 이때는 사전또는 사후 관리를 위한 지표를 설정하고 빠르게 상태를 감지하는 것이 중요하다. 

2) 서비스의 다운타임의 최소화 : 빠른 장애 탐지를 통해 획득한 다양한 정보와 통계정보를 통해 서비스 복원을 수행하는 것이다. 이때  다양한 데이터 수집과 쉽게 상태 파악이 가능한 Dash Board나 검색 기능이 필요하다.

3) 의사결정에 도움을 주는 것 :  현재 상태에 대한 정보를 쉽게 파악하도록 시각화해 제공하고,  수집된 데이터의 의미를 파악하고 올바른 기준을 설정하도록 하여야 한다. 데이터는 단순한 장애 모니터링 뿐아니라 시스템의 증설이나 성능개선을 전.후를 파악하여 올바른 방향을 수립하도록 해야 한다.

4) 운영 자동화 :  운영 자동화란 장애가 발생했을 때 알림이나 장애 처리를 위한 룰을 적용해서 빠르게 상황에 대처하도록 서비스 복원을 자동화하기 위한 것이다. 특히 클라우드 같은 시스템을 자동 증설이나 축소를 자동화하여 시스템의 성능과 비용을 최적화 한다. 최근에는 인공지능 기술을 활용하여 시스템의  장애나 위협 상황을 사전 감지하는 것도 가능하다.

 

<Nagios Agent>

<실시간 모니터링 체계>

 

【모니터링 시스템의  트렌드】

IT정보 시스템 측면에서 모니터링은 시스템 또는 어플리케이션에 대한 모니터링으로 시스템 및 인프라 운영시 장애나 성능 그리고 트레픽을 파악하기 위해서 익숙하게 사용하는 영역이다.

모니터링은 시스템 운영과 관리를 위한 모니터링 측면의 기술로 인식 될수도 있으나 비즈니스 측면의 모니터링도 중요해졌다. 특히 빅데이터의 기술을 이용한 기업의 전반적으로 비즈니스 혁신에 활용이 이루어 지고 있다는 점이다. ( 고객 마케팅, 온라인 광고, 유동 인구 분석, 고객의 이용 행동분석, 제품의 유통, 스마트 팩토리 , 스마트 물류, 스마트 시티 등)

1) 비즈니스 프로세스 및 플랫폼 관리 측면 자동화와 지능화

 : 공유 경제 및 플랫폼 자동화에 따른 모니터링이 필요한 시장 또는 이것이 중요한 비즈니스를 고려해 보자. 
 - 최근 IOT 및 A.I  기술의 발달로 공장자동화, 시스템의 자동화가 보편화 되었다. 이에 따른 업무 프로세스의 성과 측정이나 대단위 규모의 시스템의 자원 효율성을 관리 하거나,  공유 경제의 활성화에 따른 공유 자원에 대한 관리를 위한 모니터링도 필요하다.
- 공유 경제 측면 :  전동 킥보드 공유 서비스 업체는 고객이 자주 예약하는 지역,  유동 고객이 많은 지역, 사고가 빈번한 지역, 전동 킥보드의 위치 및 상태 관리 등에서 모니터링이 필요하다. 수집된 데이터를 통해서 공유 자원에 대한 효율적인 운영 전략이 나올수 있다.
- IOT 기반의 산업 측면 : 스마트 팩토리의 경우나 자동차 회사는 무선 인터넷의 보급으로 원격지의 장비나 시스템의 상태를 모니터링 가능해 졌다. 특히 해외 또는 지방에 위치한 장비의 상태를 모니터링 하거나, 특정 장비의 장애 발생시 자동으로 알림을 주거나, 점검 주기에 따라 점검을 실행해야 하는 경우 알림을 주거나, 실제 장비에 대한 정비 이후 장비의 상태를 모니터링하여 정비 상태를 평가하는 경우도 예를 들수가 있다. 이와 같이 현대 산업에서도 모니터링은 중요한 기초 기술로 자리를 잡았다. 

2) 고객 관리 측면 (디지털 마케팅) 실시간 개인화

최근 Digital Transformation 측면에서 모니터링은 고객 측면에서는 고객의 페르소나, 행동 여정, 고객의 반응을 실시간 이해하기 위해 활용되는 기술로 주로 빅데이터 및 실시간 성과 측정으로 볼 수가 있다. 비즈니스의 성과 모니터링을 통해서 고객에게 최적의 마케팅을 위해서는 고객의 다양한 데이터를 확보하여 성과 측정과 전략적인 방향을 수립해야 한다.  이런 분야의 핵심으로 디지털 마케팅을 강조하는데 실시간 마케팅과 광고 마케팅을 예로 들 수 있다.

- 실시간 마케팅(Ma-Tech) : Real Time Marketing
- 광고 마케팅 (Ad-Tech)  : 감시경제, 빅테크 기업
* 사용자 이용 분석 (RUM: Real-time User Monitoring)

  구글, 페이스북, 네이버, 카카오와 같은 거대 인터넷 기업의 성장 근간으로 광고를 기반으로 한다.  이러한 기업의 성장은 모바일의 보급과 관련이 깊다. PC를 이용하던 시대보다 고객의 행동은 짧은 사용 시간에도 빈번한 인터넷 접속을 한다는 것이다. 즉 광고의 노출이 예전보다 빈번해 졌다. 그리고 모바일 단말기는 항상 구글 또는 아이폰으로 로그인이 되어 있다.  모바일의 보급으로 고객의 활동정보는 고도화된 기술을 통해서 모든 행동과 관심을 수집 할 수 있는 세상이되었다. 이와 같은 빅테크 기업들은 DMP (Data Management Platform), RTB(실시간 광고 처리)를 통해서 실시간으로 정교한 고객 세그먼트에 대한 타겟팅이 가능해 졌고, 실시간 고객의 반응에 따라 적합한 광고 컨텐츠를 전달할 수 있게 되었다.

예전 처럼 무작위 광고를 고객에게 전달하는 피로한 시장이 아니라 그야 말로 고객을 감시하고 이해하여 개인화된 마케팅 퍼포먼스를 극대화 하는 시대가 되었다는 것이다. 또한 이러한 시장에서 거대 기업은 구글이며  전세계의 인류의 행동 데이터를  장악하고 있다는 점이다. 이러한 배경속에 국가적인 데이터 주권을 보호하기 위해서  2016년 유럽 EU에서는 국가간의 정보 유출 방지를 위한 GDPR (General Data Protection Regulation)같은  법령을 제안 할 정도가 되었다. 

  광고의 효과를 극대화 하기 위해서는 절대적으로 고객의 행동데이터가 확보 되어야 한다. 고객의 연령, 지역, 성향, 활동 시간대, 관심분야 등을 분석하여 고객에 실시간 광고를 제공하고 있다. 
 흔히 우리가 쇼핑몰에서 상품을 검색하면 최근에 본 상품이 다른 인터넷 사이트의 사이드 광고로 보여 지는 것을 경험해 보았을 것이다. 광고라는 것은 인터넷 기반의 마케팅에서 중요한 영역으로 활용 되어 오다가 사람들의 인식에서는 스팸 또는 무의식 적으로 무시하는 상황으로 효과가 미비하다. 그러나 최근에는 단순한 이미지 배너 광고가 아니라 블로그 유튜브, 모바일 앱의 곳곳에서 광고가 고객의 관심을 이끌어 내고 있다. 

고객의 행동과 성향 , 취향 , 관심에 대한 데이터를 실시간으로 수집을 하는 환경에 의해서 빠르게 반응하고 고객과 서비스가 개인화되어 실시간 정보가 교류하는 시대를 모바일 컨텐츠 시장의 핵심적인 트렌드라고 할수 있다. 이러한 빅테크 기반의 기업들은 다양한 정보 수집을 위한 기술을 개발 운영하여, 모바일 기반의 광고와 실시간 개인화 서비스 플랫폼을 바탕으로 성장하고 있다.

모바일 광고가 가장 효과가 좋은 이유는 고객들이 언제 어디서나 그리고 실시간 광고를 타게팅 함으로써 고객이 필요한 시점에 제공할 컨텐츠가 있다는 것이다.  예전의 이메일 또는 SMS같은 것으로 전달된 마케팅 기법 대신 채팅 또는 실시간 고객의  관심을 분석해서 실시간 광고 타겟팅 ( RTB : Real Time Bidding)을 하는 빅테크 기반의 광고 시장이 보편화 되었다. 이런 대표적인 기술 플랫폼이 바로 구글의 Adsense를 기반으로 데이터를 수집하고 노출된 광고에 대한 성과를 측정하는 GA360, 구글 빅쿼리등의 환경으로 볼 수 있다.

 

<고객 여정과 추천>

 

【모니터링 기 술 환경의 발전 】

  * 1세대 : 초기

      방식: .로그 / 데몬 기반 수집
      용도 : 시스템 모니터링, 웹로그분석
      활용: 모니터링 분야별 솔루션 영역이 다름 (SMS, NMS ,웹로그 등 )

      기술: SNMP 표준 
                웹로그분석 : 와이즈로그
                RRD, graph 툴 활용

 * 2~3세대 : 2010년대

    - 방식  Agent 방식
    - 용도  App별 모니터링 전문화
    - 활용: DB, WAS, 네트웍, 마케팅등
                모니터링 기능 중심으로 차별화됨

     - 기술 : agent, plugin을 활용한 데이터 수집
                  nagios,  npre, graphite, etcd, graylog
                  솔루션화: 영역별 기능 조합 확장 가능
                   제니퍼,  엑셈(Maxgage), 

* 3세대 :  빅데이터 / 오픈소스 기술  접목 

         다양한 데이터 수집 프레임웍 활용
         빅데이터 척와, 플룸, Scribe등
         데이터 수집과 처리에 빅데이터 도입됨

         - splunk, fluentd, logstash(현존) : 간편함,기술난이도가 낮음
         - chuckwa, scribe, flume (사라짐) : 복잡함, 난이도가 높음

* 4세대 : IOT 기술 접목  +  시각화 기술

     - 방식 : 플랫폼화 , 클라우드 지원으로 분산 엣지 가능
                  오픈소스기반 플러그인 확장성 지원
                  시각화 솔루션과 제품 결합 
     - 용도 : 컴퓨팅에서 IOT결합 센서데이터
                 Factory자동화, smart city , 물류등
     -  다양한 프로토콜 지원  (MQTT, http2, gRPC, socket등)
        클라우드지원(와탭), 프로메테우스 + Grafana,  graylog
        ELK(Logstash+Elasticsearch + Kibana),  EFK ( Fluentd + Elasticsearch + Kibana)

 - 비즈니스에 활용되는 영역 또는 자동화 연계
 - 수집과 분석 시각화 까지 풀셋 필요
 - 복잡한 서비스 환경분석을 위한 메타표준화 (복잡한 시스템 구성 및 연계 파악)
    다양한 메타 지원(국제 표준 확장)
-  트렌젝션단위 로깅과 수집 (transactionID)

* 5세대 :  실시간 기술 + 인공지능 화 (엣지 컴퓨팅)

      -  지능형 분석기술 적용으로
      - 비즈니스 프로세스 최적화와 지능화에 활용 (옴니채널, 리스크관리, 지능화 서비스)
    - IOT를 이용한 실시간 상황 감시/인식  (화상, 이미지를 통한 인지)
      - 활용 분야:
      * 실시간, 데이터기반 비즈니스 확장
      *  실시간 CRM기술, 지능화 APT 보안, 기업의 Fraud 탐지 기술에 활용
      * 고객 행동 분석과 실시간 추천을 위한 온.오프라인 기술 융합 비즈니스 환경구축 

[★중요 시사점]
 - 사물인터넷기반 새로운 비즈니스 적용 시장
      * 공장 자동화, 물류트레킹, 친환경 감시
- 정책기조 부응 필요
         * 헬스테크, 교육, 데이터댐, 마이데이터 등
- 마케팅 플랫폼과 자동화 시장
* Ad- Tech, Ma-Tech, CRM, omni channel

【분야별 기술 특성 전략 】

  - 특정 분야에 대한 기술 특화와  완성도가 필요하다.
     단순한 모니터링에서 마케팅이나 자동화 기술로 발전되고 있다.

  - 단순 기능에서 지능화된 비즈니스 제공까지 고려해야 한다.
     인공지능과 결합은 필수가 되고 있다. 

  ★ IOT기반 센스 및 고객 행동 수집을 위한 통합된   비즈니스 가치 생산에 주력으로 신산업을 창출한다.
      - T-Map의 운전습관, 현대 자동차의 자동차 관리 서비스, 운동 앱을 통한 건강관리, 지도와 위치정보를 활용한 운동/등산 가이드
     - 고객의 이동 경로를 분석한 고객 마케팅, 유동 인구를 통한 상권 분석, 부동산 분석 등 

 

  ★ 인공지능.자동화/자율성를 위한 기술 전략 파트너십 필요
  - 인공지능의 기술로 기능을 독자적으로 구축하는데는 한계성이 있다. 
    (인공지능의 분야와 기술적인 특성은 데이터의 품질에 따라 분석 방법과 기술 전략이 다양하다. 독자적인 모형개발도 중요하지만 데이터 수집의 품질을 담당하는 영역과 데이터의 전략과 분석을 담당하는 기술 영역에 대한 협력이 중요하다.)

 

1. 데이터 수집

    1)수집 방식에따른 장단점을  고려해야 한다.
       - SDK 방식 :  다양한 종류의 데이터 수집이 가능 > SDK 변경과 업그레이드 어려움
      -  Agent       : 다양한 플랫폼 지원                          > Agent의 관리가 어려움 
      -  서버 로그 : 다양한 App 로그 통합 수집 가능  > 로그 데이터 확장과 다양성 지원이 어려움

    ★ 가볍고 빠른 적용 / 간편 적용 가능한 방식을 선정해야 한다.
       - 데이터 표준화가 중요( ISO std.)하고 이를 통해 이식성과 확장성이 좋아진다.
       - 독보적인 기술보다 보편 기술이 확장용이 해야  시장 확산이 쉽다.

2. 데이터 전송

   ★ 복잡한 네트웍 환경 고려해야 한다. 
      - 멀티클라우드, 망분리 고려(♥)해야 한다. 
         (특히 개인정보 보호측면 데이터의 암호화 및 데이터 수집의 경로에 대한 제약을 고려해야 한다. )
     - 전송 프로토콜 다양화 수용 (?) : HTTP, gRPC, Socket 등 다양한 기술에 대한 방식중 핵심을 선정
     - 모든 기능 제공 vs 통합 시스템 (?) :  경쟁력을 위해서는 반드시 다양한 기능보다 특화된 부분이 존재해야 한다.


 ( 수집/전송/저장)의 모든 기능을  필요로 하지 않는다. 각 단위별 완결성이 필요하다. 타시스템과의 이식과 호환성을 높이기 위해  인터페이스를 통해  단위 기술간의 결합으로  확장하도록 구현해야 한다.
   ★ 기존 빅데이터 기술 연계하여 대량의 처리를 고려한다.
     - 빠른 데이터 연계  구축 및 호환성 (♥)  필수
     - 기존환경에서 데이터 활용 이식 제공(♥) 필수
     - 데이터 실시간처리 병렬 적재 / 멀티 전송 : 데이터 파이프라인과 같이 실시간 데이터 처리 기술이 필요하다.

3. 데이터 저장

 다양한 데이터 수집과 저장은 성능과 서비스 확장에서 중요한 영역이다.

  - 적정한 기능 구현과 구성의 수준을 정하여 시스템의 확장을 지원 해야 한다.
     : 기능 단위 독립적 구성으로  쉽게 설치하고 운영이가 가능해야 한다.
    :  기존 인프라 이식 용이성을 제공 해야 한다.
  - 대단위 규모 지원 을 위해서는 다양한 솔루션과의 결합과 연결이 가능해야 한다.
     : ELK fluentd 같이 기존 솔루션간의 결합은
        독립성과 간편성 역할 분담하여  제품의 완성도와 유연성과 보편화를 달성한 사례이다.
     : 빅테크의 다양한 영역간 호환과 확장을 고려하여 집약적인 기술의 완성도와 신뢰도 구축이 필요하다.
     : 다양한 분야 확장을 고려하여  대중적인 기술과 결합 확장이 필요하다.

 

4. 데이터 실시간 분석 과 서비스활용

데이터의 저장이후 실제 데이터의 활용으로 간편한 시각화나 비즈니스에 필요한 분석 환경이 필요하다. 

  - 시각화의 기능을 구현 하는데는 실제 서비스의 목적에 맞는 커스텀 UX를 제공하는 것이다.  간단한 시각화의 영역은 외부의 오픈소스를 통한 DatshBoard 구현도 가능하다. 다만 특화된 기능과 차별성을 위해 독자적인 UX를 제시하는 회사들도 많다.

- 서비스의 활용을 위해서는 반드시 데이터의 전략과 활용 목적이 명확한 데이터의 정립과 표준화가 필요하다.그리고 데이터 분석을 위한 지표를 통해서 머신러닝 또는 분석을 통해 다양한 서비스와 API 를 통한 고객분석, 초개인화 등으로 확장이 가능하다. 

- 실시간으로 데이터를 처리하고 서비스로 연결하는 것이 최근의 데이터 활용 측면의 관점이라면 기존 정보시스템을 통해 누적된  대량의 데이터 처리와는 또다른 관점의 데이터 레이어가 필요한 점이다.  이력 데이터 위주의 과거 데이터를 분석 하는 것이 아니나 실시간의 고객의 반응과 니즈를 파악하고 그에 맞는 컨텐츠를 제공하는 점에서 실시간 데이터 처리가 요구 되고 있다.

 

<데이터기반 비즈니스 활용>

<신소비시대 라이프스타일>

 

[ ※기술 전략 선정시 고려 사항 ]

1) 모든 기능을 통합한 솔루션은 필요없음 기존 또는 오픈소스와 결합과 확장이 중요함. --> 빠른 시장 대응 전략
2) 복잡한 기능보다 단순화된 창의적  차별화 -> 기술자들의 대중적 활용을 이끌어 낼수 있는 보편 기술 채용으로  확대 전략
3) 모듈화 보다 독립적 기능 이식성이 중요     -> 자발적 기술 참여를 유도한 오픈소스  전략
4) 시장 환경의 차별성과 트렌트 주도    -> 기술 경쟁력 조기 확보 전략

★전략1 : 보편화된  스탠다드기술의 확장이 승자가됨  (오픈소스 활용과 기술 협력)
★전략2 : 시스템을 벗어나 비즈니스 영역 확대 필요 (Ma-Tech, Ad-Tech, digital marketing, Process Automation)
★전략3 : 특화와 집중할 분야 선정 (수집, 전송,저장, 분석,알림,응용,자동화,지능화 등) 하여 결합해야 할 기술(솔루션)을 선정

 

(2017년) 4차 산업혁명(Industry 4.0)이 선언 되었다. 정보통신기술(ICT)을 비롯한 인공지능(AI), 로봇, 사물인터넷(IoT) 등이 다양한 산업들과 결합하며 지금까지는 볼 수 없던 새로운 형태의 제품과 서비스, 비즈니스를 만들어내고 있다. 4차 산업혁명의 주된 특징 중 하나는 ‘초연결(Hyper Connectivity)’이다.

 

[참고]

www.mobiinside.co.kr/2020/06/08/groobee-top10/

[그루비의 AI 개인화 마테크 이야기] 2020년 주목해야 할 마케팅 트렌드 TOP 10 - 모비인사이드 MOBIINS

www.genesys.com/ko-kr/company/newsroom/announcements/genesys-ai-unlocks-hyper-personalized-engagement

제네시스, ‘제네시스 AI’ 통해 더욱 향상되고 신속한‘초개인화 고객 인게이지먼트’ 제공

ycws.tistory.com/61

취향 권해주는 사회 (초개인화 사회에서 개인의 취향은 중요한 빅데이터)

www.epnc.co.kr/news/articleView.html?idxno=93544

데이터와 인공지능에 의한 초(超) 개인화 시대 - 테크월드뉴스

(4차산업혁명과 초연결사회)assets.kpmg/content/dam/kpmg/kr/pdf/kr-issue-monitor-68.pdf

[참고 자료] 10년전 쓴 글 포함하여 정리해 보았습니다.

blog.naver.com/couplewith/60008226232

전사적관리시스템(EMS)

blog.naver.com/couplewith/60008232242

NMS 분류

blog.naver.com/couplewith/60008225799

NMS and SMS 그리고 EMS

blog.naver.com/couplewith/70140590420

ITIL 기반 IT 경영을 위한 EMS활용 전략

logz.io/blog/prometheus-vs-nagios-metrics/

Prometheus vs Nagios | Logz.io

stackshare.io/stackups/grafana-vs-nagios-vs-prometheus

Grafana vs Nagios vs Prometheus | What are the differences?

www.kdata.or.kr/info/info_04_view.html?field=&keyword=&type=techreport&page=31&dbnum=178191&mode=detail&type=techreport

데이터 기술 동향 < 정보마당 - 한국데이터산업진흥원

www.nagios.org/

Nagios - The Industry Standard In IT Infrastructure Monitoring

www.sumologic.com/lp/logs/?utm_source=google&utm_medium=ppc&utm_campaign=APAC_Search_Log_Management_Broad&utm_adgroup=Log_Aggregation&utm_term=%2Blog%20%2Baggregation&gclid=Cj0KCQiAtqL-BRC0ARIsAF4K3WEhkvzIlNkyrUi7oNxDM9x_rCbX0qhMfIj1JlHmzQ1sNU2ae2yvZPcaAq1sEALw_wcB

Find answers hidden in your data | Sumo Logic

www.tek-tools.com/apm/best-log-aggregator-tools

Top 7 Best Log Aggregator and Management Tools in 2020