AgileBus - IT 기술자를 위한 최신 기술 Trends

[SQLite 사용법] date형식 timestamp를 이용하여 날짜표현하기 SQLite 사용법 관련 목차 1. [SQLite]-sqlite 소개 -Serverless-Database 2. [SQLite]-SQLite_관리-Commands 3. [SQLite] sqlite 테이블 생성 - create table 4. [SQLite] Sqlite transaction - ACID개념 5. [SQLite] [SQLite] Sqlite transaction 처리문 작성 - BEGIN TRANSACTION 6.[SQLite] date형식 timestamp를 이용하여 날짜 표현하기 7.[SQLite] SQLite 윈도우-리눅스 설치하기 * Sqlite3-timestamp를-이용하여-date-표현하기 [SQLite..

Graph DB 와 RDBMS 트랜드 1부- DBMS의 역사와 이론들 [Graph DB 와 RDBMS 트랜드] 1부- DBMS의 역사와 이론들 2부- 그래프 데이터베이스의 개념 3부- 그래프 데이터베이스의 종류와 활용 지난 20년간 우리는 데이터베이스라고 하면 RDBMS 라는 것으로 생각해 왔다. 필자 역시 20년 부터 오라클,Mysql 등을 공부하면서 웹개발 부터 다양한 시스템 플랫폼을 구축해왔다. 아키텍처라고 하면 개발부터 시스템 전반적인 부분에 대한 인지가 필요하듯 이번에 GraphDB에 대한 관심을 가져 보았다. Graph DB를 논하기 전에 데이터 부터 DBMS에 이르는 Historic한 이야기가 필요하다. DBMS의 역사 데이터 베이스에 대한 기술을 정리하려면 COBOL( COmmon Busi..

#Zookeeper #firewalld 1. Zookeeper 1) 주키퍼 설치하기 wget http://mirror.apache-kr.org/zookeeper/stable/apache-zookeeper-3.5.7.tar.gz wget http://mirror.apache-kr.org/zookeeper/stable/apache-zookeeper-3.5.7-bin.tar.gz 2) 설치할 디렉토리에 tar 압축을 해제한다. tar zvzf apache-zookeeper-3.5.7-bin.tar.gz ln -s apache-zookeeper-3.5.7-binzookeeper 3) zookeeper.conf 작성 아래와 같이 zookeeper/conf/zoo.cfg 를 만든다 tickTime=2000 init..

Anaconda 기초 파이썬 개발 플랫폼 Anaconda 는 pip가 파이썬 패키지를 설치하고 관리하는 패키지 관리자라면 아나콘다는 Python ,R 기반 데이터 분석을 위해 다양한 라이브러리를 쉽게 쓸수 있도록 패키지 관리와 가상환경을 제공하는 패키지 관리 플랫폼이다. Anaconda는 Scipy, Numpy, Pandas 및 모든 종속성을 포함하는 바이너리 세트를 제공한다. [파이썬의 특징 과 변화] - 파이썬의 특징은 스크립트 언어이지만 오픈소스로 상당히 빠른 버전업이 되고 있다. 필자가 2000년경 썼던 파이썬은 웹 CGI(Common gateway interface) 서버나 메일 발송 서버 같은 데몬서비스 개발로 많이 썼던 때가 있었다. 특히 리눅스 설치 GUI나 redhat-update 같은 ..

hadoop 3.0 설치되는 시스템 정리 HDFS3.1.1Apache Hadoop 분산 파일 시스템서비스번역기술YARN + MapReduce23.1.1Apache Hadoop NextGen MapReduce (YARN)Tez0.9.1Tez은 YARN 위에 작성된 차세대 Hadoop 쿼리 처리 프레임 워크입니다.하이브3.1.0대형 데이터 세트 및 테이블 및 스토리지 관리 서비스에 대한 임시 쿼리 및 분석을위한 데이터웨어 하우스 시스템HBase2.0.0구성 관리 및 동기화를위한 비 관계형 분산 데이터베이스 및 중앙 집중식 서비스돼지0.16.0대형 데이터 세트를 분석하기위한 스크립팅 플랫폼Sqoop1.4.7Apache Hadoop과 관계형 데이터베이스와 같은 구조화 된 데이터 저장소간에 대량 데이터를 전송하는..

Process Unbounded and Bounded DataAny kind of data is produced as a stream of events. Credit card transactions, sensor measurements, machine logs, or user interactions on a website or mobile application, all of these data are generated as a stream.Apache Flink는 무한하고 한정된 데이터 스트림을 통한 상태 저장 계산을위한 프레임 워크 및 분산 처리 엔진입니다 . Flink는 모든 일반적인 클러스터 환경 에서 실행되도록 설계되었으며 메모리 속도 와 규모 에 관계없이 계산을 수행 합니다 . Flink는 Ha..

빅 데이터 애플리케이션을위한 NoSQL 데이터베이스의 효과적인 크기 조정 Rajini 라잔 | 11/01/2017http://www.thedatateam.in/perspective/post/index.html?postId=34 구조화되지 않은 데이터의 확산으로 인해 대규모의 다양한 데이터 세트를 수집 및 처리하는 것이 조직의 실제 과제였습니다. 조직은 종종 조직 프로세스, 시스템 및 고객으로부터 비정형 데이터를 관리 할 때 NoSQL 데이터베이스를 설정하고 크기를 조정해야하는 어려움을 겪습니다. 크기 조정은 조직에서 직면 한 광범위한 데이터 문제에 대한 핵심 과제입니다. 데이터 엔지니어 및 IT 관리자는 데이터에 대한 올바른 하드웨어 계획에 어떻게 도달 할 수 있습니까? 거대한 데이터 세트 및 현대적인 ..

Mariadb Install (2) - 설치 & 환경설정 installation 1. Configure System Environment 2. MariaDB Galera Cluster installation 3. Install MariaDB Galera Cluster 4. POST Installation Configuration 5. DataBase System Configuration 6. configure DataBase Server 7. configure Swap space 8. REPLICATION CONFIGURATION 9. wsrep CLUSTER ADDRESS 10. Starting The First Cluster Node 11. Adding Second and additional node..

Mariadb Install (1) - package download 가. Mariadb Download 할 패키지 목록 - MariaDB Download URL : "http://ftp.kaist.ac.kr/mariadb//mariadb-10.2.9/yum/centos7-amd64/rpms" - mariadb Package List # MariaDB-10.2.9-centos7-x86_64-aws-key-management.rpm # MariaDB-10.2.9-centos7-x86_64-backup.rpm # MariaDB-10.2.9-centos7-x86_64-client.rpm # MariaDB-10.2.9-centos7-x86_64-common.rpm # MariaDB-10.2.9-centos7-x..

MYSQL 계정 생성, 권한부여, 권한 삭제 1.사용자계정 생성 mysql> create user 'userid'@'%' IDENTIFIED BY 'userpasswd'; 2.사용자에게 모든 것을 할 수 있는 권한 주기 mysql> grant all privileges on *.* to 'userid'@'%'; 3.사용자에게 특정DB에 대한 권한 주기 mysql> grant all privileges on dbname.* to 'userid'@'%'; 4.호스트명(localhost) client 접속 사용자 관리 mysql> create user 'userId'@'localhost' identified by 'userpassword'; mysql> grant all privileges on *.* to ..

Oracle 11g 라이선스 정책 오라클 제품 종류 * Oracle Database 11g Standard Edition One은 최대 2개 소켓 용량을 보유한 단일서버에서 워크그룹, 부서 및 웹 애플리케이션을 위한 강력한 사용 용이성, 성능 및 가격대비 성능을 제공합니다. * Oracle Database 11g Standard Edition은 최대 4개 소켓 용량을 보유한 단일 또는 클러스터링된 서버에서 사용할 수 있습니다. 여기에는 별도 추가 비용없이 Oracle Real Application Clusters가 표준 기능으로 포함됩니다. * Oracle Database 11g Enterprise Edition은 소켓 제한 없이 단일 또는 클러스터링된 서버에서 사용할 수 있습니다. * Oracle Da..

VoltDB 및 ChartIO 를 활용한 실시간 데이터 스트리밍 기술 https://www.voltdb.com/blog/2017/03/14/gain-instant-insight-using-voltdb-chartio-real-time-data-streams/ https://www.voltdb.com/why-voltdb/fast-streaming-data/ 빠른 스트리밍 데이터를 작업에 적용데이터의 양과 속도가 증가함에 따라 빠른 데이터 응용 프로그램 구축의 어려움이 있습니다. 빠른 데이터 스택은 대형 데이터 호수에 빠르게 축적되는 이러한 고속 데이터 스트림을 처리하는 응용 프로그램을 구축하기 위해 업종과 산업 모두에서 사용되고 있습니다.이 새로운 스택 인 빠른 데이터 스택은 실시간 데이터를 수집하고 밀리 ..

What you need to know about Power BI nowPower BI is now much more than an Excel query tool. Here’s how to use it for your business data analysis and reporting http://www.infoworld.com/article/3201824/analytics/what-you-need-to-know-about-power-bi-now.html 이제 Power BI는 Excel 쿼리 도구 이상입니다. 비즈니스 데이터 분석 및보고에이를 사용하는 방법은 다음과 같습니다. 마이크로 서비스를 시작하십시오. 클라우드를 사용하십시오. 기간 업무 (LOB) 응용 프로그램은 항상 우리와 함께 할 것입니다. 우..

Aggregating with Apache Spark(2)Solving aggregation with cluster computing http://www.itworld.com/article/3184109/analytics/aggregating-with-apache-spark.html?page=2 MapReduce 관련 문제MapReduce 솔루션은 확장 성을 달성하지만 확장 성은 상대적입니다. 우리는 1 조 개 이상의 피커를위한 꽃의 수를 찾기 위해 애플리케이션을 확장 할 수있었습니다. 그러나 우리가 선택한 꽃의 수 사이의 표준 편차를 찾는 것과 같은 또 다른 연산을 수행하기를 원한다면, 또는이 수의 평균 또는 모드? 각 계산에 대해 새로운 MapReduce 프로그램을 작성해야합니다.모든 MapReduc..

Aggregating with Apache Spark(1)Solving aggregation with cluster computing http://www.itworld.com/article/3184109/analytics/aggregating-with-apache-spark.html 집합체 수학이되는 정의 A와 "결과 총 전체 것을 의미하지 않고 조립을 또는 그룹의 구성 요소 또는 부품을 추가하거나 함께 모든 구성 요소를 바꾸어 도착 집단 금액 합계 질량." 데이터 집계에는 로그 집계, 공간 집계 및 네트워크 집계가 포함되지만 집계에는 항상 합산 또는 수집과 관련이 있습니다. 이 기사에서는 번개 빠른 클러스터 컴퓨팅에 널리 사용되는 최상위 Apache 프로젝트 인 Apache Spark에서 집계 기법을 ..

http://www.elasticsearchtutorial.com/basic-elasticsearch-concepts.html [ElasticSearch] Query DSL curl - POST "http://localhost:9200/blog/_search?pretty=true" -d ‘ {"from": 0, "size": 10, "query" : QUERY_JSON, FILTER_JSON, FACET_JSON, SORT_JSON }’ Common Solr Queries in ElasticSearch Query DSL Basic select, with specific field http://www.elasticsearchtutorial.com/common-solr-queries-in-elasticsea..

[ElasticSearch] - aggregration query ElasticSearch 의 aggregration 쿼리 에 대하여 알아 봅니다. - 조회 결과의 내용을 부가적인 통계를 추출 하는데 사용하며 특정 데이터 값의 Range를 기반으로 처리 하는 예를 들어 보았습니다. - 조회 결과에는 내용과 함께 aggregations가 나옵니다. 다음 예는 bucket을 기반으로 한 Range Aggregration 입니다 range aggregation [참고] http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/search-aggregations-bucket-range-aggregation.html [쿼리툴] http://ela..

fluentd + elasticsearch 설치 하기 fluentd와 elasticsearch를 연동하기 위해 해야 할 일 그리고 설치가 잘 안되는 경우 해결 방안 1. fluentd 설치는 아래와 같이 패키지 설치 두가지만 잘 되면 됩니다. gem install fluentd gem install fluent-plugin-elasticsearch $ 그런데 종종 잘 안되는 경우가 생길 겁니다. 위의 설치가 되지 않는다 면 아래 "4. 패키지 설치가 안되는 경우 해결 방안" 를 참고 한다. fluent-plugin-elasticsearch 문제 해결 : gem install patron -v0.4.9 로 하자 (아래 참조) 2. Configure 환경 설정 예제 [fluent.conf] ## ******..

install ElastSearch http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup.html http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup-upgrade.html [root@hnode3 logminor]# cat Elast.sh cd /svc/logminor/elasticsearch ./bin/elasticsearch -Djna.tmpdir=/svc/logminor/logs -Des.network.host=192.168.25.10 -Des.index.store.type=memory -Xmx128M -Xms128M --node.na..

[CHARACTER SET 변경 왜 하나 ?]많은 글들이 이런 문제를 해결 하는 방법을 소개 하고 있다.하지만 왜 하는가 ? 이다. 이 것은 2000년대 중반 포털 싸이트에서 오라클을 이용하게 되면서 이슈화 된것이다.일반적으로 우리가 쓰는 한글에는 큰문제가 없었기 때문에 금융권이나 정부에서는 큰문제가 되지 않았다.하지만 게시판글에 쀩 뿛 홁 같은 특수한 한글 문자 들을 쓰게 되면서 DB에 들어간 문자가 깨지기 시작했다. 그러나 다시 10년이 지난 2014년 이 되면서 아래와 같은 MS949 (cp949:code page 949) 만으로는 부족하게 되었다.모바일 시장이 글로벌로 진출하게 되면서 국내 기업들이 해외로 진출하게 된다. 이때 가장 문제 되는 것이 Charset와 time에 대한 문제이다. [국제..