DevOps/기타7 Elasticsearch Snapshot S3 설정 방법 Elasticsearch 공식 문서를 참조하였습니다. 설정 방법 1. repository-s3 플러그인 설치 설치 완료 후 클러스터 재기동 필요합니다. $ bin/elasticsearch-plugin install repository-s3 2. aws 키 설정 testuser 라는 AWS S3 client name 으로 설정해보자. $ bin/elasticsearch-keystore add s3.client.testuser.access_key Enter value for s3.client.testuser.access_key: $ bin/elasticsearch-keystore add s3.client.testuser.secret_key Enter value for s3.client.testuser.sec.. 2023. 1. 10. kafka 카프카 설치 1. 다운로드 및 압축해제 hadoop@hadoop-001:~$ sudo curl -o /usr/local/kafka_2.13-3.0.0.tgz http://mirror.apache-kr.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 82.3M 100 82.3M 0 0 2716k 0 0:00:31 0:00:31 --:--:-- 2397k hadoop@hadoop-001:~$ sudo mkdir -p /usr/local/kafka && sudo tar -xvzf /usr/local/kafka.. 2021. 12. 20. sbt 설치 [root@server ~]#curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.repo [root@server ~]#yum install sbt -y Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile epel/x86_64/metalink | 7.4 kB 00:00:00 * base: data.aonenetworks.kr * epel: mirror2.totbb.net * extras: data.aonenetworks.kr * updates: data.aonenetworks.kr base | 3.6 kB 00:00:00 bintray-.. 2020. 3. 9. lein 설치 1. 임시 디렉토리 생성 설치 파일을 다운 받을 임시 디렉토리 (temp_src) 를 생성하고 이동한다. [root@server ~]# mkdir /home/temp_src [root@server ~]# cd /home/temp_src 2. 설치 파일 다운로드 [root@server temp_src]# wget https://raw.githubusercontent.com/technomancy/leiningen/stable/bin/lein --2020-03-05 08:27:48-- https://raw.githubusercontent.com/technomancy/leiningen/stable/bin/lein Resolving raw.githubusercontent.com (raw.githubusercont.. 2020. 3. 9. zookeeper 설치 설치 1. zookeeper 유저 생성 [root@server ~]# useradd -r -s /sbin/nologin -d /home/apps/zookeeper zookeeper 2. 임시 디렉토리 생성 설치 파일을 다운 받을 임시 디렉토리 (temp_src) 를 생성하고 이동한다. [root@server ~]# mkdir /home/temp_src [root@server ~]# cd /home/temp_src 3. 설치 파일 다운로드 [root@server temp_src]# wget http://apache.tt.co.kr/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz --2020-03-04 08:06:21-- http://apache.t.. 2020. 3. 9. openJDK 설치 1. 설치 가능 확인 [root@server ~]# yum list java*jdk-devel Loaded plugins: fastestmirror Repodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fast Loading mirror speeds from cached hostfile * base: data.aonenetworks.kr * epel: mirror2.totbb.net * extras: data.aonenetworks.kr * updates: data.aonenetworks.kr Available Packages java-1.6.0-openjdk-devel. x86_64 1:1.6.0.41- 1.13.13.1.el7_3.. 2020. 3. 9. Kafka Kafka란 무엇인가? ㆍ분산 메시징 시스템으로 대용량의 실시간 로그처리에 특화된 아키텍처 설계를 통하여 기존 메시징 시스템보다 우수한 TPS (Transaction Processing System)를 제공함 기본 구성과 동작 producer : topic 메세지를 생성한 뒤 해당 메세지를 broker에 전달 broker : 전달받은 메세지를 topic 별로 쌓아놓음 cluster(Zookeeper) : kafka는 확장성(scale-out)과 고가용성(high availability)을 위하여 broker들이 클러스터로 구성되어 동작하도록 설계되어있다. 심지어 broker가 1개 밖에 없을 때에도 클러스터로써 동작한다. consumer : 해당 topic을 pull로 메시지를 가져와서 처리 ※ 클러스터.. 2018. 12. 31. 이전 1 다음 728x90 반응형