조연섭의 IT 블로그

Hadoop 클러스터 설치 (고가용성) - 2

설치 계획 하둡 3.3.0 버전 설치 hadoop-001 서버 hadoop-002 서버 hadoop-003 서버 JournalNode JournalNode JournalNode NameNode NameNode - DataNode DataNode ResourceManager NodeManager NodeManager JobHistoryServer JobHistoryServer Zookeeper Zookeeper Zookeeper Kafka Kafka Kafka 사전 설정 1. hosts 파일 추가 마스터 노드와 데이터 노드를 hosts 파일에 추가해준다. 물리서버면 설정할 필요없습니다. 필자는 VirtualBox를 활용하여 테스트하였습니다. # hadoop 20.200.0.110 hadoop-001 20...

DevOps/Hadoop 2021. 12. 20. 14:23

kafka

카프카 설치 1. 다운로드 및 압축해제 hadoop@hadoop-001:~$ sudo curl -o /usr/local/kafka_2.13-3.0.0.tgz http://mirror.apache-kr.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 82.3M 100 82.3M 0 0 2716k 0 0:00:31 0:00:31 --:--:-- 2397k hadoop@hadoop-001:~$ sudo mkdir -p /usr/local/kafka && sudo tar -xvzf /usr/local/kafka..

DevOps/기타 2021. 12. 20. 10:18

Hadoop 클러스터 설치 (고가용성) - 1

HDFS 고가용성 구성 QJM(Quorum Journal Manager) 주키퍼 설치 1. 다운로드 및 압축해제 hadoop@hadoop-001:~$ sudo curl -o /usr/local/apache-zookeeper-3.7.0-bin.tar.gz http://apache.tt.co.kr/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 11.8M 100 11.8M 0 0 4001k 0 0:00:03 0:00:03 --:--:-- 4003k hadoop@had..

DevOps/Hadoop 2021. 12. 20. 09:42