조연섭의 IT 블로그

Hadoop - Hive (하이브) 설치

MySQL 설치 1. MySQL 패키지 설치 hadoop@hadoop-001:~$ sudo apt-get update ... * Management: https://landscape.canonical.com * Support: https://ubuntu.com/advantage 84 updates can be applied immediately. hadoop@hadoop-001:~$ sudo apt-get install mysql-server -y ... Created symlink /etc/systemd/system/multi-user.target.wants/mysql.service → /lib/systemd/system/mysql.service. mysql-server (8.0.27-0ubuntu0...

DevOps/Hadoop 2021. 12. 24. 15:08

Hadoop 클러스터 설치 (고가용성) - 2

설치 계획 하둡 3.3.0 버전 설치 hadoop-001 서버 hadoop-002 서버 hadoop-003 서버 JournalNode JournalNode JournalNode NameNode NameNode - DataNode DataNode ResourceManager NodeManager NodeManager JobHistoryServer JobHistoryServer Zookeeper Zookeeper Zookeeper Kafka Kafka Kafka 사전 설정 1. hosts 파일 추가 마스터 노드와 데이터 노드를 hosts 파일에 추가해준다. 물리서버면 설정할 필요없습니다. 필자는 VirtualBox를 활용하여 테스트하였습니다. # hadoop 20.200.0.110 hadoop-001 20...

DevOps/Hadoop 2021. 12. 20. 14:23

kafka

카프카 설치 1. 다운로드 및 압축해제 hadoop@hadoop-001:~$ sudo curl -o /usr/local/kafka_2.13-3.0.0.tgz http://mirror.apache-kr.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 82.3M 100 82.3M 0 0 2716k 0 0:00:31 0:00:31 --:--:-- 2397k hadoop@hadoop-001:~$ sudo mkdir -p /usr/local/kafka && sudo tar -xvzf /usr/local/kafka..

DevOps/기타 2021. 12. 20. 10:18

Hadoop 클러스터 설치 (고가용성) - 1

HDFS 고가용성 구성 QJM(Quorum Journal Manager) 주키퍼 설치 1. 다운로드 및 압축해제 hadoop@hadoop-001:~$ sudo curl -o /usr/local/apache-zookeeper-3.7.0-bin.tar.gz http://apache.tt.co.kr/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 11.8M 100 11.8M 0 0 4001k 0 0:00:03 0:00:03 --:--:-- 4003k hadoop@had..

DevOps/Hadoop 2021. 12. 20. 09:42

Hadoop 클러스터 설치 (기본)

설치 계획 1개의 마스터 노드와 2의 데이터 노드로 클러스터를 구성 하둡 3.3.0 버전 설치 hadoop-001 서버 hadoop-002 서버 hadoop-003 서버 NameNode SecondaryNameNode - DataNode DataNode ResourceManager NodeManager NodeManager JobHistoryServer 사전 설정 1. hosts 파일 추가 마스터 노드와 데이터 노드를 hosts 파일에 추가해준다. 물리서버면 설정할 필요없습니다. 필자는 VirtualBox를 활용하여 테스트하였습니다. # hadoop 20.200.0.110 hadoop-001 20.200.0.102 hadoop-002 20.200.0.103 hadoop-003 2. ssh 공개키 생성 및..

DevOps/Hadoop 2021. 12. 17. 15:57

하둡 (hadoop) 이란?

하둡이란? 하둡은 하나의 성능 좋은 컴퓨터를 이용하여 데이터를 처리하는 대신, 적당한 성능의 범용 컴퓨터 여러 대를 클러스터화하고, 큰 크기의 데이터를 클러스터에서 병렬로 동시에 처리하여 처리 속도를 높이는 것을 목적으로 하는 분산처리를 위한 오픈소스 프레임워크라고한다. 구성요소 Hadoop Common : 하둡의 다른 모듈을 지원하기 위한 공통 컴포넌트 모듈 Hadoop HDFS : 분산저장을 처리하기 위한 모듈. 여러개의 서버를 하나의 서버처럼 묶어서 데이터를 저장 Hadoop YARN : 병렬처리를 위한 클러스터 자원관리 및 스케줄링 담당 Hadoop Mapreduce : 분산되어 저장된 데이터를 병렬 처리할 수 있게 해주는 분산 처리 모듈 Hadoop Ozone : 하둡을 위한 오브젝트 저장소 장..

DevOps/Hadoop 2021. 12. 17. 15:06