핀아의 저장소 ( •̀ ω •́ )✧

[Hadoop] 하둡 설치 전 가상 환경 구축 본문

Big Data/Engineering

[Hadoop] 하둡 설치 전 가상 환경 구축

_핀아_ 2023. 4. 28. 01:03

📢 설치 환경

VirtualBox 6.1
CentOS 7

 

1. Virtual Box 설정

VirtualBox 새로 만들기를 클릭한다.

 

✔ VirtualBox 6.1은 아래 주소에서 다운받으면 된다.

(꼭 6점대일 필요는 없지만... 갠적으로 7점대는 오류가 났기 때문에 6점대를 추천한다.)

https://www.virtualbox.org/wiki/Download_Old_Builds_6_1

 

Download_Old_Builds_6_1 – Oracle VM VirtualBox

 

www.virtualbox.org

 

이름 입력 후 종류는 Linux, 버전은 RedHat 64bit 설정

 

메모리 2048MB로 설정

 

지금 새 가상 하드 디스크 만들기 선택

 

VDI 선택

 

고정 크기 선택

 

생성 완료 ^V^

 

해당 가상머신 설정 클릭

 

저장소에 들어가서 컨트롤러 IDE의 비어있음을 클릭 후 옆의 CD 모양 클릭하여 디스크 파일 선택 클릭

 

설치할 이미지 파일을 클릭하여 열기 클릭

 

디스크 셋팅 완료!!

 

네트워크를 선택하여 NAT을 호스트 전용 어댑터로 변경, 무작위 모드를 모두 허용으로 변경 후 확인 버튼 클릭

 

시작을 누르고 헤드리스 시작 클릭

 

표시 버튼 클릭

 

파일 클릭 후 환경설정 클릭

 

입력 클릭 후 호스트키 조합 오른쪽 shift 키로 변경 후 확인 클릭

이것을 해야 하는 이유는 마우스를 화면 내 가둘지 말지 설정하는 버튼이라 필요

 

2. Linux 설치

Install CentOS Linux 7로 방향키 이동 후 엔터

 

Korean 입력 후 한국어 선택 하고 계속 진행 클릭

 

소프트웨어 선택 클릭

 

호환성 라이브러리, 개발용 도구 선택 후 완료 버튼 클릭

 

설치 대상 클릭

 

"파티션을 자동으로 설정합니다." 선택 후 완료 클릭

 

설치 시작 클릭

 

사용할 암호 세팅하기 위해 ROOT 암호 클릭

 

사용할 암호 입력 후 완료 클릭

 

설치 완료 후 재부팅

 

3. Linux 세팅

ID와 아까 설정한 password 입력 후 로그인

 

방화벽 종료 및 비활성화

systemctl stop firewalld
systemctl disable firewalld

 

Selinux 비활성화

vi /etc/selinux/config

 

SELINUX=disabled

 

네트워크 설정을 위해 파일 선택 후 호스트 네트워크 관리자 클릭

 

  • 첫번째 virtualbox Host adapte에서 dhcp가 체크 되있는 경우 체크 해제
  • IPv4의 주소가 linux에서 사용될 ip대역 및 게이트 웨이주소 

네트워크 설정

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

 

  • 위에서본 virtualbox IPv4 주소를 토대로 ip주소, 게이트웨이, netmask등 설정 후 저장하고 빠져나감
  • IPADDR의 마지막 대역은 자유롭게 설정 가능

 

dns 네임서버 설정을 위한 설정

vi /etc/resolv.conf

 

nameserver 설정 후 저장하고 빠져나감

 

 

밑 작업 표시줄에서 와이파이 혹은 네트워크 아이콘 오른쪽 클릭후 네트워크 및 인터넷 설정열기 클릭

 

어댑터 옵션 변경 클릭

 

사용하고 있는 주네트워크를 오른쪽 클릭하여 속성 클릭

 

속성 -> 공유 위의 2개 체크 후 확인 버튼 클릭

 

가상머신 reboot

 

Reboot 후에 8.8.8.8 인터넷으로 핑이 정상적으로 나가는지 확인 정상적으로 나갔다면 네트워크 세팅 종료

 

mobaxterm personal 클릭하여 실행하여 Session 버튼 클릭

+) mobaxterm이 없다면 유사한 프로그램 아무거나 상관 없음

 

SSH 선택 후 Remote Host에 설정된 ip 주소 입력 OK 클릭

 

ID하고 PASSWORD 입력 후 터미널 접속

 

SSH 터미널 접속 완료

 

CentOs7에 필요한 패키지를 설치하기 위해 yum update를 진행한다.

 

yum update 후 필수 패키지 설치하면 세팅 완료!!!!!!!!!!

yum install -y  wget bind-utils vim ntsysv system-config-firewall-tui install system-config-network-tui net-tools setup setuptool nfs-utils autofs rdate telnet gcc iotop gdb sysstat ntp curl traceroute tcpdump unzip lsof tree

 

4. 가상머신 복사

세팅이 완료된 가상머신을 상태 저장 후 전원 종료!!!

그 후 다시 오른쪽 마우스로 클릭 후 복제 선택

 

이름과 MAC 주소 정책을 변경 후 다음 클릭

 

완전한 복제 선택 후 복제 클릭

 

  1. Hadoop 설치에 필요한 만큼 복제, 복제가 완료됐으면 위과정에서 네트워크 IP 주소만 변경
  2. systemctl restart network로 재시작
  3. SSH 접속을 하여 Hadoop 설치를 진행 

 

 

 

이렇게 하면 하둡을 설치할 6대의 장비가 준비된다. 끝 (●'◡'●)

'Big Data > Engineering' 카테고리의 다른 글

00_02. Batch & Stream Processing  (0) 2023.05.09
00_01. 데이터 엔지니어링에 대하여  (0) 2023.05.08
[Hadoop] hadoop failover 테스트  (0) 2023.05.04
[Hadoop] Hadoop HDFS 설치 - 2  (1) 2023.05.02
[Hadoop] Hadoop HDFS 설치 - 1  (1) 2023.04.28
Comments