핀아의 저장소 ( •̀ ω •́ )✧

Hadoop이란? 분산환경에서 빅데이터를 저장하고 처리할 수 있는 자바 기반의 오픈 소스 프레임워크로 하둡 소프트웨어 라이브러리는 간단한 프로그래밍 모델을 사용하여 여러대의 컴퓨터 클러스터에 대규모 데이터세트를 분산 처리할 수 있게 해주는 프레임워크 일반적으로 하둡파일시스템(HDFS)과 맵리듀스(MapReduce)프레임워크로 시작되었으나, 여러 데이터 저장, 실행 엔진, 프로그래밍 및 데이터 처리와 같은 Hadoop Ecosystem 전반을 포함하는 의미로 확장 및 발전 됐다. ✅ 구성요소 하둡 코어 프로젝트 : HDFS(분산 데이터 저장), MapReduce(분산 처리) 하둡 서브 프로젝트 : 데이터 마이닝, 수집, 분석 등 수행하는 프로젝트들 1️⃣ 하둡 분산형 파일 시스템(Hadoop Distrib..

https://mydb-lib.tistory.com/entry/Hadoop-Hadoop-HDFS-%EC%84%A4%EC%B9%98-2 [Hadoop] Hadoop HDFS 설치 - 2 https://mydb-lib.tistory.com/entry/Hadoop-Hadoop-HDFS-%EC%84%A4%EC%B9%98-1 [Hadoop] Hadoop HDFS 설치 - 1 앞서 만든 가상환경에 설치해주면 된다!!!! HDFS(Hadoop Distributed File System) 는 수십 테라 또는 페타바이트 이상의 대 mydb-lib.tistory.com 설치 완료 후 제대로 설치가 된것인지 테스트 진행 HDFS(Hadoop Distributed File System) 는 수십 테라 또는 페타바이트 이상의 ..

https://mydb-lib.tistory.com/entry/Hadoop-Hadoop-HDFS-%EC%84%A4%EC%B9%98-1 [Hadoop] Hadoop HDFS 설치 - 1 앞서 만든 가상환경에 설치해주면 된다!!!! HDFS(Hadoop Distributed File System) 는 수십 테라 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장하고, 많은 클라이언트가 저장된 데이터를 빠르 mydb-lib.tistory.com 이어서 설치 진행 HDFS(Hadoop Distributed File System) 는 수십 테라 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장하고, 많은 클라이언트가 저장된 데이터를 빠르게 처리할 수 있게 설계된 파일 시스템을 말한다. 1. Hadoo..

앞서 만든 가상환경에 설치해주면 된다!!!! HDFS(Hadoop Distributed File System) 는 수십 테라 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장하고, 많은 클라이언트가 저장된 데이터를 빠르게 처리할 수 있게 설계된 파일 시스템을 말한다. 1. Hadoop-3.3.1 버전을 6대의 서버로 구성 Hadoop Cluster ,mast01 서버가 manage의 역할도 겸임 2. IP는 본인의 IP로 수정할 것! 3. '[ ]'의 내용은 해당되는 서버 혹은 몇번째 줄인지 참고하거나 알려주는 가이드로 내용만 확인하고 해당 파일에 대괄호와 대괄호 안 내용을 넣지 아니할 것 서버 서비스 mast01 (IP : 192.168.x.101) Zookeeper, ResourceManage..

📢 설치 환경 VirtualBox 6.1 CentOS 7 1. Virtual Box 설정 VirtualBox 새로 만들기를 클릭한다. ✔ VirtualBox 6.1은 아래 주소에서 다운받으면 된다. (꼭 6점대일 필요는 없지만... 갠적으로 7점대는 오류가 났기 때문에 6점대를 추천한다.) https://www.virtualbox.org/wiki/Download_Old_Builds_6_1 Download_Old_Builds_6_1 – Oracle VM VirtualBox www.virtualbox.org 이름 입력 후 종류는 Linux, 버전은 RedHat 64bit 설정 메모리 2048MB로 설정 지금 새 가상 하드 디스크 만들기 선택 VDI 선택 고정 크기 선택 생성 완료 ^V^ 해당 가상머신 설정 ..