핀아의 저장소 ( •̀ ω •́ )✧

Hadoop이란? 분산환경에서 빅데이터를 저장하고 처리할 수 있는 자바 기반의 오픈 소스 프레임워크로 하둡 소프트웨어 라이브러리는 간단한 프로그래밍 모델을 사용하여 여러대의 컴퓨터 클러스터에 대규모 데이터세트를 분산 처리할 수 있게 해주는 프레임워크 일반적으로 하둡파일시스템(HDFS)과 맵리듀스(MapReduce)프레임워크로 시작되었으나, 여러 데이터 저장, 실행 엔진, 프로그래밍 및 데이터 처리와 같은 Hadoop Ecosystem 전반을 포함하는 의미로 확장 및 발전 됐다. ✅ 구성요소 하둡 코어 프로젝트 : HDFS(분산 데이터 저장), MapReduce(분산 처리) 하둡 서브 프로젝트 : 데이터 마이닝, 수집, 분석 등 수행하는 프로젝트들 1️⃣ 하둡 분산형 파일 시스템(Hadoop Distrib..

https://mydb-lib.tistory.com/entry/Hadoop-Hadoop-HDFS-%EC%84%A4%EC%B9%98-2 [Hadoop] Hadoop HDFS 설치 - 2 https://mydb-lib.tistory.com/entry/Hadoop-Hadoop-HDFS-%EC%84%A4%EC%B9%98-1 [Hadoop] Hadoop HDFS 설치 - 1 앞서 만든 가상환경에 설치해주면 된다!!!! HDFS(Hadoop Distributed File System) 는 수십 테라 또는 페타바이트 이상의 대 mydb-lib.tistory.com 설치 완료 후 제대로 설치가 된것인지 테스트 진행 HDFS(Hadoop Distributed File System) 는 수십 테라 또는 페타바이트 이상의 ..

https://mydb-lib.tistory.com/entry/Hadoop-Hadoop-HDFS-%EC%84%A4%EC%B9%98-1 [Hadoop] Hadoop HDFS 설치 - 1 앞서 만든 가상환경에 설치해주면 된다!!!! HDFS(Hadoop Distributed File System) 는 수십 테라 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장하고, 많은 클라이언트가 저장된 데이터를 빠르 mydb-lib.tistory.com 이어서 설치 진행 HDFS(Hadoop Distributed File System) 는 수십 테라 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장하고, 많은 클라이언트가 저장된 데이터를 빠르게 처리할 수 있게 설계된 파일 시스템을 말한다. 1. Hadoo..

앞서 만든 가상환경에 설치해주면 된다!!!! HDFS(Hadoop Distributed File System) 는 수십 테라 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장하고, 많은 클라이언트가 저장된 데이터를 빠르게 처리할 수 있게 설계된 파일 시스템을 말한다. 1. Hadoop-3.3.1 버전을 6대의 서버로 구성 Hadoop Cluster ,mast01 서버가 manage의 역할도 겸임 2. IP는 본인의 IP로 수정할 것! 3. '[ ]'의 내용은 해당되는 서버 혹은 몇번째 줄인지 참고하거나 알려주는 가이드로 내용만 확인하고 해당 파일에 대괄호와 대괄호 안 내용을 넣지 아니할 것 서버 서비스 mast01 (IP : 192.168.x.101) Zookeeper, ResourceManage..