핀아의 저장소 ( •̀ ω •́ )✧

배치 프로세싱이란?? 배치 (Batch) == 일괄 배치 프로세싱 (Batch Processing) == 일괄 처리 많은 양의 데이터를 정해진 시간에 한꺼번에 처리하는 것 한정된 대량의 데이터 특정 시간 일괄 처리 ✅ 배치 프로세싱은 언제 쓸까?? 실시간성을 보장하지 않아도 될 때 데이터를 한꺼번에 처리할 수 있을때 무거운 처리를 할때 (ex. ML 학습) ✅ 배치 프로세싱 예시 매일 다음 14일의 수요와 공급을 예측 매주 사이트에서 관심을 보인 유저들에게 마케팅 이메일 전송 매주 발행하는 뉴스레터 매주 새로운 데이터로 머신러닝 알고리즘 학습 매일 아침 웹 스크래핑/크롤링 매달 월급 지급 스트림 프로세싱이란?? 실시간으로 쏟아지는 데이터를 처리하는 것 ✅ 스트림 프로세싱은 언제 쓸까?? 실시간성을 보장해..

Garbage In Garbage Out 복잡한 데이터 모델을 만드는 것보단 좋은 데이터를 모으고 잘 관리하는 것이 훨씬 효율적으로 성과 내는 방법이라는 의미에서 사용하는 문구이다. 데이터는 앞으로 늘어나는 만큼 데이터 공부를 시작하게 됐다. 데이터 관리의 변천사 과거에는 컴퓨팅 파워와 용량이 비쌌으며, 용도가 정해져 있었다. 따라서 데이터 관리 방식 또한 1. 데이터의 형식 즉, 스키마를 만듦 2. 데이터 변동이 별로 없음 3. 효율적인 데이터베이스 모델링이 중요하였다. 하지만, 데이터로 할 수 있는 일이 다양해지고 형태를 예측하기 불가능해지면서 스키마를 정의하기 힘들어졌다. 실시간성을 요구하는 기능들 빨라지는 기능 추가 실시간 로그 비정형 데이터 서드 파티 데이터 뿐만 아니라 컴퓨팅 파워도 많이 저렴..

이 글은 "어서와! 자료구조와 알고리즘은 처음이지?" 강의를 듣고 정리한 내용입니다. 😉 1️⃣ 수식의 후위 표기법 (Postfix Notation) 우리가 일상에서 사용하는 수식의 표기법은, 중위 표기법 (infix notation) 이라고 부를 수 있다. 두 개의 피연산자 A 와 B 를 가지고 덧셈을 하는 수식을 표기하면 A + B 와 같이 되는데, 이 때 연산자인 + 가 두 피연산자의 사이에 (가운데에) 위치하기 때문에 중위 표기법이라고 부른다. 그렇다면 후위 표기법이란 무엇일까? 연산자를 두 피연산자의 뒤에 쓰는 방식이다. 따라서 앞의 예인 A + B 를 후위 표기법으로 표기하면 AB+ 가 된다. ✅ 중위 표현식 → 후위 표현식 1. 예시 A * B + C 2. 예시 A + B * C 3. 예시 ..

이 글은 "어서와! 자료구조와 알고리즘은 처음이지?" 강의를 듣고 정리한 내용입니다. 😉 마치 접시를 차곡차곡 쌓았다가 맨 위의 접시부터 다시 꺼내어 사용하는 것처럼, 추가된 데이터 원소들을 끄집어내면 마지막에 넣었던 것부터 넣은 순서의 역순으로 꺼내지는 자료 구조를 스택 (stack) 이라고 부른다. 이처럼 마지막에 넣은 것이 가장 먼저 꺼내어지는 성질 때문에 스택을 다른 말로는 후입선출 (LIFO; last-in first-out) 자료 구조라고도 한다. 스택에 데이터 원소를 추가하는 (집어넣는) 동작을 푸시 (push) 연산이라고 하고, 마지막에 추가되었던 원소를 참조하고 삭제하는 (꺼내는) 동작을 팝 (pop) 연산이라고 한다. 스택은 이 두 연산을 제공하는 간단한 자료 구조인데, 여러 가지의 알..

https://mydb-lib.tistory.com/entry/Hadoop-Hadoop-HDFS-%EC%84%A4%EC%B9%98-2 [Hadoop] Hadoop HDFS 설치 - 2 https://mydb-lib.tistory.com/entry/Hadoop-Hadoop-HDFS-%EC%84%A4%EC%B9%98-1 [Hadoop] Hadoop HDFS 설치 - 1 앞서 만든 가상환경에 설치해주면 된다!!!! HDFS(Hadoop Distributed File System) 는 수십 테라 또는 페타바이트 이상의 대 mydb-lib.tistory.com 설치 완료 후 제대로 설치가 된것인지 테스트 진행 HDFS(Hadoop Distributed File System) 는 수십 테라 또는 페타바이트 이상의 ..

이 글은 "어서와! 자료구조와 알고리즘은 처음이지?" 강의를 듣고 정리한 내용입니다. 😉 지금까지의 연결 리스트에서는 링크가 한 방향으로, 즉 앞에서 뒤로, 다시 말하면 먼저 오는 데이터 원소를 담은 노드로부터 그 뒤에 오는 데이터 원소를 담은 노드를 향하는 방향으로만 연결되어 있었다. 이번에는 새로운 연결 리스트로서 양방향 연결 리스트 (doubly linked list) 를 살펴보고자 한다. 말 그대로, 양방향 연결 리스트에서는 노드들이 앞/뒤로 연결되어 있다. 즉, 인접한 두 개의 노드들은 앞의 노드로부터 뒤의 노드가 연결되어 있을뿐만 아니라, 뒤의 노드로부터 앞의 노드도 연결되어 있다. 한 노드의 입장에서 보자면, 자신보다 앞에 오는 노드를 연결하는 링크와 자신보다 뒤에 오는 노드를 연결하는 링크..