본문 바로가기

핀아의 저장소 ( •̀ ω •́ )✧

검색하기
핀아의 저장소 ( •̀ ω •́ )✧
프로필사진 _핀아_

  • 분류 전체보기 (99)
    • Big Data (43)
      • ML & DL (6)
      • Engineering (21)
      • 데이터 분석 (16)
    • Computer Science (50)
      • Python (2)
      • Linux (2)
      • Tools (1)
      • 자료구조 (8)
      • 코딩테스트_Python (37)
    • Code & Issues (4)
      • Code (1)
      • Issue (3)
Guestbook
Notice
  • 안녕하세요
Recent Posts
Recent Comments
Link
관리 메뉴
  • 글쓰기
  • 방명록
  • RSS
  • 관리

목록Data Engineering (1)

핀아의 저장소 ( •̀ ω •́ )✧

00_01. 데이터 엔지니어링에 대하여

Garbage In Garbage Out 복잡한 데이터 모델을 만드는 것보단 좋은 데이터를 모으고 잘 관리하는 것이 훨씬 효율적으로 성과 내는 방법이라는 의미에서 사용하는 문구이다. 데이터는 앞으로 늘어나는 만큼 데이터 공부를 시작하게 됐다. 데이터 관리의 변천사 과거에는 컴퓨팅 파워와 용량이 비쌌으며, 용도가 정해져 있었다. 따라서 데이터 관리 방식 또한 1. 데이터의 형식 즉, 스키마를 만듦 2. 데이터 변동이 별로 없음 3. 효율적인 데이터베이스 모델링이 중요하였다. 하지만, 데이터로 할 수 있는 일이 다양해지고 형태를 예측하기 불가능해지면서 스키마를 정의하기 힘들어졌다. 실시간성을 요구하는 기능들 빨라지는 기능 추가 실시간 로그 비정형 데이터 서드 파티 데이터 뿐만 아니라 컴퓨팅 파워도 많이 저렴..

Big Data/Engineering 2023. 5. 8. 19:06
이전 Prev 1 Next 다음

Blog is powered by kakao / Designed by Tistory

티스토리툴바