본문 바로가기

핀아의 저장소 ( •̀ ω •́ )✧

검색하기
핀아의 저장소 ( •̀ ω •́ )✧
프로필사진 _핀아_

  • 분류 전체보기 (99)
    • Big Data (43)
      • ML & DL (6)
      • Engineering (21)
      • 데이터 분석 (16)
    • Computer Science (50)
      • Python (2)
      • Linux (2)
      • Tools (1)
      • 자료구조 (8)
      • 코딩테스트_Python (37)
    • Code & Issues (4)
      • Code (1)
      • Issue (3)
Guestbook
Notice
  • 안녕하세요
Recent Posts
Recent Comments
Link
관리 메뉴
  • 글쓰기
  • 방명록
  • RSS
  • 관리

목록Key-Value RDD (1)

핀아의 저장소 ( •̀ ω •́ )✧

01_07. Key-Value RDD Operations & Joins

Key-Value RDD에 적용할 수 있는 Transformation & Actions ✅ Transformation groupByKey reduceByKey mapValues keys join (+ leftOuterJoin, rightOuterJoin) ✅ Actions countByKey 1️⃣ groupByKey groupBy를 하게되면 rdd 내의 값이 주어지는 함수를 기준으로 그룹핑이 되어 나눠진다. groupByKey를 하면 무엇을 기준으로 할지(키를 기준으로 그룹핑함) 명확해서 함수를 따로 넣어주지 않아도 된다. [groupBy 예제] [groupByKey 예제] groupByKey() 매개변수를 넣어주면 파티션 개수를 정할 수 있다. 2️⃣ reduceByKey 개념적으로는 groupByK..

Big Data/Engineering 2023. 5. 14. 02:15
이전 Prev 1 Next 다음

Blog is powered by kakao / Designed by Tistory

티스토리툴바