Kafka 주요 용어 1. Topic : 메세지의 구분 단위 + partition : topic을 나누는 단위 + offset : 메세지의 상대적 위치 2. Producer : 메세지 생산자 Consumer : 메세지 소비자 - Producer는 Topic을 발행한다. - Consumer는 Topic을 구독한다. 3. Consumer group : Consumer들의 묶음 - 한 partition은 한 consumer와 반드시 매칭이 되어야 한다. - 따라서, partition을 늘릴 때 consumer 개수도 고려해야 한다. >> 보통, 1:1 매칭으로 설정 (partition = consumer) >> consumer의 메세지 읽기 속도보다 처리 속도가 빠르다면, partition을 더 늘림 (par..

1. What? - Index는 RDBMS에서 검색속도를 높이기 위한 기술이다. DB는 원하는 내용을 찾기 위해 테이블 처음부터 끝까지 풀 스캔한다. DB의 수고를 덜기 위해, 해당 테이블의 컬럼을 색인화 한 Index 파일을 만들게 된다. - Index는 어떤 테이블의 주요내용이 어디에 있는지 알려주는 색인정보이다. (데이터 - 위치정보) 쌍으로 구성된다. - Index의 데이터는 정렬되어 있다. - 내부적으로 B-tree(Balance Search Tree) 구조에 저장하기 때문에, 완전탐색보다 훨씬 빠르다. - ORACLE이나 MSSQL은 여러 Tree를 선택할 수 있다. - Index는 컬럼 단위로 생성된다. - Primary Key, Unique Key 는 자동으로 Unique Index로 만들..

1. What? - s3는 REST/HTTP 기반으로 파일을 저장하기 위한 스토리지 - s3의 용어 - 객체 : 하나의 파일이 저장되는 단위 - 버킷 : 객체가 저장되는 디렉토리 >> 계층 구조는 없지만 키 이름의 접두사, 구분기호로 논리적 계층 구조를 만들 수 있음(ex: develop/test.xls) - 키 : 버킷에 저장되는 객체의 식별자 (ex: test.xls, develop/main.jpg) 2. Why? - 대용량 데이터의 저장소로 사용된다. - 3copy 복제를 지원하여 데이터 신뢰도를 보장한다. - 파일당 5TB까지 지원하여, 용량과 파일 수의 제한이 없다. - 버전관리를 지원하여 실수로 삭제한 파일의 복원이 가능하다. - 다른 아마존 서비스와 연동이 쉽다. 3. How? - s3 사용..

1. What? (이미지 출처 : https://www.popit.kr/kafka-%EC%9A%B4%EC%98%81%EC%9E%90%EA%B0%80-%EB%A7%90%ED%95%98%EB%8A%94-%EC%B2%98%EC%9D%8C-%EC%A0%91%ED%95%98%EB%8A%94-kafka/) - Kafka는 비동기 처리를 위한 메시징 큐이다. Source Application과 Target Application 사이의 데이터 전달자 역할을 한다. - 비동기 메시징 시스템의 대표적 예시인 mail과 비슷하다. 보내는 사람이 원하는 사람에게 메일을 보내면 메일 서버에 저장되어 있게 된다. 덕분에 받는 사람은 자신이 원할 때 메일을 볼 수 있다. -> 보내는 사람 = producer -> 받는 사람 = c..

1. INNER JOIN = JOIN 2. OUTER JOIN 3. LEFT JOIN 4. RIGHT JOIN

참고 : https://tomining.tistory.com/76?category=114917 Learning Spark Chapter. 1 스파크를 이용한 데이터 분석 What is Apache Spark? 빠르다 General Purpose 아래 내용들을 하나의 단일 machine 에서 수행가능 배치작업 복잡한 알고리즘(ex. Machine Learning) interactive queries streaming Python/Java/Scala/SQL API 지.. tomining.tistory.com