본문 바로가기

분류 전체보기125

Kafka의 파티션 Kafka에는 브로커(서버)가 있고 메시지가 전달되는 기준인 토픽이 다수 개 존재하며 한 토픽 내부에도 여러 파티션으로 나뉘어져 각각의 파티션에 메시지들이 저장되고 전달된다. 위 사진의 0이 들어있는 큐를 보면 토픽1 내부의 파티션 중 하나와 매칭이 되어 있는 것을 볼 수 있다. 이와 같이 파티션은 하나의 큐와 같은 형태로 동작하고 각 큐(파티션)은 내부의 메시지에 오프셋을 달아 메시지의 순서를 관리하고 전달한다. 그렇기 때문에 토픽 내 파티션이 많을수록 더욱 많은 메시지의 병렬처리가 가능해지기 때문에 파티션의 수는 Kafka의 병렬처리 단위라고도 말할 수 있다. 허나 Throughput(처리량)이 증가함에 따라 발생하는 Trade-off도 당연 존재한다. 1) 파일 핸들러의 증가 각 파티션 별로 담당하.. 2020. 10. 21.
스리랑카 - 3 여행은 비행기 탔을 때가 제일 신난다. 한 방을 나 혼자 썼었고 원래 우측 침대를 썼었는데 자다가 갑자기 침대가 무너지는 바람에;; 할수없이 좌측 침대로 옮겼다. 스리랑카는 서핑 스팟으로 파도가 어마어마하게 쌔다 저 분들이 180cm은 넘을정도로 덩치가 어느정도 있으셨는데 파도에 한번 삼켜지더니 사라졌다 우리가 파견 기간동안 가르쳤던 학생들에게 마지막 날에 편지를 받았다. 그런데 아직도 해석을 못했고 사진으로 찍어서 돌려도 번역기가 번역을 못한다.. 누가 뜻 좀 알려주세요 공립 장애인 직업 학교(?)인지라 모든 학생이 장애를 가지고 있는데 다들 너무 밝고 다를 것이 없어서 놀랐다 2020. 10. 20.
(교대역) 스시진수 런치 오마카세 후기 깜빡하고 들어갈 때 사진을 찍지 않았다 여자친구의 OS과제 끝난 기념 사실 걍 별 이유없이 오마카세를 가게 되었다. 사실 저번에 스시선수 갔을 때는 다시는 오마카세 안 먹을 줄 알았는데 (맛 없어서가 아니라 스시를 안좋아해서) 갑자기 그리워져서 한번도 안가본 여자친구와 함께 다녀오게 되었다. 스시진수는 교대역에서 약 5분 거리에 있는 스시야인데 포잉으로 예약하면 굉장히 저렴한 값에 예약할 수 있다. 그리고 리뷰나 평점보니 가성비가 좋은 집으로 정평이 나있어서 기대를 하고 다녀왔다. 사실 아직 스시 종류도 잘 모르겠고 나오는데로 먹는지라 따로 설명 적을 게 없다. 저번과 달라진 점이라면 이제는 그래도 스시에 대한 거부감이 조금 사라진 것 같다는 점?? 저번에는 사실 조금 씹다가 꿀꺽 삼켰는데 이번에는 좀 .. 2020. 10. 17.
Kafka는 무엇일까요 Kafka는 아파치 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다. 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것이 목표이다. - 위키백과 Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications. - Kafka Docs 위키와 공식 문서를 종합해보았을 때 대략적으로 실시간/스트리밍 데이터를 고성능으로 처리하고.. 2020. 10. 13.
[Ubuntu 16.04] Kafka 2.6.0 설치하기 새롭게 시작되는 EFK 프로젝트에서 스트림한 데이터 처리를 위해 Kafka를 사용하기로 했다. 나도 처음 써보지만 나와 같은 상황을 겪을 사람들을 위해서 고난을 겪는 과정을 남겨보려고 한다. 시작을 대표하는 마법의 주문 sudo apt-get update 여기서 카프카를 관리해줄 주키퍼가 필요한데 주키퍼는 JVM기반으로 돌아가기 때문에 JDK이 필요하다. JDK 설치 여부 확인 java -version 만약 다음과 같은 문구가 뜨지 않는다면 JDK를 설치하자 apt-get install openjdk-8-jdk JDK 설치후 아까와 같이 설치 여부를 확인하여 잘 됐는지 확인 후 이제 Kafka를 설치해보자. 참고로 이번 프로젝트는 소형으로 진행되고 지원금이 일체없는 무급 프로젝트이기 때문에 CPU 1개 .. 2020. 10. 8.
EFK Stack을 이용한 프로젝트 시작! 일단 대략적인 취준이 끝났지만 학업이 끝난 것은 아니기에 여전히 일을 하고 있다.. 인턴 때 데이터 플랫폼을 다루는 개발, 특히 하둡, 스파크, 드루이드 등을 다루면서 대용량의 데이터를 가지고 분석하는 프로젝트를 더 해보고 싶었는데 이번 학교 전공으로 병렬처리 시스템을 수강하게 되면서 그 기회가 왔다. 사실 인턴 업무 때 끝자락에 EFK 스택을 적용해볼 기회가 있었는데 스칼라 입문과 동시에 스파크까지 다루려고 하다보니 시간이 부족해서 하질 못했다. 그래서 참 많은 아쉬움이 있었는데 요번에 전공 프로젝트를 진행하며 드디어 EFK스택을 적용한 시스템을 개발해볼 기회가 생겼다. 앞으로 귀차니즘만 도지지 않는다면 관련글들을 작성하지 않을까싶다!! 2020. 10. 8.
레오폴드 FC750R 저소음 적축 구매 후기 인턴 생활하면서 맥북과 매직 키보드를 사용했었다. 처음에는 와 이게 맥북의 타건감인가? 라는 환상과도 잠시 너무 낮은 키보드 높이로 인해서 장시간 타이핑시 굉장히 손목에 무리가 가는 것을 느꼈다ㅠㅠ 그래서 기존에 사용하던 CK87을 회사에서 사용해볼까 했는데 예상했던 IT회사의 사무실 소음과는 다르게 굉장히 정숙한 타이핑 소리에 그 생각은 바로 접게 되었다. 원래 예상했던 개발 회사의 사무실은 청축과 갈축이 난무하는 전쟁터같은 곳이였는데 실상은 대부분 맥북이나 매직키보드를 사용하시고 그 외에는 해피해킹이나 리얼포스와 같은 무접점을 사용하고 계셔서 엄청나게 정숙했다. 그래서 기존의 코딩 머신을 뒤로하고 새 코딩 머신의 필요성을 느끼게 되었고 인턴 생활이 끝난 기념과 전환에 대한 보상으로 새로운 키보드를 물.. 2020. 9. 15.
반응형

티스토리툴바