[태그:] apache

우분투에 아파치 카프카 서비스 설치하기

우분투에 아파치 카프카 서비스 설치하기

아파치 카프카는 링크드인에 의해 제작된 분산 메시지 시스템으로, 대량의 실시간 데이터를 효율적으로 처리하도록 설계되었습니다.  2018년 현재, “대량의 실시간 데이터”를 다루는 시스템을 제작하는 개발자들이 테크 회사들은 카프카를 기본적으로 사용한다고 가정해도 무리가 없습니다. 이 포스트에서는 아래 링크 내용을 바탕으로 우분투 16.04에 카프카 1.1.0을 서비스로 설치하는 방법을 설명합니다. 

아파치 에어플로우 DAG 수동으로 시작하기

아파치 에어플로우 DAG 수동으로 시작하기

이전 글에서 에어플로우의 기본 개념을 살피며 두니아 생존자들이 끼니를 준비하는 과정을 DAG로 표현할 수 있음을 보였습니다.  이렇게 정의된 DAG는 schedule_interval로 전달되는 crontab 표현식을 통해 정해진 타이밍에 실행될 수 있습니다. 만약 정해진 시간이 아니라, 필요할 때 DAG를 실행하려면 어떻게 해야 할까요?  두니아 생존의 예에서는 매일 오전 

아파치 에어플로우 유용한 팁

아파치 에어플로우 유용한 팁

이전 글에서 아파치 에어플로우의 기본 개념에 대해 알아 봤습니다.  이 포스트에서는 에어플로우 사용자가 알아두면 유용한 팁과 주의점을 정리해 보겠습니다. 에어플로우의 구성 요소 에어플로우는 다음 네 가지 요소로 구성됩니다. 데이터베이스: DAG 실행 정보를 보관한다. 웹 서버: GUI를 구동한다. 스케쥴러: DAG를 읽어 적절한 타이밍에 DAG를 실행한다. 작업자(workers): 

아파치 에어플로우 기본 개념

아파치 에어플로우 기본 개념

Apache Airflow(이하 에어플로우)는 작업 흐름을 실행, 관리하는 오픈소스 플랫폼으로, 에어비앤비에 의해 개발되었고 아파치 재단 인큐베이션 단계에 있습니다. 에어플로우가 타 작업 흐름 관리 도구에 비해 나은 점은: 동적인 작업 흐름 정의: 작업 흐름은 파이썬 코드로 정의되며 동적으로 작성될 수 있습니다. 확장성: 새로운 연산자와 실행자를 쉽게 정의하고