[태그:] dag

아파치 에어플로우 DAG 수동으로 시작하기

아파치 에어플로우 DAG 수동으로 시작하기

이전 글에서 에어플로우의 기본 개념을 살피며 두니아 생존자들이 끼니를 준비하는 과정을 DAG로 표현할 수 있음을 보였습니다.  이렇게 정의된 DAG는 schedule_interval로 전달되는 crontab 표현식을 통해 정해진 타이밍에 실행될 수 있습니다. 만약 정해진 시간이 아니라, 필요할 때 DAG를 실행하려면 어떻게 해야 할까요?  두니아 생존의 예에서는 매일 오전 

아파치 에어플로우 유용한 팁

아파치 에어플로우 유용한 팁

이전 글에서 아파치 에어플로우의 기본 개념에 대해 알아 봤습니다.  이 포스트에서는 에어플로우 사용자가 알아두면 유용한 팁과 주의점을 정리해 보겠습니다. 에어플로우의 구성 요소 에어플로우는 다음 네 가지 요소로 구성됩니다. 데이터베이스: DAG 실행 정보를 보관한다. 웹 서버: GUI를 구동한다. 스케쥴러: DAG를 읽어 적절한 타이밍에 DAG를 실행한다. 작업자(workers): 

아파치 에어플로우 기본 개념

아파치 에어플로우 기본 개념

Apache Airflow(이하 에어플로우)는 작업 흐름을 실행, 관리하는 오픈소스 플랫폼으로, 에어비앤비에 의해 개발되었고 아파치 재단 인큐베이션 단계에 있습니다. 에어플로우가 타 작업 흐름 관리 도구에 비해 나은 점은: 동적인 작업 흐름 정의: 작업 흐름은 파이썬 코드로 정의되며 동적으로 작성될 수 있습니다. 확장성: 새로운 연산자와 실행자를 쉽게 정의하고