data1 Airflow 로컬에서 동작시켜보기 튜토리얼 1 해당 포스팅은 Airflow 가 도대체 뭐길래? 에서 출발했습니다. Airflow의 대략적인 설명을 들었을 때, Airflow 와 springBatch + argo workflow 조합은 어떤 차이점이 있지? 라는 궁금증이 먼저 들었습니다 Airflow는 데이터 엔지니어링과 ETL 파이프라인 작업에 최적화되어있고, 후자는 복잡한 비즈니스 로직 구현에 중점을 둔다고 이해했습니다. Argo는 그 작업들을 Kubernetes 환경에서 스케줄링하고 병렬 처리로 확장할 수 있도록 지원한다는 점도 짚을 수 있겠네요. *ETL(Extract-Transform-Load) : 데이터를 처리하고 변환하여 원하는 형태로 적재하는 데이터 처리 과정. 둘의 차이가 뭐든 간에, Airflow 연동 작업을 한번 해보고 싶었습니다... 2024. 12. 4. 이전 1 다음
