주니어 데이터 엔지니어 우솨's 개발일지

데이터 엔지니어링 42일차 TIL 본문

데브코스

데이터 엔지니어링 42일차 TIL

우솨 2024. 6. 5. 18:58

학습내용

리눅스 이해
- 우분투 (ubuntu): 리눅스 타입 중의 하나. 다른 타입은 데비안, 레드햇, 페도라, …..
- ssh: 리눅스 혹은 유닉스 서버에 로그인해주는 프로그램 (터미널)
   - private key와 public key를 사용
- sudo: 보통 슈퍼유저로서 프로그램을 구동할 수 있도록 하는 프로그램이다.
- apt-get: 우분투/데비안 계열의 리눅스에서 프로그램 설치/삭제를 관리해주는 프로그램
   - apt-get update, apt-get install
- su: substitue user의 약자로 현재 사용 중인 사용자 계정을 로그아웃하지 않고 다른
사용자의 권한을 얻을 때 사용한다
- vi: 텍스트 에디터. https://withcoding.com/112

Airflow 코드의 기본 구조
- DAG 대표하는 객체를 먼저 만든다
   - DAG 이름, 실행주기, 실행날짜, 오너 등
- DAG를 구성하는 태스크들을 만든다
   - 태스크별로 적합한 오퍼레이터 선택
   - 태스크 ID를 부여하고 해야할 작업의 세부사항을 지정
- 최종적으로 태스크들간의 실행 순서를 결정