Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- 데이터 시각화
- 코딩테스트
- 팀 프로젝트
- 코테 연습
- Til
- AWS
- airflow
- VPC
- GCP
- 데이터 엔지니어
- django
- 슈퍼셋
- HTML
- cloud platform
- Spark
- PCCP
- Selenium
- Kafka
- SQL
- Snowflake
- Tableau
- 코딩 테스트
- beuatifulsoup
- 데브코스
- superset
Archives
- Today
- Total
주니어 데이터 엔지니어 우솨's 개발일지
데이터 엔지니어링 42일차 TIL 본문
학습내용
리눅스 이해
- 우분투 (ubuntu): 리눅스 타입 중의 하나. 다른 타입은 데비안, 레드햇, 페도라, …..
- ssh: 리눅스 혹은 유닉스 서버에 로그인해주는 프로그램 (터미널)
- private key와 public key를 사용
- sudo: 보통 슈퍼유저로서 프로그램을 구동할 수 있도록 하는 프로그램이다.
- apt-get: 우분투/데비안 계열의 리눅스에서 프로그램 설치/삭제를 관리해주는 프로그램
- apt-get update, apt-get install
- su: substitue user의 약자로 현재 사용 중인 사용자 계정을 로그아웃하지 않고 다른
사용자의 권한을 얻을 때 사용한다
- vi: 텍스트 에디터. https://withcoding.com/112
Airflow 코드의 기본 구조
- DAG 대표하는 객체를 먼저 만든다
- DAG 이름, 실행주기, 실행날짜, 오너 등
- DAG를 구성하는 태스크들을 만든다
- 태스크별로 적합한 오퍼레이터 선택
- 태스크 ID를 부여하고 해야할 작업의 세부사항을 지정
- 최종적으로 태스크들간의 실행 순서를 결정
'데브코스' 카테고리의 다른 글
데이터 엔지니어링 44일차 TIL (1) | 2024.06.05 |
---|---|
데이터 엔지니어링 43일차 TIL (0) | 2024.06.05 |
데이터 엔지니어링 41일차 TIL (1) | 2024.06.05 |
데이터 엔지니어링 35일차 TIL (0) | 2024.06.05 |
데이터 엔지니어링 34일차 TIL (0) | 2024.05.09 |