본문 바로가기

전체 글160

자료구조와 알고리즘 자료구조(Data Structures)리스트리스트에서 최대값을 구하려면 모든 원소를 뒤져보지 않고서는 찾을 수 없다.단위가 큰 리스트에서 최대값을 찾는 max함수를 이용하면 갯수에 비례하는 만큼의 시간이 걸린다.풀어야 하는 문제에 따라 내가 이용하는 자료구조가 어떤 성질을 가지느냐를 이해해야 한다.알고리즘(algorithm)이란?[사전적 정의]어떤 문제를 해결하기 위한 절차, 방법, 명령어들의 집합[프로그래밍] 주어진 문제의 해결을 위한 자료구조와 연산 방법에 대한 선택 해결하고자 하는 문제에 따라 최적의 해법이 다르기 때문에 이 선택을 어떻게 해야 하느냐를 알기 위해 자료구조를 이해해야 한다. 배열(Arrays)같은 종류의 데이터가 줄지어 늘어서 있는 것-원소들을 순서대로 늘어 놓은 것 리스트(List.. 2024. 4. 28.
데브코스 1차 팀 프로젝트(Weather_Compare) Weather_Compare1차 팀 프로젝트 PPT : https://www.canva.com/design/DAGPJtYHxyc/jgeczufAzM6ikQjZjEJDiQ/view?utm_content=DAGPJtYHxyc&utm_campaign=designshare&utm_medium=link&utm_source=editorGithub : https://github.com/team-project-01/Project프로젝트 보고서 링크  : https://ink-find-5d0.notion.site/1-2-f4b8265e16b744f2b52d1c3fee32d247 2024. 4. 26.
데이터 엔지니어링 25일차 TIL 학습 내용데이터 응용 유스케이스(특강) 요즘 시대의 마케팅은 ? 마케팅 = 디지털 마케팅 = 데이터 기반 마케팅 - 요즘 마케팅은 기본적으로 디지털미디어를 통해 이뤄지며 다양한 종류가 존재한다. - 검색엔진, 온라인 비디오 광고, 이메일 광고, 디스플레이 광고, 소셜 미디어 광고, 리타겟팅(Re-targeting, 프라이버시 이슈가 존재) 등등 디지털 마케팅이다보니 사용자에 관한 다양하고 많은 정보들이 생긴다.(빅 데이터) - 이러한 데이터를 수집해서 마케팅 성능을 측정하고 마케팅 방법을 개선하는 것이 가능해짐. - 즉 마케팅 데이터의 수집과 분석이 중요해짐(사이클이 짧아짐)   => 양질의 마케팅 데이터를 빠르게 수집 -> 마케팅 전략을 빠르게 시험/수정 SLA (Service Level Agreeme.. 2024. 4. 26.
데이터 엔지니어링 24일차 학습내용Join이란 ?SQL조인은 두개 혹은 그 이상의 테이블들을 공통 필드를 가지고 머지하는데 사용된다. 이는 스타스키마로 구성된 테이블들로 분산되어 있던 정보를 통합하는데 사용된다. 왼쪽 테이블을 LEFT라고 하고 오른쪽 테이블을 RIGHT라고 하면 JOIN의 결과는 방식에 상고나없이 양쪽의 필드를 모두 가진 새로운 테이블을 만들어내게 된다. 조인의 방식에 따라 다음 두 가지가 달라진다 1. 어떤 레코드들이 선택되는지? 2. 어떤 필드들이 채워지는지? 조인의 종류Join시 고려해야 할점 1. 먼저 중복 레코드가 없고 Primary Key의 uniqueness가 보장됨을 체크해야한다. 2. 조인하는 테이블들간의 관계를 명확하게 정의해야한다. 3. 어느 테이블을 베이스로 잡을지 결정해야한다.(From에 .. 2024. 4. 26.
데이터 엔지니어링 TIL 23일차 학습내용월별 유니크한 사용자 수 SELECT TO_CHAR(A.ts, 'YYYY-MM') AS month, COUNT(DISTINCT B.userid) AS mau FROM raw_data.session_timestamp A JOIN raw_data.user_session_channel B ON A.sessionid = B.sessionid GROUP BY 1 ORDER BY 1 DESC; 데이터 품질 확인방법 1. 중복된 레코드들 체크 2. 최근 데이터의 존재여부 체크(freshness) 3. Primary key uniqueness가 지켜지는지 체크 4. 값이 비어있는 컬럼들이 있는지 체크 CTAS : SELECT를 가지고 테이블을 생성 - adhoc위에서 write가능 DROP TABLE IF E.. 2024. 4. 24.
데이터 엔지니어링 TIL 22일차 학습 내용 관계형 데이터베이스 예제 사용자 ID : 보통 웹서비스에서는 등록된 사용자마다 부여하는 유일한 ID 세션 ID : 세션마다 부여되는 ID 세션 : 사용자의 방문을 논리적인 단위로 나눈 것 - 사용자가 외부링크를 타고 오거나 직접 방문해서 올 경우 세션을 새성 - 사용자가 방문 후 30분간 interaction이 없다가 뭔가를 하는 경우 새로 세션을 생성 => 하나의 사용자가 여러개의 세션을 가질 수 있다. - 보통 세션의 경우 세션을 만들어낸 접점을 채널이란 이름으로 기록을 해둠, 세션이 생긴 시간도 같이 기록. SQL의 기본 다수의 SQL문을 실행시 세미콜론(;)으로 분리가 필요 SQL주석 -- : 인라인 한줄짜리 주석, 자바에서 //에 해당 /*--*/ : 여러 줄에 걸쳐 사용 가능한 주석.. 2024. 4. 23.

티스토리툴바