전체 글160 데이터 엔지니어링 10일차 TIL 학습내용 데이터 시각화 데이터 시각화를 위해서 Matplotlib이나 Seaborn라이브러리를 사용한다. Seaborn 라이브러리 import seaborn as sns 꺾은선 그래프(Line Plot) sns.lineplot(x=[1, 3, 2, 4], y=[4, 3, 2, 1]) 막대 그래프(Bar Plot) sns.barplot(x=[1,2,3,4],y=[0.7,0.2,0.1,0.05]) Matplotlib 라이브러리 import matplotlib.pyplot as plt 제목추가 plt.title('제목') 라벨추가 x축 : plt.xlabel('라벨') y축 : plt.ylabel('라벨') 그래프의 축의 범위 지정 x축 : plt.xlim(0,10) - x축 범위를 0~10으로 지정 y축 :.. 2024. 4. 5. 데이터 엔지니어링 9일차 TIL 학습 내용 Selenium 불러오기 라이브러리 from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome(service=Service(ChromeDriverManager().install())) with - as : 주어진 명령이 끝나면 driver종료 드라이버에서 요소 찾기 요소 하나 찾기 .find_element(by, target) by : 대상을 찾는 기준 : ID, TAG_NAME, CLASS_NAME, ... target : 대상의 속성 요소 여러개 찾기 .. 2024. 4. 4. 데이터 엔지니어링 8일차 TIL 학습내용 BeautifulSoup requests 모듈 사용시 아주 긴 텍스트이 정보를 가져오기 때문에 분석이 힘든 점을 보완하여 HTML코드를 분석해주는 HTML Parser를 이용할 수 있다. res = requests.get('https://www.example.com') soup = BeautifulSoup(res.text, 'html.parser') - response의 body를 텍스트로 받고, html로 분석 soup.prettify() -보기 편한 형태로 만들어준다. 폼 가져오기 -soup.title() -soup.head() -soup.body() 태그로 감싸진 특정요소 하나 찾기 - h1=soup.find('h1") 태그로 감싸진 특정요소 모두 찾기 -soup.find_all('p') .. 2024. 4. 3. 데이터 엔지니어링 7일차 TIL 학습내용 Web Scraping 기초 인터넷 : 여러 컴퓨터끼리 네트워크를 연결한 것. Web은 인터넷 상에서 정보를 교환하기 위한 시스템이다. Client : 정보를 요청하는 컴퓨터 Server : 정보 제공하는 컴퓨터 HTTP(Hyper Text Transfer Protocol) 웹 상에서 정보를 주고받기 위한 약속 http요청시 필요사항 - Get, Host, User-Agent 웹 브라우저는 HTML요청을 보내고, HTTP 응답에 담긴 HTML문서를 우리가 보기 쉬운 형태로 화면을 그려주는 역할을 한다. 웹 페이지는 HTML형식으로 되어있고, 웹 브라우저는 우리가 HTTP요청을 보내고, 응답받은 HTML코드를 렌더링 해주는 역할을 하다. reauests requests 라이브러리를 불러온 후, N.. 2024. 4. 2. 데이터 엔지니어링 6일차 TIL 학습 내용 HTML(Hypertext Markup Language) 웹 브라우저가 이해할 수 있는 언어 CSS(Cascading Style Sheets) 문서를 예쁘게 꾸미는 언어 Java Script 문서에 기능을 만들어주는 언어 HTML 콘테츠를 가지는 태그 콘텐츠 콘텐츠를 가지지 않는 태그 두가지로 구분된다. 속성과 값 Content a태그 - 링크 href속성을 사용해서 이동하고자 하는 파일 혹은 url을 작성한다. target속성을 사용해서 이동해야 할 링크를 새창(_blank), (_self)등 원하는 타겟을 지정할 수 있다. HTML의 기본 문서 #문서버전 #기본언어설정 #실제 사용자가 눈으로 볼 수 있는 문서의 내용이 입력되는 곳 안녕하세요 ! 들여쓰기를 통해 부모, 자식의 관계를 파악이 .. 2024. 4. 1. 데이터 엔지니어링 5일차 TIL 학습내용 힙(heap)의 문제풀이 성질 : 최대/최소 원소를 빠르게 찾을 수 있다. 연산 heapify - 힙구성 insert - 삽입 remove - 삭제 동적계획(Dynamic Programming법 문제풀이 ex) 피보나치,Knapsack Problem 문제의 성질에 따라, 동적계획법으로 풀어냄으로써 탐색해야 하는 범위를 효과적으로 줄일 수 있다. 깊이/너비 우선탐색(DFS/BFS) 깊이 우선 탐색(DFS) : 한 정점에서 인접한 모든(아직 방문하지 않은) 정점을 방문하되, 각 인접 정점을 기준으로 깊이 우선 탐색을 끝낸 후 다음 정점으로 진행 너비우선탐색(BFS) : 한 정점에서 인접한 모든(아직 방문하지 않은)정점을 방문하고, 방문한 각 인접 정점을 기준으로(방문한 순서에 따라) 또 다시 너비 .. 2024. 3. 29. 이전 1 ··· 23 24 25 26 27 다음
