본문 바로가기

데브코스65

데이터 엔지니어링 11일차 TIL 학습내용 cmd에서 실행 pyhon 가상 환경 생성 py -m venv project-name 가성환경 활성화 django-project\Scripts\activate.bat Django 프로젝트 생성 django-admin startproject mysite 생성한 프로젝트를 서버에서 실행 python manage.py runserver 프로젝트란? 하나의 웹사이트라고 생각하면 된다. 하나의 프로젝트는 여러개의 앱으로 구성된다. app생성 python manage.py startapp polls 관계형 데이터베이스(RDB) 데이터를 행과 열로 이루어진 테이블의 형태로 구성하고, 테이블 간의 관계를 정의하는 데이터베이스이다. 테이블(Table) 데이터베이스에서 행과 열로 구성되어 있는 데이터의 집합을 의.. 2024. 4. 8.
데이터 엔지니어링 10일차 TIL 학습내용 데이터 시각화 데이터 시각화를 위해서 Matplotlib이나 Seaborn라이브러리를 사용한다. Seaborn 라이브러리 import seaborn as sns 꺾은선 그래프(Line Plot) sns.lineplot(x=[1, 3, 2, 4], y=[4, 3, 2, 1]) 막대 그래프(Bar Plot) sns.barplot(x=[1,2,3,4],y=[0.7,0.2,0.1,0.05]) Matplotlib 라이브러리 import matplotlib.pyplot as plt 제목추가 plt.title('제목') 라벨추가 x축 : plt.xlabel('라벨') y축 : plt.ylabel('라벨') 그래프의 축의 범위 지정 x축 : plt.xlim(0,10) - x축 범위를 0~10으로 지정 y축 :.. 2024. 4. 5.
데이터 엔지니어링 9일차 TIL 학습 내용 Selenium 불러오기 라이브러리 from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome(service=Service(ChromeDriverManager().install())) with - as : 주어진 명령이 끝나면 driver종료 드라이버에서 요소 찾기 요소 하나 찾기 .find_element(by, target) by : 대상을 찾는 기준 : ID, TAG_NAME, CLASS_NAME, ... target : 대상의 속성 요소 여러개 찾기 .. 2024. 4. 4.
데이터 엔지니어링 8일차 TIL 학습내용 BeautifulSoup requests 모듈 사용시 아주 긴 텍스트이 정보를 가져오기 때문에 분석이 힘든 점을 보완하여 HTML코드를 분석해주는 HTML Parser를 이용할 수 있다. res = requests.get('https://www.example.com') soup = BeautifulSoup(res.text, 'html.parser') - response의 body를 텍스트로 받고, html로 분석 soup.prettify() -보기 편한 형태로 만들어준다. 폼 가져오기 -soup.title() -soup.head() -soup.body() 태그로 감싸진 특정요소 하나 찾기 - h1=soup.find('h1") 태그로 감싸진 특정요소 모두 찾기 -soup.find_all('p') .. 2024. 4. 3.
데이터 엔지니어링 7일차 TIL 학습내용 Web Scraping 기초 인터넷 : 여러 컴퓨터끼리 네트워크를 연결한 것. Web은 인터넷 상에서 정보를 교환하기 위한 시스템이다. Client : 정보를 요청하는 컴퓨터 Server : 정보 제공하는 컴퓨터 HTTP(Hyper Text Transfer Protocol) 웹 상에서 정보를 주고받기 위한 약속 http요청시 필요사항 - Get, Host, User-Agent 웹 브라우저는 HTML요청을 보내고, HTTP 응답에 담긴 HTML문서를 우리가 보기 쉬운 형태로 화면을 그려주는 역할을 한다. 웹 페이지는 HTML형식으로 되어있고, 웹 브라우저는 우리가 HTTP요청을 보내고, 응답받은 HTML코드를 렌더링 해주는 역할을 하다. reauests requests 라이브러리를 불러온 후, N.. 2024. 4. 2.
데이터 엔지니어링 6일차 TIL 학습 내용 HTML(Hypertext Markup Language) 웹 브라우저가 이해할 수 있는 언어 CSS(Cascading Style Sheets) 문서를 예쁘게 꾸미는 언어 Java Script 문서에 기능을 만들어주는 언어 HTML 콘테츠를 가지는 태그 콘텐츠 콘텐츠를 가지지 않는 태그 두가지로 구분된다. 속성과 값 Content a태그 - 링크 href속성을 사용해서 이동하고자 하는 파일 혹은 url을 작성한다. target속성을 사용해서 이동해야 할 링크를 새창(_blank), (_self)등 원하는 타겟을 지정할 수 있다. HTML의 기본 문서 #문서버전 #기본언어설정 #실제 사용자가 눈으로 볼 수 있는 문서의 내용이 입력되는 곳 안녕하세요 ! 들여쓰기를 통해 부모, 자식의 관계를 파악이 .. 2024. 4. 1.