주니어 데이터 엔지니어 우솨's 개발일지

학습내용 뷰(Views)와 템플릿(Templates) render함수 Django의 내장 함수 중 하나로, HTTP 요청을 받아 해당 요청에 대해 원하는 템플릿 파일을 렌더링하여 응답하는 기능을 가지고 있다. render() 함수는 보통 Django의 뷰(View)에서 사용되며, 첫 번째 인자로 요청(Request) 객체, 두 번째 인자로 템플릿 파일의 경로, 그리고 세 번째 인자로 Context 변수를 입력 받는다. polls/view.py from .models import * from django.shortcuts import render def index(request) : latest_question_list = Question.objects.order_by('-pub_date')[:5] con..

학습내용 cmd에서 실행 pyhon 가상 환경 생성 py -m venv project-name 가성환경 활성화 django-project\Scripts\activate.bat Django 프로젝트 생성 django-admin startproject mysite 생성한 프로젝트를 서버에서 실행 python manage.py runserver 프로젝트란? 하나의 웹사이트라고 생각하면 된다. 하나의 프로젝트는 여러개의 앱으로 구성된다. app생성 python manage.py startapp polls 관계형 데이터베이스(RDB) 데이터를 행과 열로 이루어진 테이블의 형태로 구성하고, 테이블 간의 관계를 정의하는 데이터베이스이다. 테이블(Table) 데이터베이스에서 행과 열로 구성되어 있는 데이터의 집합을 의..

학습내용 데이터 시각화 데이터 시각화를 위해서 Matplotlib이나 Seaborn라이브러리를 사용한다. Seaborn 라이브러리 import seaborn as sns 꺾은선 그래프(Line Plot) sns.lineplot(x=[1, 3, 2, 4], y=[4, 3, 2, 1]) 막대 그래프(Bar Plot) sns.barplot(x=[1,2,3,4],y=[0.7,0.2,0.1,0.05]) Matplotlib 라이브러리 import matplotlib.pyplot as plt 제목추가 plt.title('제목') 라벨추가 x축 : plt.xlabel('라벨') y축 : plt.ylabel('라벨') 그래프의 축의 범위 지정 x축 : plt.xlim(0,10) - x축 범위를 0~10으로 지정 y축 :..

학습 내용 Selenium 불러오기 라이브러리 from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome(service=Service(ChromeDriverManager().install())) with - as : 주어진 명령이 끝나면 driver종료 드라이버에서 요소 찾기 요소 하나 찾기 .find_element(by, target) by : 대상을 찾는 기준 : ID, TAG_NAME, CLASS_NAME, ... target : 대상의 속성 요소 여러개 찾기 ..

학습내용 BeautifulSoup requests 모듈 사용시 아주 긴 텍스트이 정보를 가져오기 때문에 분석이 힘든 점을 보완하여 HTML코드를 분석해주는 HTML Parser를 이용할 수 있다. res = requests.get('https://www.example.com') soup = BeautifulSoup(res.text, 'html.parser') - response의 body를 텍스트로 받고, html로 분석 soup.prettify() -보기 편한 형태로 만들어준다. 폼 가져오기 -soup.title() -soup.head() -soup.body() 태그로 감싸진 특정요소 하나 찾기 - h1=soup.find('h1") 태그로 감싸진 특정요소 모두 찾기 -soup.find_all('p') ..

학습내용 Web Scraping 기초 인터넷 : 여러 컴퓨터끼리 네트워크를 연결한 것. Web은 인터넷 상에서 정보를 교환하기 위한 시스템이다. Client : 정보를 요청하는 컴퓨터 Server : 정보 제공하는 컴퓨터 HTTP(Hyper Text Transfer Protocol) 웹 상에서 정보를 주고받기 위한 약속 http요청시 필요사항 - Get, Host, User-Agent 웹 브라우저는 HTML요청을 보내고, HTTP 응답에 담긴 HTML문서를 우리가 보기 쉬운 형태로 화면을 그려주는 역할을 한다. 웹 페이지는 HTML형식으로 되어있고, 웹 브라우저는 우리가 HTTP요청을 보내고, 응답받은 HTML코드를 렌더링 해주는 역할을 하다. reauests requests 라이브러리를 불러온 후, N..