주니어 데이터 엔지니어 우솨's 개발일지

BeautifulSouprequests 모듈 사용시 아주 긴 텍스트이 정보를 가져오기 때문에 분석이 힘든 점을 보완하여 HTML코드를 분석해주는 HTML Parser를 이용할 수 있다.res = requests.get('https://www.example.com')soup = BeautifulSoup(res.text, 'html.parser')- response의 body를 텍스트로 받고, html로 분석soup.prettify()-보기 편한 형태로 만들어준다.폼 가져오기-soup.title()-soup.head()-soup.body()태그로 감싸진 특정요소 하나 찾기- h1=soup.find('h1")태그로 감싸진 특정요소 모두 찾기-soup.find_all('p')태그 이름 가져오기-h1.name태그..

Selenium웹 브라우저를 자동화하는 라이브러리- 응답 후 시간을 지연시킬 수 있다- UI와의 상호작용이 가능하다(키보드 입력과 마우스 클릭등의 상호작용이 가능) Selenium 불러오기라이브러리from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom webdriver_manager.chrome import ChromeDriverManagerdriver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))with - as : 주어진 명령이 끝나면 driver종료드라이버에서 요소 찾기요소 하나 찾기.find_element(by, targ..

Web Scraping 기초인터넷 : 여러 컴퓨터끼리 네트워크를 연결한 것.Web은 인터넷 상에서 정보를 교환하기 위한 시스템이다.Client : 정보를 요청하는 컴퓨터Server : 정보 제공하는 컴퓨터HTTP(Hyper Text Transfer Protocol)웹 상에서 정보를 주고받기 위한 약속http요청시 필요사항- Get, Host, User-Agent웹 브라우저는 HTML요청을 보내고, HTTP 응답에 담긴 HTML문서를 우리가 보기 쉬운 형태로 화면을 그려주는 역할을 한다.웹 페이지는 HTML형식으로 되어있고, 웹 브라우저는 우리가 HTTP요청을 보내고, 응답받은 HTML코드를 렌더링 해주는 역할을 하다. Requestsrequests 라이브러리를 불러온 후, NAVER의 홈 페이지를 요청한..

HTML(Hypertext Markup Language)웹 브라우저가 이해할 수 있는 언어CSS(Cascading Style Sheets)문서를 예쁘게 꾸미는 언어Java Script문서에 기능을 만들어주는 언어HTML콘테츠를 가지는 태그 콘텐츠 콘텐츠를 가지지 않는 태그 두가지로 구분된다.속성과 값 Contenta태그 - 링크href속성을 사용해서 이동하고자 하는 파일 혹은 url을 작성한다.target속성을 사용해서 이동해야 할 링크를 새창(_blank), (_self)등 원하는 타겟을 지정할 수 있다.HTML의 기본 문서 #문서버전    #기본언어설정                #실제 사용자가 눈으로 볼 수 있는 문서의 내용이 입력되는 곳            안녕하세요 !            들..

문제 설명 주어진 항공권을 모두 이용하여 여행경로를 짜려고 합니다. 항상 "ICN" 공항에서 출발합니다.항공권 정보가 담긴 2차원 배열 tickets가 매개변수로 주어질 때, 방문하는 공항 경로를 배열에 담아 return 하도록 solution 함수를 작성해주세요.제한사항모든 공항은 알파벳 대문자 3글자로 이루어집니다.주어진 공항 수는 3개 이상 10,000개 이하입니다.tickets의 각 행 [a, b]는 a 공항에서 b 공항으로 가는 항공권이 있다는 의미입니다.주어진 항공권은 모두 사용해야 합니다.만일 가능한 경로가 2개 이상일 경우 알파벳 순서가 앞서는 경로를 return 합니다.모든 도시를 방문할 수 없는 경우는 주어지지 않습니다.def solution(tickets): answer = []..

문제 설명아래와 같이 5와 사칙연산만으로 12를 표현할 수 있습니다.12 = 5 + 5 + (5 / 5) + (5 / 5)12 = 55 / 5 + 5 / 512 = (55 + 5) / 55를 사용한 횟수는 각각 6,5,4 입니다. 그리고 이중 가장 작은 경우는 4입니다.이처럼 숫자 N과 number가 주어질 때, N과 사칙연산만 사용해서 표현 할 수 있는 방법 중 N 사용횟수의 최솟값을 return 하도록 solution 함수를 작성하세요.제한사항N은 1 이상 9 이하입니다.number는 1 이상 32,000 이하입니다.수식에는 괄호와 사칙연산만 가능하며 나누기 연산에서 나머지는 무시합니다.최솟값이 8보다 크면 -1을 return 합니다.def solution(N, number): s = [set(..