Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- 데이터 시각화
- beuatifulsoup
- PCCP
- 코딩테스트
- 코딩 테스트
- 코테 연습
- 데브코스
- cloud platform
- 팀 프로젝트
- airflow
- SQL
- 슈퍼셋
- 데이터 엔지니어
- HTML
- superset
- django
- Selenium
- Spark
- Tableau
- Kafka
- Til
- Snowflake
- AWS
Archives
- Today
- Total
목록Web Data Crawling/Beautiful Soup (1)
주니어 데이터 엔지니어 우솨's 개발일지
BeuatifulSoup
BeautifulSouprequests 모듈 사용시 아주 긴 텍스트이 정보를 가져오기 때문에 분석이 힘든 점을 보완하여 HTML코드를 분석해주는 HTML Parser를 이용할 수 있다.res = requests.get('https://www.example.com')soup = BeautifulSoup(res.text, 'html.parser')- response의 body를 텍스트로 받고, html로 분석soup.prettify()-보기 편한 형태로 만들어준다.폼 가져오기-soup.title()-soup.head()-soup.body()태그로 감싸진 특정요소 하나 찾기- h1=soup.find('h1")태그로 감싸진 특정요소 모두 찾기-soup.find_all('p')태그 이름 가져오기-h1.name태그..
Web Data Crawling/Beautiful Soup
2024. 4. 28. 12:33