lesson1Title

lesson2Title

lesson3Title

lesson4Title

lesson5Title

lesson6Title

lesson7Title

lesson8Title

pythonIntroCrawlingChapter3Title

lesson9Title

lesson10Title

lesson11Title

pythonIntroCrawlingChapter1Title

pythonIntroCrawlingChapter2Title

pythonIntroCrawlingChapter4Title

import requests
from bs4 import BeautifulSoup

# HTML 응답 처리 예제
html_url = 'https://example.com'
html_response = requests.get(html_url)
html_soup = BeautifulSoup(html_response.text, 'html.parser')
title = html_soup.find('title').text
print("웹 페이지 제목:", title)

# JSON 응답 처리 예제
json_url = 'https://api.github.com/'
json_response = requests.get(json_url)
json_data = json_response.json()
print("JSON 응답 데이터:", json_data)

# HTML 및 JSON 응답 처리하기

웹 API를 사용하거나 웹 페이지를 크롤링할 때, 서버로부터 받는 응답은 다양한 형식을 가질 수 있습니다.

<br />

## 1. HTML 응답

웹 페이지의 경우, 응답은 대개 **HTML** 형식으로 옵니다. 정적인 HTML 데이터는 `BeautifulSoup`과 같은 라이브러리로 데이터를 파싱하고 추출할 수 있습니다.

이 경우 `requests`로 HTML 페이지를 요청한 후, `BeautifulSoup`로 파싱하고 원하는 데이터를 추출합니다.

```python title="HTML 데이터 추출 예제"
import requests
from bs4 import BeautifulSoup

response = requests.get('https://example.com')
soup = BeautifulSoup(response.text, 'html.parser')

# 웹 페이지 제목 추출
title = soup.find('title').text
```

<br />

## 2. JSON 응답

서버에서 전달하는 API 응답은 대부분 JSON 형식입니다. 

JSON 응답을 받으면 `response.json()` 메소드를 사용해 파이썬 객체로 변환할 수 있습니다.

객체 변환은 파이썬의 딕셔너리(dictionary) 형태로 이루어지며, 이렇게 변환된 데이터는 파이썬 코드로 쉽게 활용할 수 있습니다.

여기서 Python의 `json` 모듈을 사용하여 JSON 데이터를 파이썬 객체로 변환할 수 있습니다.


```python title="JSON 데이터 활용 예제"
import requests
from bs4 import BeautifulSoup

response = requests.get('https://httpbin.org/get')

# JSON 데이터 파싱
data = response.json()

url = data['url']

# JSON 데이터 출력
print(data)

print('-' * 20)

# JSON 데이터 활용
print("Host:", url)
```

<br />

## 실습

화면 오른쪽 _`코드 실행`_ 버튼을 누르고, 크롤링 결과를 확인하거나 코드를 수정해 보세요!

python_execution