requests 패키지로 웹 페이지 데이터 수집하기

파이썬에서 웹 데이터를 수집할 때 가장 많이 사용되는 패키지 중 하나가 바로 requests입니다.

이 패키지는 HTTP 요청을 간편하게 보내고, 서버의 응답을 받아 처리하는 데 유용합니다.

이번 자료에서는 requests 패키지의 소개와 설치 방법, 그리고 GET과 POST 요청을 활용한 데이터 수집 실습을 다뤄보겠습니다.

requests 패키지는 파이썬에서 매우 간편하게 HTTP 요청을 보낼 수 있도록 돕는 패키지입니다.

주로 아래와 같이 데이터를 수집하기 위한 GET 요청, 데이터를 전송하기 위한 POST 요청을 보내기 위해 사용합니다.

GET 요청을 특정 웹 페이지의 HTML을 가져올 수 있습니다.

아래 코드는 GET 요청을 사용해 웹 페이지의 HTML을 가져오는 간단한 예시입니다.

복사
import requests

# 요청할 URL
url = 'https://www.example.com'

# GET 요청 보내기
response = requests.get(url)

# 서버 응답 확인
if response.status_code == 200:
    # HTML 내용 출력
    print(response.text)
else:
    print(f"Failed to retrieve data: {response.status_code}")

위 코드에서는 requests.get() 함수를 사용해 지정한 URL의 데이터를 가져옵니다.

이후 response.text를 통해 서버로부터 받은 HTML을 출력합니다.

POST 요청은 서버에 데이터를 보낼 때 사용됩니다.

예를 들어, 로그인 정보를 서버에 제출하거나, 양식을 통해 데이터를 전송할 때 주로 사용됩니다.

아래 코드는 POST 요청을 사용해 데이터를 서버로 전송하는 간단한 예시입니다.

복사
import requests

# 요청할 URL
url = 'https://www.example.com/login'

# 전송할 데이터
data = {
    'username': 'your_username',
    'password': 'your_password'
}

# POST 요청 보내기
response = requests.post(url, data=data)

# 서버 응답 확인
if response.status_code == 200:
    print("Login successful!")
    print(response.text)
else:
    print(f"Failed to login: {response.status_code}")

이 코드에서는 requests.post() 함수를 사용해 서버에 로그인 데이터를 전송합니다.

전송이 성공하면 서버로부터의 응답을 확인할 수 있습니다.