requests 패키지로 웹 페이지 데이터 수집하기

파이썬에서 웹 데이터를 수집할 때 가장 많이 사용되는 패키지 중 하나가 바로 requests입니다.

이 패키지는 HTTP 요청을 보내고, 서버의 응답을 받아 처리하는 과정을 간편하게 수행할 수 있도록 돕습니다.

이번 자료에서는 requests 패키지에 대한 소개와 GET과 POST 요청을 활용한 데이터 수집 방법을 알아보겠습니다.

requests 패키지는 파이썬에서 매우 간편하게 HTTP 요청을 보낼 수 있도록 돕는 패키지입니다.

주로 아래와 같이 데이터를 수집하기 위한 GET 요청, 데이터를 전송하기 위한 POST 요청을 보내기 위해 사용합니다.

실제로 컴퓨터에서 requests 패키지를 사용하려면, pip install requests 명령어로 패키지를 설치해야 합니다.

GET 요청을 활용하면 특정 웹 페이지의 HTML을 가져올 수 있습니다.

아래 코드는 GET 요청을 사용해 www.example.com 웹 페이지의 HTML을 가져오는 간단한 예시입니다.

Copy
import requests

# 요청할 URL
url = 'https://www.example.com'

# GET 요청 보내기
response = requests.get(url)

# 서버 응답 확인
if response.status_code == 200:
    # HTML 내용 출력
    print(response.text)
else:
    print(f"Failed to retrieve data: {response.status_code}")

위 코드에서는 requests.get() 함수를 사용해 지정한 URL의 데이터를 가져옵니다.

이후 response.text를 통해 서버로부터 받은 HTML을 출력합니다.

POST 요청은 서버에 데이터를 보낼 때 사용됩니다.

예를 들어 로그인 정보를 서버에 제출하거나, 새로운 데이터를 업로드할 때 POST 요청을 사용할 수 있습니다.

아래 코드는 POST 요청을 사용해 데이터를 서버로 전송하는 간단한 예시입니다.

Copy
import requests

# 요청할 URL
url = 'https://www.example.com/login'

# 전송할 데이터
data = {
    'username': 'your_username',
    'password': 'your_password'
}

# POST 요청 보내기
response = requests.post(url, data=data)

# 서버 응답 확인
if response.status_code == 200:
    print("Login successful!")
    print(response.text)
else:
    print(f"Failed to login: {response.status_code}")

이 코드에서는 requests.post() 함수를 사용해 서버에 로그인 데이터를 전송합니다.

전송이 성공하면 서버로부터의 응답(예: 로그인 성공 메시지)을 확인할 수 있습니다.