lesson1Title

lesson2Title

lesson3Title

lesson4Title

lesson5Title

lesson6Title

pythonIntroCrawlingChapter2Title

lesson7Title

lesson8Title

lesson9Title

lesson10Title

lesson11Title

pythonIntroCrawlingChapter1Title

pythonIntroCrawlingChapter3Title

pythonIntroCrawlingChapter4Title

import requests
from bs4 import BeautifulSoup
import json

# 웹 페이지 가져오기
url = 'http://example.com'
response = requests.get(url)

# 인코딩 확인 및 설정
response.encoding = 'utf-8'

# BeautifulSoup 객체 생성
soup = BeautifulSoup(response.text, 'html.parser')

# 데이터 추출 예시 - 웹페이지의 제목
title = soup.find('title').text.strip()

# 데이터 정제
title = title.replace('\n', '').replace('\r', '')

# 추출한 데이터
data = {'title': title}

# JSON 형식으로 데이터 출력
print(json.dumps(data, ensure_ascii=False, indent=2))

# 문자 인코딩 및 데이터 처리

`인코딩`은 데이터를 특정 형식으로 **변환**하는 과정을 말합니다.

인코딩은 컴퓨터 시스템에서 데이터를 저장, 처리, 전송하는 데 필요한 과정으로, 다양한 형태의 정보(예: 텍스트, 이미지, 오디오 등)를 컴퓨터가 이해할 수 있는 방식으로 변환합니다.

`문자 인코딩`은 문자나 기호들을 컴퓨터에서 사용할 수 있는 데이터 형식, 즉 숫자로 변환하는 과정입니다.

컴퓨터는 기본적으로 숫자만을 이해할 수 있기 때문에, 인간이 사용하는 다양한 문자 시스템(예: 알파벳, 한글, 한자, 아라비아 숫자 등)을 숫자로 변환하여 저장, 처리, 전송해야 합니다.

문자 인코딩은 이러한 변환 규칙을 정의한 것으로, ASCII, UTF-8, ISO-8859-1와 같은 다양한 문자 인코딩 방식이 있습니다.

 

## 인코딩 확인 및 설정하기

Python `requests` 라이브러리는 올바른 인코딩을 대부분 자동으로 감지합니다.

`BeautifulSoup` 객체를 생성할 때 인코딩을 명시적으로 지정할 수도 있습니다.

```python title="인코딩 확인"
response = requests.get('http://example.com')
response.encoding = 'utf-8' # 인코딩 설정

soup = BeautifulSoup(response.text, 'html.parser')
```

 

## 데이터 정제 및 저장 방법

크롤링으로 수집한 데이터를 효율적으로 저장하고 활용하기 위해서는 데이터 정제 및 저장 과정이 필요합니다.

 

### 데이터 정제

Python의 내장 함수(예: `strip()`, `replace()`)를 사용해 불필요한 공백, HTML 태그 등을 제거합니다.

 

### 데이터 저장

크롤링한 데이터는 텍스트 파일, CSV, JSON 등의 파일 형태로 저장하거나, 별도의 데이터베이스에 저장합니다.

```python title="텍스트 파일로 저장"
import json

data = {'name': 'Alice', 'link': 'http://example.com'}

# JSON 형식으로 data.json 파일에 저장
with open('data.json', 'w', encoding='utf-8') as file:
 json.dump(data, file, ensure_ascii=False)
```

 

## 실습

화면 오른쪽 _`코드 실행`_ 버튼을 누르고, 크롤링 결과를 확인하거나 코드를 수정해 보세요!

python_execution