lesson1Title

lesson2Title

lesson3Title

lesson4Title

lesson5Title

lesson6Title

lesson7Title

lesson8Title

lesson9Title

lesson10Title

automationIntroOtChapter1Title

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pandas as pd
import time

# Chrome 웹드라이버를 실행하여 브라우저 창 열기
driver = webdriver.Chrome()

# Yahoo Finance의 'Markets' 페이지로 이동
driver.get('https://finance.yahoo.com/markets/')

# 페이지가 완전히 로드될 때까지 대기 (최대 10초 대기)
wait = WebDriverWait(driver, 10)

# 'Americas' 섹션을 찾습니다.
try:
    # 'Americas'라는 텍스트를 가진 h3 태그 찾기
    americas_section = wait.until(EC.presence_of_element_located((By.XPATH, "//h3[text()='Americas']")))

    # 'Americas' 섹션까지 스크롤 이동
    actions = ActionChains(driver)

    # 'Americas' 섹션으로 마우스 이동
    actions.move_to_element(americas_section).perform()

    # 'Americas' 섹션의 부모 요소에서 테이블 찾기
    parent_section = americas_section.find_element(By.XPATH, "./ancestor::section[contains(@data-testid, 'world-indices')]")

    # 테이블 찾기
    table = parent_section.find_element(By.XPATH, ".//table")

    # 테이블의 헤더 추출
    headers = [header.text for header in table.find_elements(By.XPATH, ".//th")]

    # 테이블의 행 추출
    rows = table.find_elements(By.XPATH, ".//tbody/tr")

    # 데이터 저장을 위한 리스트 초기화
    table_data = []

    # 각 행의 열 데이터를 추출하여 리스트에 추가
    for row in rows:
        # 각 행의 열 데이터를 추출
        columns = row.find_elements(By.XPATH, ".//td")

        row_data = {}  # 먼저 빈 딕셔너리 생성

        # headers 리스트와 columns 리스트의 길이가 같다고 가정
        for i in range(len(headers)):
            # headers 리스트의 i번째 요소를 가져옴
            header = headers[i]

            # columns 리스트의 i번째 요소의 텍스트를 가져옴
            column_value = columns[i].text
            
            # header를 키로, column_value를 값으로 하여 딕셔너리에 추가
            row_data[header] = column_value

        # 데이터를 리스트에 추가
        table_data.append(row_data)

    # 추출된 데이터를 판다스 데이터프레임으로 변환
    df = pd.DataFrame(table_data)

    # 'Symbol'과 'Price' 컬럼만 선택하여 정렬된 데이터프레임 출력
    df_filtered = df[['Symbol', 'Price']]

    # 정렬된 데이터 출력
    print(df_filtered)

except Exception as e:
    print(f"ERROR: WebDriver error occurred: {str(e)}")

finally:
    # 브라우저를 닫음
    driver.quit()

# Selenium으로 미국 주가 지수 크롤링하기

이전 수업에서 소개한 `requests`와 `BeautifulSoup` 라이브러리를 이용하면, 특정 웹 페이지의 HTML 코드를 가져와 원하는 데이터를 추출할 수 있습니다.

하지만 웹 페이지가 **동적으로 생성**되어, 사용자의 행동에 따라 내용이 변경되는 경우에는 'requests'와 'BeautifulSoup' 라이브러리만으로 원하는 데이터를 추출할 수 없습니다.

현대의 웹사이트는 시시각각 변화하는 데이터를 서버에서 받아 사용자에게 보여주며, 이러한 웹 페이지를 `동적 웹 페이지`라고 합니다.

'requests'와 'BeautifulSoup' 라이브러리는 서버에서 수신한 동적 데이터를 처리할 수 없기 때문에, 동적 데이터를 추출하려면 다른 방법이 필요합니다.

> 이런 경우, 동적 웹 페이지를 크롤링할 때 사용하는 것이 `셀레니움(Selenium)` 라이브러리입니다.

<br />

## Selenium 라이브러리 소개

`Selenium`은 웹 페이지를 자동으로 제어하거나 테스트하기 위해 사용하는 라이브러리입니다.

웹 브라우저를 직접 제어할 수 있기 때문에, 동적 데이터를 크롤링하거나 웹 페이지의 특정 요소를 클릭하거나 입력하는 등의 작업을 수행할 수 있습니다.

<br />

## Selenium으로 미국 주가 지수 크롤링 실습

이번 실습에서는 Selenium을 사용해 미국 주가 지수를 **실시간으로 크롤링**하는 방법을 소개하겠습니다.

실습에서 사용할 코드는 `Yahoo Finance` 웹사이트에서 실시간으로 미국 주가 지수를 크롤링하는 코드입니다.

```python title="미국 주가 지수 크롤링 코드"
# Chrome 웹드라이버를 실행하여 브라우저 창 열기
driver = webdriver.Chrome()

# Yahoo Finance의 'Markets' 페이지로 이동
driver.get('https://finance.yahoo.com/markets/')

# 페이지가 완전히 로드될 때까지 대기 (최대 10초 대기)
wait = WebDriverWait(driver, 10)

...(중략)...
```

<br />

Selenium 관련 자세한 내용은 **퇴근을 앞당기는 업무 자동화 필수 지식** 코스의 **Chapter 3**에서 자세히 다루겠습니다.

코드 에디터의 초록색으로 표시된 `▶︎ 실행` 버튼을 누르고, 미국 주가 지수를 실시간으로 확인해 보세요!

selenium