lesson1Title

lesson2Title

lesson3Title

lesson4Title

lesson5Title

lesson6Title

lesson7Title

lesson8Title

lesson9Title

lesson10Title

pythonIntroCrawlingChapter4Title

lesson11Title

pythonIntroCrawlingChapter1Title

pythonIntroCrawlingChapter2Title

pythonIntroCrawlingChapter3Title

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pandas as pd
import time

# Chrome 웹드라이버를 실행하여 브라우저 창 열기
driver = webdriver.Chrome()

# Yahoo Finance의 'Markets' 페이지로 이동
driver.get('https://finance.yahoo.com/markets/')

# 페이지가 완전히 로드될 때까지 대기 (최대 10초 대기)
wait = WebDriverWait(driver, 10)

# 'Americas' 섹션을 찾습니다.
try:
    # 'Americas'라는 텍스트를 가진 h3 태그 찾기
    americas_section = wait.until(EC.presence_of_element_located((By.XPATH, "//h3[text()='Americas']")))

    # 'Americas' 섹션까지 스크롤 이동
    actions = ActionChains(driver)

    # 'Americas' 섹션으로 마우스 이동
    actions.move_to_element(americas_section).perform()

    # 'Americas' 섹션의 부모 요소에서 테이블 찾기
    parent_section = americas_section.find_element(By.XPATH, "./ancestor::section[contains(@data-testid, 'world-indices')]")

    # 테이블 찾기
    table = parent_section.find_element(By.XPATH, ".//table")

    # 테이블의 헤더 추출
    headers = [header.text for header in table.find_elements(By.XPATH, ".//th")]

    # 테이블의 행 추출
    rows = table.find_elements(By.XPATH, ".//tbody/tr")

    # 데이터 저장을 위한 리스트 초기화
    table_data = []

    # 각 행의 열 데이터를 추출하여 리스트에 추가
    for row in rows:
        # 각 행의 열 데이터를 추출
        columns = row.find_elements(By.XPATH, ".//td")

        row_data = {}  # 먼저 빈 딕셔너리 생성

        # headers 리스트와 columns 리스트의 길이가 같다고 가정
        for i in range(len(headers)):
            # headers 리스트의 i번째 요소를 가져옴
            header = headers[i]

            # columns 리스트의 i번째 요소의 텍스트를 가져옴
            column_value = columns[i].text
            
            # header를 키로, column_value를 값으로 하여 딕셔너리에 추가
            row_data[header] = column_value

        # 데이터를 리스트에 추가
        table_data.append(row_data)

    # 추출된 데이터를 판다스 데이터프레임으로 변환
    df = pd.DataFrame(table_data)

    # 'Name'과 'Price' 컬럼만 선택하여 정렬된 데이터프레임 출력
    df_filtered = df[['Name', 'Price']]

    # 정렬된 데이터 출력
    print(df_filtered)

except Exception as e:
    print(f"ERROR: WebDriver error occurred: {str(e)}")

finally:
    # 브라우저를 닫음
    driver.quit()

# 주가 데이터 크롤링하기

주식 및 차트 데이터는 시간에 따라 끊임없이 변하는 `동적인` 특성을 가집니다.

이러한 실시간 변화를 추적하는 것은 데이터 추출에 매우 중요합니다.

지금까지는 빠르게 변하지 않는 `정적인` 데이터를 추출하는 방법을 배웠으며, 이를 위해 requests, BeautifulSoup 라이브러리를 사용했습니다.

하지만 JavaScript로 제어하는 `동적인 데이터`를 추출하기 위해서는 **Selenium**(셀레니움)이라는 라이브러리를 사용해야 합니다.

실습 화면에서 Selenium을 활용해 Yahoo Finance에서 미국 주가 지수를 크롤링하는 코드를 확인해 보세요.

> 참고: Selenium에 대한 더 자세한 내용은 <a href="/packages/automation-intro" target="_blank">파이썬과 AI로 끝내는 업무 자동화</a>의 3번째 코스인 `퇴근을 앞당기는 업무 자동화 필수 지식`, Chapter 3 `웹 크롤링으로 데이터 수집하기`에서 확인할 수 있습니다.

<br />

## 실습

화면 오른쪽 _`코드 실행`_ 버튼을 누르고, 크롤링 결과를 확인하거나 코드를 수정해 보세요!

selenium