[mac os] m1 맥미니 selenium 크롤링 개발환경

 

1. 가상환경 설치

• 아래 이전글 링크를 참조하여 virtualenv wrapper를 설치/설정 해줍니다..

https://scv-life.tistory.com/31

[Mac OS] 애플M1 맥미니, 파이썬 개발 가상환경 설치/설정 하기

 

• 전용 가상환경을 만들어 줍니다.

mkvirtualenv studyCrawling

 

2. selenium 설치합니다.

pip install selenium

 

3. chromedriver 설치방법

chromedriver는 아래 3.1항처럼 보통 다운로드하여 설치합니다만, 맥에서는 패키지화되어 brew으로 설치하거나 또는 webdriver manager를 이용하여 설치가 가능합니다. 

가능하다면 webdriver manager를 이용하여 사용하는 것을 추천드립니다.

 

3.1 직접 다운로드 및 수동 설정 방식

• 다음 그림과 같이 크롬브라우저의 현재 설치버전을 확인합니다.

크롬브라우저의 메뉴탭의 도움말에서 '크롬정보'확인하기

크롬 설치 버전 확인

• 다음 그림과 같이 크롬브라우저의 현재 설치버전을 기준으로 아래 링크에 따라 다운로드 받습니다.

https://chromedriver.chromium.org/downloads

ChromeDriver - WebDriver for Chrome - Downloads

• 설치된 버전은 100.0 버전이기 때문에 아래와 같이 특정 버전을 다운로드 받습니다.

설치된 버전을 확인하여 특정버전을 내려 받습니다.

• 만약 chromedriver를 실행했을 경우 아래와 같은 에러가 발생된 다면.. 맥의 권한문제이기 때문에 xattr으로 실행권한을 수정해줍니다.

selenium.common.exceptions.WebDriverException: Message: Service ./chromedriver/chromedriver unexpectedly exited. Status code was: -9

xattr -d com.apple.quarantine chromedriver

 

 

3.2 brew 설치 방식

• 수동 다운로드에 따른 버전관리가 귀찮다면, 아래와 같이 brew 명령어를 이용하여 터미널에서 chromedriver를 설치해줍니다.

brew install --cask chromedriver

 

• 하지만, 권한문제는 동일하게 생길수 있기 때문에, 위 3.1항과 마찬가지로 권한을 재설정해줍니다.
• 참고로 brew로 설치된 chromedriver는 /opt/homebrew/bin 에 해당 파일이 있습니다.

 

3.3 chromedriver manager 자동 설치 방법 (추천)

가장 관리가 편하고 에러를 줄일 수 있는 설치 방법입니다.

해당 방법으로 설치하여 관리해주는 것이 가장 편합니다.

 

• wbdriver-manager 패키지를 설치 해줍니다.

pip install webdriver-manager

• webdriver-manager의  ChromeDriverManager 패키지를 이용하여 아래와 같이 소스코드에서 직접 driver를 설정해줍니다.

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
driver = webdriver.Chrome(ChromeDriverManager().install())