웹크롤링 개발환경 구축

라즈베리파이2(우분투)

python2.7, beautifulSoup, Scrapy, virtualenv, virtualenvwrapper

$sudo apt-get update

$sudo apt-get install build-essential -y 

(개발을 위한 기초적인 패키지)

$sudo apt-get install python-pip

(파이썬 패키지매니저)

$sudo pip install virtualenv virtualenvwrapper

(가상환경 패키지)

~/ vi .bashrc 맨아래에

export WORKON_HOME=$HOME/.virtualenvs

source /usr/local/bin/virtualenvwrapper.sh

$source .bashrc

$mkvirtualenv {가상환경명칭}

ex)mkvirtualenv oew

$workon {가상환경명칭} / deactivate

(가상환경 접속/해제)

(oew)$sudo apt-get install libxml2-dev libxslt-dev python-dev zlib1g-dev

(가상환경에서 라이브러리 설치)

(oew)$pip install lxml

(oew)$pip install beautifulsoup4

(oew)$sudo apt-get install libffi-de libssl-dev

(oew)$pip install scrapy