分类 Python 下的文章



title: Python_pyspider
date: 2016-11-02 10:34:41
tags: pyspider

category: Python

mac 下pyspider的安装

安装环境:OS X EI Capitan 版本 10.11.6 Python2.7
此文章书写原因:经过简单命令pip install pyspider安装失败后,各种解决问题不胜其烦,问题不断。
失败原因:EI Capitan 引入了SIP机制(System Integrity Protection)默认下系统启动SIP系统完整性保护机制,无论是对于硬盘还是运行时的进程 限制对系统目录的写操作
安装成功命令:pip install pyspider —user -U (基于用户的权限来安装模块包)
我最终还是放弃了pyspider的使用,对于一名Python小白来说,花在安装爬虫环境的时间太多了,问题也太多,时间效率很不合算。
现在转而使用了一些简单的库BeautifulSoup和PyQuery,两个都是很优秀的html解析库。
熟悉jQuery语法的人推荐使用PyQuery,PyQuery据说是严格按照jQuery语法实现的一套Python解析库。
其他人可以尝试一下BeautifulSoup,简洁而强大。

scrapy 使用总结

scrapy crawl m530pcrawl会去搜搜cmd目录下的scrapy.cfg
有些Scrapy命令(比如 crawl)要求必须在Scrapy项目中运行。 您可以通过下边的 commands reference 来了解哪些命令需要在项目中运行,哪些不用。

需求:pycharm为项目添加已经存在的venv虚拟环境
前几天学习Django,开始是terminal + sublime text。后来学的差不多了,想想做项目还是得上pycharm,所以开始折腾。
说明,pycharm create project是会询问是否创建新的venv的,换句话说,其实pycharm是建议设置基础引用Python版本,然后在他的基础上,每个项目都有自己的venv。这种策略很好,每个项目的环境互不干扰。奈何范子处于学习阶段,local项目已经有了本地的venv,不需要重新创建。这时候我就需要考虑如何添加一个local venv。
然而道路颇多波折,localvenv的path是确切知道的,但是在pycharm的configurations中Python interperter是一个选择栏,而没有添加栏。这就尴尬了!
pycharm_config
万幸经过摸索,在设置中(Mac版 cmd+,)发现是可以添加的
pycharm_setting
在这里添加好了之后,在返回configurations,出现了新的选项,选择就可以了。

在用户目录下创建文件夹.pip,在.pip下创建pip.conf
pip.conf填入内容
[global]
index-url = https://pypi.douban.com/simple
[list]
format=columns

virtualenv就是用来为一个应用创建一套“隔离”的Python运行环境。
Python3.3以上的版本通过venv模块原生支持虚拟环境,可以代替Python之前的virtualenv。
该venv模块提供了创建轻量级“虚拟环境”,提供与系统python的隔离支持。每一个虚拟环境都有其自己的Python二进制(允许有不同的Python版本创作环境),并且可以拥有自己独立的一套Python包。
需要注意的是,在Python3.3中使用”venv”命令创建的环境不包含”pip”,你需要进行手动安装。在Python3.4中改进了这一个缺陷。
安装 python -m venv .
启动 source venv/bin/activate
退出 deactivate
 
 
virtualenv是如何创建“独立”的Python运行环境的呢?原理很简单,就是把系统Python复制一份到virtualenv的环境,用命令source venv/bin/activate进入一个virtualenv环境时,virtualenv会修改相关环境变量,让命令pythonpip均指向当前的virtualenv环境。