腾讯在职8年Python开发经验的程序员写给初学者的总结，希望有用

2023-02-26

html test nose

 当我开始学习Python的时候，有些事我希望我一早就知道。我花费了很多时间才学会这些东西。我想要把这些重点都编纂到一篇文章当中。这篇文章的目标读者，是刚刚开始学习Python语言的有经验的程序员，想要跳过前几个月研究Python使用的那些他们已经在用的类似工具。包管理和标准工具这两节对于

当我开始学习Python的时候，有些事我希望我一早就知道。我花费了很多时间才学会这些东西。我想要把这些重点都编纂到一篇文章当中。这篇文章的目标读者，是刚刚开始学习Python语言的有经验的程序员，想要跳过前几个月研究Python使用的那些他们已经在用的类似工具。包管理和标准工具这两节对于初学者来说同样很有帮助。

我的经验主要基于Python 2.7，但是大多数的工具对任何版本都有效。

如果你从来没有使用过Python，我强烈建议你阅读Python introduction，因为你需要知道基本的语法和类型。

包管理

Python世界最棒的地方之一，就是大量的第三方程序包。同样，管理这些包也非常容易。按照惯例，会在 requirements.txt 文件中列出项目所需要的包。每个包占一行，通常还包含版本号。这里有一个例子，本博客使用Pelican：

; html-script: false ]pelican==3.3 
Markdown 
pelican-extended-sitemap==1.0.0 
1.
2.
3.

Python 程序包有一个缺陷是，它们默认会进行全局安装。我们将要使用一个工具，使我们每个项目都有一个独立的环境，这个工具叫virtualenv。我们同样要安装一个更高级的包管理工具，叫做pip，他可以和virtualenv配合工作。

首先，我们需要安装pip。大多数python安装程序已经内置了easy_install(python默认的包管理工具)，所以我们就使用easy_install pip来安装pip。这应该是你***一次使用easy_install 了。如果你并没有安装easy_install ，在linux系统中，貌似从python-setuptools 包中可以获得。

如果你使用的Python版本高于等于3.3，那么Virtualenv 已经是标准库的一部分了，所以没有必要再去安装它了。

下一步，你希望安装virtualenv和virtualenvwrapper。Virtualenv使你能够为每个项目创造一个独立的环境。尤其是当你的不同项目使用不同版本的包时，这一点特别有用。Virtualenv wrapper 提供了一些不错的脚本，可以让一些事情变得容易。

Shell

; html-script: false ]sudo pip install virtualenvwrapper 
1.

当virtualenvwrapper安装后，它会把virtualenv列为依赖包，所以会自动安装。

打开一个新的shell，输入mkvirtualenv test 。如果你打开另外一个shell，则你就不在这个virtualenv中了，你可以通过workon test 来启动。如果你的工作完成了，可以使用deactivate 来停用。

IPython

IPython是标准Python交互式的编程环境的一个替代品，支持自动补全，文档快速访问，以及标准交互式编程环境本应该具备的很多其他功能。

当你处在一个虚拟环境中的时候，可以很简单的使用pip install ipython 来进行安装，在命令行中使用ipython 来启动。

另一个不错的功能是”笔记本”，这个功能需要额外的组件。安装完成后，你可以使用ipython notebook，而且会有一个不错的网页UI，你可以创建笔记本。这在科学计算领域很流行。

测试

我推荐使用nose或是py.test。我大部分情况下用nose。它们基本上是类似的。我将讲解nose的一些细节。

这里有一个人为创建的可笑的使用nose进行测试的例子。在一个以test_开头的文件中的所有以test_开头的函数，都会被调用：

Python 
 
; html-script: false ]def test_equality(): 
 assert True == False 
1.
2.
3.
4.

不出所料，当运行nose的时候，我们的测试没有通过。

Shell

; html-script: false ](test)jhaddad@jons-mac-pro ~VIRTUAL_ENV/src$ nosetests  
F 
====================================================================== 
FAIL: test_nose_example.test_equality 
---------------------------------------------------------------------- 
Traceback (most recent call last): 
 File "/Users/jhaddad/.virtualenvs/test/lib/python2.7/site-packages/nose/case.py", line 197, in runTest 
 self.test(*self.arg) 
 File "/Users/jhaddad/.virtualenvs/test/src/test_nose_example.py", line 3, in test_equality 
 assert True == False 
AssertionError 
  
---------------------------------------------------------------------- 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.

nose.tools中同样也有一些便捷的方法可以调用。

Python

; html-script: false ]from nose.tools import assert_true 
def test_equality(): 
 assert_true(False) 
1.
2.
3.

如果你想使用更加类似JUnit的方法，也是可以的：

Python

; html-script: false ]from nose.tools import assert_true 
from unittest import TestCase 
  
class ExampleTest(TestCase): 
  
 def setUp(self): # setUp & tearDown are both available 
 self.blah = False 
  
 def test_blah(self): 
 self.assertTrue(self.blah) 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

开始测试：

Shell

; html-script: false ](test)jhaddad@jons-mac-pro ~VIRTUAL_ENV/src$ nosetests  
F 
====================================================================== 
FAIL: test_blah (test_nose_example.ExampleTest) 
---------------------------------------------------------------------- 
Traceback (most recent call last): 
 File "/Users/jhaddad/.virtualenvs/test/src/test_nose_example.py", line 11, in test_blah 
 self.assertTrue(self.blah) 
AssertionError: False is not true 
  
---------------------------------------------------------------------- 
Ran 1 test in 0.003s 
  
FAILED (failures=1) 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.

卓越的Mock库包含在Python 3 中，但是如果你在使用Python 2，可以使用pypi来获取。这个测试将进行一个远程调用，但是这次调用将耗时10s。这个例子显然是人为捏造的。我们使用mock来返回样本数据而不是真正的进行调用。

Python

; html-script: false ]import mock 
  
from mock import patch 
from time import sleep 
  
class Sweetness(object): 
 def slow_remote_call(self): 
 sleep(10) 
 return "some_data" # lets pretend we get this back from our remote api call 
  
def test_long_call(): 
 s = Sweetness() 
 result = s.slow_remote_call() 
 assert result == "some_data" 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.

当然，我们的测试需要很长的时间。

Shell

; html-script: false ](test)jhaddad@jons-mac-pro ~VIRTUAL_ENV/src$ nosetests test_mock.py  
  
Ran 1 test in 10.001s 
  
OK 
1.
2.
3.
4.
5.

太慢了!因此我们会问自己，我们在测试什么?我们需要测试远程调用是否有用，还是我们要测试当我们获得数据后要做什么?大多数情况下是后者。让我们摆脱这个愚蠢的远程调用吧：

Python

; html-script: false ]import mock 
  
from mock import patch 
from time import sleep 
  
class Sweetness(object): 
 def slow_remote_call(self): 
 sleep(10) 
 return "some_data" # lets pretend we get this back from our remote api call 
  
def test_long_call(): 
 s = Sweetness() 
 with patch.object(s, "slow_remote_call", return_value="some_data"): 
 result = s.slow_remote_call() 
 assert result == "some_data" 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.

好吧，让我们再试一次：

Shell

; html-script: false ](test)jhaddad@jons-mac-pro ~VIRTUAL_ENV/src$ nosetests test_mock.py  
. 
---------------------------------------------------------------------- 
Ran 1 test in 0.001s 
  
OK 
1.
2.
3.
4.
5.
6.

好多了。记住，这个例子进行了荒唐的简化。就我个人来讲，我仅仅会忽略从远程系统的调用，而不是我的数据库调用。

nose-progressive是一个很好的模块，它可以改善nose的输出，让错误在发生时就显示出来，而不是留到***。如果你的测试需要花费一定的时间，那么这是件好事。

pip install nose-progressive 并且在你的nosetests中添加--with-progressive

调试

iPDB是一个极好的工具，我已经用它查出了很多匪夷所思的bug。pip install ipdb 安装该工具，然后在你的代码中import ipdb; ipdb.set_trace()，然后你会在你的程序运行时，获得一个很好的交互式提示。它每次执行程序的一行并且检查变量。

python内置了一个很好的追踪模块，帮助我搞清楚发生了什么。这里有一个没什么用的python程序：

Python

; html-script: false ]a = 1 
b = 2 
a = b 
1.
2.
3.

这里是对这个程序的追踪结果：

Shell

; html-script: false ](test)jhaddad@jons-mac-pro ~VIRTUAL_ENV/src$ python -m trace --trace tracing.py 1 ↵  
 --- modulename: tracing, funcname: <module> 
tracing.py(1): a = 1 
tracing.py(2): b = 2 
tracing.py(3): a = b 
 --- modulename: trace, funcname: _unsettrace 
trace.py(80): sys.settrace(None) 
1.
2.
3.
4.
5.
6.
7.

当你想要搞清楚其他程序的内部构造的时候，这个功能非常有用。如果你以前用过strace，它们的工作方式很相像。

在一些场合，我使用pycallgraph来追踪性能问题。它可以创建函数调用时间和次数的图表。

***，objgraph对于查找内存泄露非常有用。这里有一篇关于如何使用它查找内存泄露的好文。

Gevent

Gevent 是一个很好的库，封装了Greenlets，使得Python具备了异步调用的功能。是的，非常棒。我***的功能是Pool，它抽象了异步调用部分，给我们提供了可以简单使用的途径，一个异步的map()函数：

Python

; html-script: false ]from gevent import monkey 
monkey.patch_all() 
  
from time import sleep, time 
  
def fetch_url(url): 
 print "Fetching %s" % url 
 sleep(10) 
 print "Done fetching %s" % url 
  
from gevent.pool import Pool 
  
urls = ["http://test.com", "http://bacon.com", "http://eggs.com"] 
  
p = Pool(10) 
  
start = time() 
p.map(fetch_url, urls) 
print time() - start 
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.

非常重要的是，需要注意这段代码顶部对gevent monkey进行的补丁，如果没有它的话，就不能正确的运行。如果我们让Python连续调用 fetch_url 3次，通常我们期望这个过程花费30秒时间。使用gevent：

Python

; html-script: false ](test)jhaddad@jons-mac-pro ~VIRTUAL_ENV/src$ python g.py  
Fetching http://test.com 
Fetching http://bacon.com 
Fetching http://eggs.com 
Done fetching http://test.com 
Done fetching http://bacon.com 
Done fetching http://eggs.com 
10.001791954 
1.
2.
3.
4.
5.
6.
7.
8.