在我看來，python社區(qū)分為了三個流派，分別是python 2.x組織，3.x組織和PyPy組織。這個分類基本上可以歸根于類庫的兼容性和速度。這篇文章將聚焦于一些通用代碼的優(yōu)化技巧以及編譯成C后性能的顯著提升，當(dāng)然我也會給出三大主要python流派運行時間。我的目的不是為了證明一個比另一個強，只是為了讓你知道如何在不同的環(huán)境下使用這些具體例子作比較。

創(chuàng)新互聯(lián)建站主營巴楚網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,重慶App定制開發(fā),巴楚h5小程序定制開發(fā)搭建,巴楚網(wǎng)站營銷推廣歡迎巴楚等地區(qū)企業(yè)咨詢

使用生成器

一個普遍被忽略的內(nèi)存優(yōu)化是生成器的使用。生成器讓我們創(chuàng)建一個函數(shù)一次只返回一條記錄，而不是一次返回所有的記錄，如果你正在使用python2.x，這就是你為啥使用xrange替代range或者使用ifilter替代filter的原因。一個很好地例子就是創(chuàng)建一個很大的列表并將它們拼合在一起。

 
 
 
 

  
  
  
  
import timeit 
  
  
  
  
import random 
  
  
  
  
  
  
  
  
  
def generate(num): 
  
  
  
  
while num: 
  
  
  
  
yield random.randrange(10) 
  
  
  
  
num -= 1
  
  
  
  
  
  
  
  
  
def create_list(num): 
  
  
  
  
numbers = [] 
  
  
  
  
while num: 
  
  
  
  
numbers.append(random.randrange(10)) 
  
  
  
  
num -= 1
  
  
  
  
return numbers 
  
  
  
  
print(timeit.timeit("sum(generate(999))", setup="from __main__ import generate", number=1000)) 
  
  
  
  
>>> 0.88098192215 #Python 2.7 
  
  
  
  
>>> 1.416813850402832 #Python 3.2 
  
  
  
  
print(timeit.timeit("sum(create_list(999))", setup="from __main__ import create_list", number=1000)) 
  
  
  
  
>>> 0.924163103104 #Python 2.7 
  
  
  
  
>>> 1.5026731491088867 #Python 3.2
 
 
 
 

這不僅是快了一點，也避免了你在內(nèi)存中存儲全部的列表!

Ctypes的介紹

對于關(guān)鍵性的性能代碼python本身也提供給我們一個API來調(diào)用C方法，主要通過 ctypes來實現(xiàn)，你可以不寫任何C代碼來利用ctypes。默認(rèn)情況下python提供了預(yù)編譯的標(biāo)準(zhǔn)c庫，我們再回到生成器的例子，看看使用ctypes實現(xiàn)花費多少時間。

 
 
 
 

  
  
  
  
import timeit 
  
  
  
  
from ctypes import cdll 
  
  
  
  
  
  
  
  
  
def generate_c(num): 
  
  
  
  
#Load standard C library 
  
  
  
  
libc = cdll.LoadLibrary("libc.so.6") #Linux 
  
  
  
  
#libc = cdll.msvcrt #Windows 
  
  
  
  
while num: 
  
  
  
  
yield libc.rand() % 10
  
  
  
  
num -= 1
  
  
  
  
  
  
  
  
  
print(timeit.timeit("sum(generate_c(999))", setup="from __main__ import generate_c", number=1000)) 
  
  
  
  
>>> 0.434374809265 #Python 2.7 
  
  
  
  
>>> 0.7084300518035889 #Python 3.2
 
 
 
 

僅僅換成了c的隨機(jī)函數(shù)，運行時間減了大半！現(xiàn)在如果我告訴你我們還能做得更好，你信嗎?

Cython的介紹

Cython 是python的一個超集，允許我們調(diào)用C函數(shù)以及聲明變量來提高性能。嘗試使用之前我們需要先安裝Cython.

sudo pip install cythonCython 本質(zhì)上是另一個不再開發(fā)的類似類庫Pyrex的分支，它將我們的類Python代碼編譯成C庫，我們可以在一個python文件中調(diào)用。對于你的python文件使用.pyx后綴替代.py后綴，讓我們看一下使用Cython如何來運行我們的生成器代碼。

 
 
 
 

  
  
  
  
#cython_generator.pyx 
  
  
  
  
import random 
  
  
  
  
  
  
  
  
  
def generate(num): 
  
  
  
  
while num: 
  
  
  
  
yield random.randrange(10) 
  
  
  
  
num -= 1
 
 
 
 

我們需要創(chuàng)建個setup.py以便我們能獲取到Cython來編譯我們的函數(shù)。

 
 
 
 

  
  
  
  
from distutils.core import setup 
  
  
  
  
from distutils.extension import Extension 
  
  
  
  
from Cython.Distutils import build_ext 
  
  
  
  
  
  
  
  
  
setup( 
  
  
  
  
cmdclass = {'build_ext': build_ext}, 
  
  
  
  
ext_modules = [Extension("generator", ["cython_generator.pyx"])] 
  
  
  
  
) 
 
 
 
 

編譯使用:

 
 
 
 

  
  
  
  
python setup.py build_ext --inplace
 
 
 
 

你應(yīng)該可以看到兩個文件cython_generator.c 文件 和 generator.so文件，我們使用下面方法測試我們的程序:

 
 
 
 

  
  
  
  
import timeit 
  
  
  
  
print(timeit.timeit("sum(generator.generate(999))", setup="import generator", number=1000)) 
  
  
  
  
>>> 0.835658073425
 
 
 
 

還不賴，讓我們看看是否還有可以改進(jìn)的地方。我們可以先聲明“num”為整形，接著我們可以導(dǎo)入標(biāo)準(zhǔn)的C庫來負(fù)責(zé)我們的隨機(jī)函數(shù)。

 
 
 
 

  
  
  
  
#cython_generator.pyx 
  
  
  
  
cdef extern from "stdlib.h": 
  
  
  
  
int c_libc_rand "rand"() 
  
  
  
  
  
  
  
  
  
def generate(int num): 
  
  
  
  
while num: 
  
  
  
  
yield c_libc_rand() % 10
  
  
  
  
num -= 1
 
 
 
 

如果我們再次編譯運行我們會看到這一串驚人的數(shù)字。

 
 
 
 

  
  
  
  
>>> 0.033586025238
 
 
 
 

僅僅的幾個改變帶來了不賴的結(jié)果。然而，有時這個改變很乏味，因此讓我們來看看如何使用規(guī)則的python來實現(xiàn)吧。

PyPy的介紹

PyPy 是一個Python2.7.3的即時編譯器，通俗地說這意味著讓你的代碼運行的更快。Quora在生產(chǎn)環(huán)境中使用了PyPy。PyPy在它們的下載頁面有一些安裝說明，但是如果你使用的Ubuntu系統(tǒng)，你可以通過apt-get來安裝。它的運行方式是立即可用的，因此沒有瘋狂的bash或者運行腳本，只需下載然后運行即可。讓我們看看我們原始的生成器代碼在PyPy下的性能如何。

 
 
 
 

  
  
  
  
import timeit 
  
  
  
  
import random 
  
  
  
  
  
  
  
  
  
def generate(num): 
  
  
  
  
while num: 
  
  
  
  
yield random.randrange(10) 
  
  
  
  
num -= 1
  
  
  
  
  
  
  
  
  
def create_list(num): 
  
  
  
  
numbers = [] 
  
  
  
  
while num: 
  
  
  
  
numbers.append(random.randrange(10)) 
  
  
  
  
num -= 1
  
  
  
  
return numbers 
  
  
  
  
print(timeit.timeit("sum(generate(999))", setup="from __main__ import generate", number=1000)) 
  
  
  
  
>>> 0.115154981613 #PyPy 1.9 
  
  
  
  
>>> 0.118431091309 #PyPy 2.0b1 
  
  
  
  
print(timeit.timeit("sum(create_list(999))", setup="from __main__ import create_list", number=1000)) 
  
  
  
  
>>> 0.140175104141 #PyPy 1.9 
  
  
  
  
>>> 0.140514850616 #PyPy 2.0b1
 
 
 
 

哇！沒有修改一行代碼運行速度是純python實現(xiàn)的8倍。

進(jìn)一步測試

為什么還要進(jìn)一步研究？PyPy是冠軍！并不全對。雖然大多數(shù)程序可以運行在PyPy上，但是還是有一些庫沒有被完全支持。而且，為你的項目寫C的擴(kuò)展相比換一個編譯器更加容易。讓我們更加深入一些，看看ctypes如何讓我們使用C來寫庫。我們來測試一下歸并排序和計算斐波那契數(shù)列的速度。下面是我們要用到的C代碼（functions.c）：

 
 
 
 

  
  
  
  
/* functions.c */ 
  
  
  
  
#include  
  
  
  
  
#include  
  
  
  
  
#include  
  
  
  
  

  
  
  
  
/* http://rosettacode.org/wiki/Sorting_algorithms/Merge_sort#C */ 
  
  
  
  
inline void 
  
  
  
  
merge (int *left, int l_len, int *right, int r_len, int *out) 
  
  
  
  
{ 
  
  
  
  
  int i, j, k; 
  
  
  
  
  for (i = j = k = 0; i < l_len && j < r_len;) 
  
  
  
  
    out[k++] = left[i] < right[j] ? left[i++] : right[j++]; 
  
  
  
  
  while (i < l_len) 
  
  
  
  
    out[k++] = left[i++]; 
  
  
  
  
  while (j < r_len) 
  
  
  
  
    out[k++] = right[j++]; 
  
  
  
  
} 
  
  
  
  

  
  
  
  
/* inner recursion of merge sort */ 
  
  
  
  
void 
  
  
  
  
recur (int *buf, int *tmp, int len) 
  
  
  
  
{ 
  
  
  
  
  int l = len / 2; 
  
  
  
  
  if (len <= 1) 
  
  
  
  
    return; 
  
  
  
  
/* note that buf and tmp are swapped */ 
  
  
  
  
  recur (tmp, buf, l); 
  
  
  
  
  recur (tmp + l, buf + l, len - l); 
  
  
  
  
  merge (tmp, l, tmp + l, len - l, buf); 
  
  
  
  
} 
  
  
  
  

  
  
  
  
/* preparation work before recursion */ 
  
  
  
  
void 
  
  
  
  
merge_sort (int *buf, int len) 
  
  
  
  
{ 
  
  
  
  
/* call alloc, copy and free only once */ 
  
  
  
  
  int *tmp = malloc (sizeof (int) * len); 
  
  
  
  
  memcpy (tmp, buf, sizeof (int) * len); 
  
  
  
  
  recur (buf, tmp, len); 
  
  
  
  
  free (tmp); 
  
  
  
  
} 
  
  
  
  

  
  
  
  
int 
  
  
  
  
fibRec (int n) 
  
  
  
  
{ 
  
  
  
  
  if (n < 2) 
  
  
  
  
    return n; 
  
  
  
  
  else
  
  
  
  
    return fibRec (n - 1) + fibRec (n - 2); 
  
  
  
  
}
 
 
 
 

在Linux平臺，我們可以用下面的方法把它編譯成一個共享庫：

 
 
 
 

  
  
  
  
gcc -Wall -fPIC -c functions.c 
  
  
  
  
gcc -shared -o libfunctions.so functions.o
 
 
 
 

使用ctypes， 通過加載"libfunctions.so"這個共享庫，就像我們前邊對標(biāo)準(zhǔn)C庫所作的那樣，就可以使用這個庫了。這里我們將要比較Python實現(xiàn)和C實現(xiàn)。現(xiàn)在我們開始計算斐波那契數(shù)列：

 
 
 
 

  
  
  
  
# functions.py 
  
  
  
  

  
  
  
  
from ctypes import * 
  
  
  
  
import time 
  
  
  
  
  
  
  
  
  
libfunctions = cdll.LoadLibrary("./libfunctions.so") 
  
  
  
  
  
  
  
  
  
def fibRec(n): 
  
  
  
  
    if n < 2: 
  
  
  
  
        return n 
  
  
  
  
    else: 
  
  
  
  
        return fibRec(n-1) + fibRec(n-2) 
  
  
  
  
  
  
  
  
  
start = time.time() 
  
  
  
  
fibRec(32) 
  
  
  
  
finish = time.time() 
  
  
  
  
print("Python: " + str(finish - start)) 
  
  
  
  
  
  
  
  
  
# C Fibonacci 
  
  
  
  
start = time.time() 
  
  
  
  
x = libfunctions.fibRec(32) 
  
  
  
  
finish = time.time() 
  
  
  
  
print("C: " + str(finish - start))
 
 
 
 

 
 
 
 

  
  
  
  
Python: 1.18783187866 #Python 2.7 
  
  
  
  
Python: 1.272292137145996 #Python 3.2 
  
  
  
  
Python: 0.563600063324 #PyPy 1.9 
  
  
  
  
Python: 0.567229032516 #PyPy 2.0b1 
  
  
  
  
C: 0.043830871582 #Python 2.7 + ctypes 
  
  
  
  
C: 0.04574108123779297 #Python 3.2 + ctypes 
  
  
  
  
C: 0.0481240749359 #PyPy 1.9 + ctypes 
  
  
  
  
C: 0.046403169632 #PyPy 2.0b1 + ctypes
 
 
 
 

正如我們預(yù)料的那樣，C比Python和PyPy更快。我們也可以用同樣的方式比較歸并排序。

我們還沒有深挖Cypes庫，所以這些例子并沒有反映python強大的一面，Cypes庫只有少量的標(biāo)準(zhǔn)類型限制，比如int型，char數(shù)組，float型，字節(jié)（bytes）等等。默認(rèn)情況下，沒有整形數(shù)組，然而通過與c_int相乘（ctype為int類型）我們可以間接獲得這樣的數(shù)組。這也是代碼第7行所要呈現(xiàn)的。我們創(chuàng)建了一個c_int數(shù)組，有關(guān)我們數(shù)字的數(shù)組并分解打包到c_int數(shù)組中

主要的是c語言不能這樣做，而且你也不想。我們用指針來修改函數(shù)體。為了通過我們的c_numbers的數(shù)列，我們必須通過引用傳遞merge_sort功能。運行merge_sort后，我們利用c_numbers數(shù)組進(jìn)行排序，我已經(jīng)把下面的代碼加到我的functions.py文件中了。

 
 
 
 

  
  
  
  
#Python Merge Sort 
  
  
  
  
from random import shuffle, sample 
  
  
  
  
  
  
  
  
  
#Generate 9999 random numbers between 0 and 100000 
  
  
  
  
numbers = sample(range(100000), 9999) 
  
  
  
  
shuffle(numbers) 
  
  
  
  
c_numbers = (c_int * len(numbers))(*numbers) 
  
  
  
  
  
  
  
  
  
from heapq import merge 
  
  
  
  
def merge_sort(m): 
  
  
  
  
if len(m) <= 1: 
  
  
  
  
return m 
  
  
  
  
middle = len(m) // 2
  
  
  
  
left = m[:middle] 
  
  
  
  
right = m[middle:] 
  
  
  
  
left = merge_sort(left) 
  
  
  
  
right = merge_sort(right) 
  
  
  
  
return list(merge(left, right)) 
  
  
  
  
  
  
  
  
  
start = time.time() 
  
  
  
  
numbers = merge_sort(numbers) 
  
  
  
  
finish = time.time() 
  
  
  
  
print("Python: " + str(finish - start)) 
  
  
  
  
  
  
  
  
  
#C Merge Sort 
  
  
  
  
start = time.time() 
  
  
  
  
libfunctions.merge_sort(byref(c_numbers), len(numbers)) 
  
  
  
  
finish = time.time() 
  
  
  
  
print("C: " + str(finish - start))
 
 
 
 

 
 
 
 

  
  
  
  
Python: 0.190635919571 #Python 2.7 
  
  
  
  
Python: 0.11785483360290527 #Python 3.2 
  
  
  
  
Python: 0.266992092133 #PyPy 1.9 
  
  
  
  
Python: 0.265724897385 #PyPy 2.0b1 
  
  
  
  
C: 0.00201296806335 #Python 2.7 + ctypes 
  
  
  
  
C: 0.0019741058349609375 #Python 3.2 + ctypes 
  
  
  
  
C: 0.0029308795929 #PyPy 1.9 + ctypes 
  
  
  
  
C: 0.00287103652954 #PyPy 2.0b1 + ctypes
 
 
 
 

這兒通過表格和圖標(biāo)來比較不同的結(jié)果。

本文名稱：加速你的Python代碼
網(wǎng)頁路徑：http://uogjgqi.cn/article/dphsidj.html