tqdm and retry in Python

Python的第三方很多,在数据处理方面,用得最多的是Numpy和Pandas,可视化方面用Matplotlib了;深度学习方面,主要是Keras和tensorflow,做文本挖掘,用到jieba(分词)、Gensim(主题建模等),机器学习方面,使用ScikitLearn;网络方面,写爬虫用requests,如果要并行运算,一般用multiprocessing。

tqdm和retry是日常写代码中经常要使用的功能,介绍如下:

tqdm 用来显示进度条,很漂亮,使用很直观(在循环体里边加个tqdm),基本不影响原程序效率。可用于写运行时间很长的程序时。

retry 用来实现重试。很多时候我们都需要重试功能,比如写爬虫的时候,有时候就会出现网络问题导致爬取失败,然后就需要重试,一般可以这样写(每隔两秒重试一次,共5次):

from retry import retry

@retry(tries=5, delay=2)
def do_something():
    xxx

do_something()

就是在函数的定义前,加一句@retry就行了。

Avatar
Wu, Jun
Associate professor
Next
Previous