解决Max retries exceeded with url的问题

 

requests.exceptions.ConnectionError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: 
(Caused by <class 'socket.gaierror'>:

python脚本请求url,大量请求报错Max retries exceeded with url
解决方法:

1、增加重试连接次数:

requests.DEFAULT_RETRIES = 5

2、关闭多余的链接:

  requests使用了urllib3库,默认的http connection是keep-alive的,requests设置False关闭。

s = requests.session()
s.keep_alive = False

3、请求时增加缓冲延时

 time.sleep(60)

Logo

「智能机器人开发者大赛」官方平台,致力于为开发者和参赛选手提供赛事技术指导、行业标准解读及团队实战案例解析;聚焦智能机器人开发全栈技术闭环,助力开发者攻克技术瓶颈,促进软硬件集成、场景应用及商业化落地的深度研讨。 加入智能机器人开发者社区iRobot Developer,与全球极客并肩突破技术边界,定义机器人开发的未来范式!

更多推荐