개요
게시글 모니터링 중 아래와 같은 에러가 발생
Connection aborted.', RemoteDisconnected('Remote end closed connection without response구글링을 좀 해 본 결과 requests 라이브러리를 활용하는 과정에서 생긴 오류였음
오류코드
with session.get(url=self.gall_url,headers=self.headers) as response:
...원인
처음엔 서버에서 원격으로 접속을 끊었나 싶었는데 말이 안된다 싶어 검색해보니 그럴만한 정보는 없었음
프록시 서버에 접속 요청 보낼 때 뭔가 잘못 되서 생긴 문제로 추측
해결 방법
requests.get 함수의 파라미터인 headers에 random한 user-agent 값을 보내면 정상적으로 실행됨 (fake_useragent)
a. fake_useragent 라이브러리 설치
$ pip install fake-useragentfrom fake_useragent import UserAgent
from typing import Dict
user_agent : UserAgent = UserAgetn()
headers : Dict[str,str] = {'User-Agent': user_agent.random}
with session.get(url=self.gall_url,headers=self.headers) as response:
soup : bs = self.get_soup_object(response=response)
...