qwlake's Blog

어서오세요, 반갑습니다 :)

[Scrapy] exceptions.RuntimeError: doWrite called on a twisted.internet.tcp.Port 에러 (포트 할당 문제)

증상 다수의 Scrapy Spider 객체를 동시에 호출하여 사용할 때 발생하는 문제이다. 여기서 동시 호출이라 하면, Celery를 통해 task를 쌓아 두고 실행할 때 동시에 실행되는 task를 두 개 이상으로 하는 경우를 말한다. 이 외에도 멀티프로세스나 여러 Spider를 생성해서 동시에 실행시키는 경우가 있겠다. 내 상황에서는 Celery ...

Posted by qwlake on August 9, 2020

[Celery] Django 프로젝트에서 Celery Worker 제한하기

서버에서 크롤링 규모를 키우다보니 CPU 자원이 딸리는 것을 느꼈다. 크롤링을 할 때마다 CPU 사용률 100%인 상황이 30분 이상 지속되었다. 때문에 클라이언트 요청도 제 때에 처리하지 못하는 상황이 발생했다. Worker를 제대로 활용하자 나는 지금까지 100개의 사이트를 크롤링 해야 한다면, 하나의 Celery task에 100개 사이트를 ...

Posted by qwlake on August 4, 2020

백준 9466 - 텀 프로젝트

9466 - 텀 프로젝트 1. 개요 https://www.acmicpc.net/problem/9466 2. 코드 Python3 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 import sys T = int(sys.stdin.r...

Posted by qwlake on August 4, 2020

백준 2146 - 다리 만들기

2146 - 다리 만들기 1. 개요 https://www.acmicpc.net/problem/2146 2. 코드 Python3 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 4...

Posted by qwlake on August 1, 2020

백준 11729 - 하노이 탑 이동 순서

11729 - 하노이 탑 이동 순서 1. 개요 https://www.acmicpc.net/problem/11729 2. 코드 Python3 1 2 3 4 5 6 7 8 9 10 11 12 13 import sys def hanoi(n, source, to, sub): if n == 1: print(source, to) ...

Posted by qwlake on August 1, 2020

백준 2667 - 단지번호붙이기

2667 - 단지번호붙이기 1. 개요 https://www.acmicpc.net/problem/2667 2. 코드 C++ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45...

Posted by qwlake on July 31, 2020

백준 7569 - 3차원 토마토

7569 - 3차원 토마토 1. 개요 https://www.acmicpc.net/problem/7569 2. 코드 Python3 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 4...

Posted by qwlake on July 30, 2020

백준 4179 - 옥상 정원 꾸미기

4179 - 옥상 정원 꾸미기 1. 개요 https://www.acmicpc.net/problem/6198 2. 코드 Python3 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 import sys N = int(sys.stdin.readline()) buildings = [] for _ in range(N): ...

Posted by qwlake on July 30, 2020

백준 7576 - 토마토-2차원

7576 - 토마토-2차원 1. 개요 https://www.acmicpc.net/problem/7576 2. 코드 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 ...

Posted by qwlake on July 29, 2020

백준 4179번 - 불!

4179 - 불! 1. 개요 https://www.acmicpc.net/problem/4179 2. 코드 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48...

Posted by qwlake on July 29, 2020

CATEGORY

FEATURED TAGS

Baekjoon Python DP C KOI Deque Java Stack BFS C++ Docker Scrapy Intern Javascript Kakao Programmers springboot3 DFS Django Recursive Spring