Hyunsuk's Blog

2021-02-26 게시 됨2023-12-23 업데이트 됨IT / python4분안에 읽기 (약 585 단어)

thread 와 concurrent.futures 사용으로 병렬 처리하기

1. thread 사용으로 병렬 처리

저번 코드에서 save_img 함수를 multi thread로 실행하면 좀 더 빠른 결과물을 얻을 수 있을 것 같다

import requests
import re
import threading
import time

t1 = time.time()
reg = re.compile('oimgurl: ".{0,300}", cpid')

url = 'https://search.daum.net/search?w=img&nil_search=btn&DA=NTB&enc=utf8&q=%EA%B0%95%EC%95%84%EC%A7%80'
html = requests.get(url=url)
html_raw_data = str(html.content)

reg_iter = reg.finditer(html_raw_data)
thread_list = []


def save_img(idx, img_url):
    res = requests.get(img_url).content
    with open(f'{idx}.jpg', 'wb') as f:
        f.write(res)
        print(f'save {idx}')


for idx, res_data in enumerate(reg_iter):
    img_url = res_data.group().split('oimgurl:')[1].split(', cpid')[0].replace('"', '')
    thread_worker = threading.Thread(target=save_img, args=(idx, img_url))
    thread_worker.start()
    thread_list.append(thread_worker)

for thread in thread_list:
    thread.join()

t2 = time.time()
print(t2-t1)

작업결과

작업 시간이 1초대로 단축된 걸 확인 할 수 있다

2. concurrent.futures 사용으로 병렬 처리하기

concurrent.futures는 비동기 처리 고수준 인터페이스 모듈이다 이 모듈을 써서 작업 시간을 줄여보자

import requests
import re
import time
from concurrent.futures import ThreadPoolExecutor

t1 = time.time()
reg = re.compile('oimgurl: ".{0,300}", cpid')

url = 'https://search.daum.net/search?w=img&nil_search=btn&DA=NTB&enc=utf8&q=%EA%B0%95%EC%95%84%EC%A7%80'
html = requests.get(url=url)
html_raw_data = str(html.content)

reg_iter = reg.finditer(html_raw_data)
thread_list = []

#url 이미지를 저장하는 함수
def save_img(idx, img_url):
    res = requests.get(img_url).content
    with open(f'{idx}.jpg', 'wb') as f:
        # 이미지 관련 작업은 pillow 모듈을 사용하는게 좋다
        # 예제에서는 사용 안함 (따로 설치가 필요)  
        f.write(res)
        print(f'save {idx}')


with ThreadPoolExecutor(max_workers=10) as executor:
    for idx, res_data in enumerate(reg_iter):
        # url 을 뽑아내는 전처리 작업
        img_url = res_data.group().split('oimgurl:')[1].split(', cpid')[0].replace('"', '')
        executor.submit(save_img, idx, img_url)

t2 = time.time()
print(t2 - t1)

작업결과

마찬가지로 작업 시간이 1초대로 단축된 걸 확인 할 수 있다

결론

I/O 작업이 있을 때 병렬 처리 작업을 활용하여 작업 시간을 단축시킬수 있다

상황에 따라 다르지만 될 수 있으면 thread 모듈보단 고수준 비동기 concurrent.futures 모듈을 사용하자 병렬처리 작업의 결과물을 리턴 받는 등 다양한 함수를 제공한다 참조링크

2021-02-25 게시 됨2023-12-23 업데이트 됨IT / python3분안에 읽기 (약 524 단어)

Beautifulsoup으로 이미지 크롤링 안될 때 다른 방법으로 크롤링하기

이미지 태그나 클래스명 등으로 크롤링 하려는데 안될 때 어떻게 해야할까?

여러가지 방법이 있겠지만 이번 글에서는 python, re(정규식) 모듈, requests 모듈을 이용해서 크롤링을 해보려고한다
다음 이미지에서 강아지를 검색하면 브라우저 검색창에 아래 url이 나온다

1	https://search.daum.net/search?w=img&nil_search=btn&DA=NTB&enc=utf8&q=%EA%B0%95%EC%95%84%EC%A7%80

이 url을 이용해서 python으로 request를 날려보자
아래 사진을 보면 이미지 불러오는 url이 보인다 저 url을 정규식으로 추줄해보자
더 좋은 정규식이 있을 텐데 저는 저렇게 해서 추출했습니다
(정규식 내용은 분량이 큽니다 관심이 있으면 따로 찾아보자)

코드를 보자 정규식을 선언하고

url을 뽑아내는 전처리 작업을하고

이미지를 저장하는 코드룰 볼 수 있다

import requests
import re
import time

t1 = time.time()
# 정규식 선언
reg = re.compile('oimgurl: ".{0,300}", cpid')

url = 'https://search.daum.net/search?w=img&nil_search=btn&DA=NTB&enc=utf8&q=%EA%B0%95%EC%95%84%EC%A7%80'
html = requests.get(url=url)
html_raw_data = str(html.content)

reg_iter = reg.finditer(html_raw_data)

#url 이미지를 저장하는 함수
def save_img(idx, img_url):
    res = requests.get(img_url).content
    with open(f'{idx}.jpg', 'wb') as f:
        # 이미지 관련 작업은 pillow 모듈을 사용하는게 좋다
        # 예제에서는 사용 안함 (따로 설치가 필요)  
        f.write(res)
        print(f'save {idx}')

for idx, res_data in enumerate(reg_iter):
    # url 을 뽑아내는 전처리 작업
    img_url = res_data.group().split('oimgurl:')[1].split(', cpid')[0].replace('"', '')
    save_img(idx, img_url)

t2 = time.time()

print(t2-t1)

이렇게 하면 이미지가 저장되는 걸 볼 수 있다

작업이 4초 넘게 걸렸는데 다음 포스트에서는 thread 와 비동기 함수를 사용하여
작업 시간을 단축시키는 포스트를 올려보겠습니다

thread 와 concurrent.futures 사용으로 병렬 처리하기

1. thread 사용으로 병렬 처리

저번 코드에서 save_img 함수를 multi thread로 실행하면 좀 더 빠른 결과물을 얻을 수 있을 것 같다

작업 시간이 1초대로 단축된 걸 확인 할 수 있다

2. concurrent.futures 사용으로 병렬 처리하기

concurrent.futures는 비동기 처리 고수준 인터페이스 모듈이다 이 모듈을 써서 작업 시간을 줄여보자

마찬가지로 작업 시간이 1초대로 단축된 걸 확인 할 수 있다

결론

이미지 태그나 클래스명 등으로 크롤링 하려는데 안될 때 어떻게 해야할까?

카테고리

아카이브

태그