분류 전체보기
-
인프런 동영상 웹 스크래핑하기 - 3 : 네트워크 분석 - 1개발/웹크롤링 2022. 1. 10. 18:57
이번 시간에는 네트워크 분석을 통해 동영상을 다운로드하는 과정을 추적해보겠습니다. 네트워크 분석이라고는 하지만 깊은 내용은 아닙니다. 그래도 기본적인 http 지식은 있어야 잘 이해하고 활용할 수 있습니다. 우선 아무 강의나 가서 한 번 영상을 시청해봅니다. 이제 여기서 개발자 도구(F12)를 열어줍니다. 이제 위의 메뉴 중 "Network"로 들어갑니다. 음... 그런데 정보가 다 안 나타난 거 같네요. 새로고침을 눌러서 처음부터 한 번 봅시다. 이제야 다 나타나는군요. 이제 자세한 사항들을 살펴봅니다. 보이시나요? 반복적으로 웬 외계어 같은 비슷한 요청이 오가고 있군요. 동영상 같이 큰 파일들은 보통 분할해서 주고 받기 때문에 이것이 동영상 관련된 GET 요청일 가능성이 높습니다. 이제 하나하나 살펴..
-
인프런 동영상 웹 스크래핑하기 - 2: 자동로그인 기능 - 2개발/웹크롤링 2022. 1. 8. 17:27
이제 로그인 팝업까지 띄워봤으니 값을 받고, 값을 넣어봅시다. if __name__ == '__main__': vs = VideoScrapper() login_id = input('인프런 아이디를 입력하세요 : ') password = input('인프런 비밀번호를 입력하세요 : ') vs.login(login_id, password) 이렇게 값을 입력받아봅시다. 비밀번호가 그대로 드러나는 문제가 있습니다! 그러니 getpass라는 라이브러리를 이용해봅시다. getpass는 콘솔창에서 비밀번호를 노출시키지 않게 해주는 라이브러리입니다. from seleniumwire import webdriver from selenium.webdriver.common.by import By from getpass imp..
-
인프런 동영상 웹 스크래핑하기 - 2: 자동로그인 기능 - 1개발/웹크롤링 2022. 1. 8. 16:46
이제부터는 인터프리터가 아닌, 프로젝트로 관리하겠습니다. 저는 파이참을 이용해서 진행할 예정입니다. 우선, inf-video라는 프로젝트를 만들어주었습니다. 참고로 아나콘다 3.9로 하니 seleniumwire가 pip에서 찾을 수 없는 상황이 발생했습니다. 그러니 애초부터 높은 버전의 아나콘다 대신 기존에 쓰던 파이썬을 이용하거나 설정을 통해서 잘 설치해주시면 됩니다. 제 경우에는 이렇게 해결했습니다. [설정 방법] 그리고 프로젝트 폴더에 버전에 맞는 크롬드라이버를 설치해주셔야 합니다. https://chromedriver.chromium.org/downloads를 통해서 설치할 수 있습니다. 자, 시작해봅시다. 우선 video_scrapper.py를 만들어주세요. from seleniumwire im..
-
인프런 동영상 웹 스크래핑하기 - 1: 준비 과정개발/웹크롤링 2022. 1. 8. 15:40
놀랍게도 첫 포스팅입니다. 앞으로는 이곳에 저의 발자취를 남길 것입니다. 오늘 해볼 코딩은 인프런 강의 영상을 스크래핑하는 법에 대한 것입니다. 강의 영상을 오프라인으로 다운로드받아야 할 일이 있는데, 인프런에서 제공해주지 않아서 파이썬을 이용하여 추출해봤습니다. 참고로 이렇게 얻은 강의 영상을 상업적으로 이용하거나 무단 배포할 시 처벌 받을 수 있으니 조심하시기 바랍니다. 우선 도구부터 소개합니다. 파이썬 기본적인 도구죠. 필수적으로 필요합니다. 3.x 가급적 최신 버전으로 준비해주세요. 저는 3.8.8 버전을 이용했습니다. 셀레니움 (selenium) 브라우저를 이용해 웹 크롤링 등에 활용합니다. 저는 이 중에서도 seleniumwire라는 라이브러리를 다운 받아 사용했습니다. pip를 통해 sele..