제이든의 개발일기 제이든의 개발일기

이번 시간에는 네트워크 분석을 통해 동영상을 다운로드하는 과정을 추적해보겠습니다. 네트워크 분석이라고는 하지만 깊은 내용은 아닙니다. 그래도 기본적인 http 지식은 있어야 잘 이해하고 활용할 수 있습니다. 우선 아무 강의나 가서 한 번 영상을 시청해봅니다. 이제 여기서 개발자 도구(F12)를 열어줍니다. 이제 위의 메뉴 중 "Network"로 들어갑니다. 음... 그런데 정보가 다 안 나타난 거 같네요. 새로고침을 눌러서 처음부터 한 번 봅시다. 이제야 다 나타나는군요. 이제 자세한 사항들을 살펴봅니다. 보이시나요? 반복적으로 웬 외계어 같은 비슷한 요청이 오가고 있군요. 동영상 같이 큰 파일들은 보통 분할해서 주고 받기 때문에 이것이 동영상 관련된 GET 요청일 가능성이 높습니다. 이제 하나하나 살펴..

이제 로그인 팝업까지 띄워봤으니 값을 받고, 값을 넣어봅시다. if __name__ == '__main__': vs = VideoScrapper() login_id = input('인프런 아이디를 입력하세요 : ') password = input('인프런 비밀번호를 입력하세요 : ') vs.login(login_id, password) 이렇게 값을 입력받아봅시다. 비밀번호가 그대로 드러나는 문제가 있습니다! 그러니 getpass라는 라이브러리를 이용해봅시다. getpass는 콘솔창에서 비밀번호를 노출시키지 않게 해주는 라이브러리입니다. from seleniumwire import webdriver from selenium.webdriver.common.by import By from getpass imp..

이제부터는 인터프리터가 아닌, 프로젝트로 관리하겠습니다. 저는 파이참을 이용해서 진행할 예정입니다. 우선, inf-video라는 프로젝트를 만들어주었습니다. 참고로 아나콘다 3.9로 하니 seleniumwire가 pip에서 찾을 수 없는 상황이 발생했습니다. 그러니 애초부터 높은 버전의 아나콘다 대신 기존에 쓰던 파이썬을 이용하거나 설정을 통해서 잘 설치해주시면 됩니다. 제 경우에는 이렇게 해결했습니다. [설정 방법] 그리고 프로젝트 폴더에 버전에 맞는 크롬드라이버를 설치해주셔야 합니다. https://chromedriver.chromium.org/downloads를 통해서 설치할 수 있습니다. 자, 시작해봅시다. 우선 video_scrapper.py를 만들어주세요. from seleniumwire im..

놀랍게도 첫 포스팅입니다. 앞으로는 이곳에 저의 발자취를 남길 것입니다. 오늘 해볼 코딩은 인프런 강의 영상을 스크래핑하는 법에 대한 것입니다. 강의 영상을 오프라인으로 다운로드받아야 할 일이 있는데, 인프런에서 제공해주지 않아서 파이썬을 이용하여 추출해봤습니다. 참고로 이렇게 얻은 강의 영상을 상업적으로 이용하거나 무단 배포할 시 처벌 받을 수 있으니 조심하시기 바랍니다. 우선 도구부터 소개합니다. 파이썬 기본적인 도구죠. 필수적으로 필요합니다. 3.x 가급적 최신 버전으로 준비해주세요. 저는 3.8.8 버전을 이용했습니다. 셀레니움 (selenium) 브라우저를 이용해 웹 크롤링 등에 활용합니다. 저는 이 중에서도 seleniumwire라는 라이브러리를 다운 받아 사용했습니다. pip를 통해 sele..