내가 지금까지 뭐했는지 모르겠다 ㅋㅋ 로컬에서 돌리던 크롤링 파일을 AWS 에서 돌리려고 알아보던 중 https://kminito.tistory.com/13 [Python] 파이썬으로 인스타그램 사진, 동영상 다운받기 개요 파이썬으로 연예인 인스타그램의 사진, 동영상, 글 내용을 다운받는 방법입니다. 원래 셀레늄으로 인스타그램 스크랩하는 방식을 이용하려고 했는데, instaloader라고 하는 진짜 너무 편한 라 kminito.tistory.com 멍청하면 몸이 고생한다고 아 ㅋㅋ 그리고 사진을 리사이징해서 배경화면을 만들어서 제공하는건 포기하고 그냥 특정 셀럽 사진을 모두 모아놓은 사이트를 만들어봐야겠다 훨씬 쉬워졌다 지금 고민중인것은 수 많은 이미지들을 어디에 저장할 것인가 인데 아마 S3 혹은 Dy..

오늘은 어제 크롤링할때 사진이 아니라 동영상만 올라온 포스트이거나 사진이 한장만 올라온 경우 작은 프로필 사진이 대신 크롤링되는데 일단 이부분은 s3에서 컨트롤 할 것 같고 걸러낸 사진들을 모두 리사이징 해야하는데 그전에 이름규칙부터 잘 정해놔야 s3 에서 어렵지 않을 것 같다 그래서 처음 할 거는 이름규칙을 정해보고 aws 백앤드 구성을 해보자 오늘의 안주는 매콤두부볶음? 인데 내일 치팅데이 할까 낼 참고 토요일에할까 일주일 내내 두부만먹으니까 살은 빠지는데 개물리네 크롤링 이미지 이름 규칙 원래는 맴버벌로 이미지를 받아와서 15초 분량의 동영상으로 다운받을 수 있게 하려고 했는데 python 으로 구현하려면 아마 numpy 를 사용해야 할 것 같다. 근데 오늘은 목요일이고 작품 출품은 토요일이기 때문..

어제는 href 얻어오는거밖에 못했는데 오늘은 이미지를 로컬에 저장해보고 반복문으로 나머지 맴버들의 사진까지 전부 가져와보자 그리고 시간이 되면 리사이징까지 해보자 오늘의 안주 이미지 저장 0914.11시에 시작해서 지금 0915.1시인데 음.. 지금 저 페이지에는 10장의 사진이 올라와있는데 img 순서대로 긁어오면 오른쪽 사람들의 작은 프로필 이미지가 긁혀온다.. 이건 지금 어떻게 할 엄두가 안나서 각 페이지의 첫번째, 두번째 사진만 긁어오는걸로 하자 로컬저장까지 되었으니 이제 코드 전체를 정리하고 (30분걸림) 맴버 4명의 제일 위의 3개 게시물에서 각각 2장씩 저장해보자 와 잘되서 마무리할려고 했는데 갑자기 안되서 한참 찾았는데 파일 경로에 str 이 아니라 정수가 들어가있었네 변수로 넣어놨어서 ..

저번에 계정에 접속하는것까지 했으니까 오늘은 로컬환경에서 그 계정의 최신 사진들을 크롤링 한 후 저장해보고 금방끝나면 반복문으로 4명 모두의 사진을 저장해보자 오늘의 안주는 편의점 편육과 두부팽이버섯계란 섞어서 소금 후추 쳐서 전같이 부친 두부버섯계란전? 이미지 크롤링 저번에 했던 거에서 첫번째 사진 링크로 접근해서 사진을 받고, 두번째 , 세번째 이후에 다음 아이디 이런 순서로 접근하려고 했는데 계정의 첫번째 사진의 링크를 얻어오는게 쉽지 않았다 xpath 로 클릭하는것도 안됬고 find element 로 접근해서 클릭해보려고했는데 실패했다 그래서 링크의 href 를 찾아내서 driver.get(url) 이런식으로 접근해보려고 한다 ... 저 위 글 쓴게 4시간전임 ㅋㅋ 크롤링은 고사하고 href 링크..

오늘도 역시 소주한병 옆에 두고 오늘의 안주는 어제 먹다남은 두부랑 꼬치집에서 시킨 닭꼬치 ㅋㅋ 오늘은 추석이였어서 본가 갔다오느라 허리상태가 썩 좋지 못해서 일단 어제 로그인 후 뜨는 팝업을 해제해보고 그 다음에 계정에 접속하는것까지 구현해보자 알람설정 팝업 닫기 https://coding-kindergarten.tistory.com/151 [Python/Selenium] 파이썬 동적 웹크롤링_selenium으로 화면 조작하기(ft.버튼 클릭, 키 입력, 스크롤 내 안녕하세요, 왕초보 코린이를 위한 코딩유치원에 오신 것을 환영합니다. 코딩유치원에서는 파이썬 기초부터 사무자동화, 웹크롤링, 데이터 분석, 머신러닝 등의 다양한 패키지까지 초보자도 coding-kindergarten.tistory.com 셀..

최근에 또 허리를 다쳐서 계속 누워만있다가 추석 연휴인 오늘 옆에 소주한병 놓고 시작해보려고 한다. 오늘의 목표는 인스타그램 계정의 첫 페이지 사진 전부를 로컬 폴더로 크롤링 해오는 것이다. 한 3일간 서칭해봤지만 정확히 이 기능을 하는 스크립트는 없는것 같아서 여기저기서 코드를 끌어와야 할 것 같다. 로그인 일단 로그인부터 쉽지가 않은데 인스타그램 계정이 아니라 페이스북으로 로그인을 해보려고 한다. 22.09.09 9:30pm 시작 페이스북 로그인을 하려고 https://github.com/SOMJANG/Instagram_Crawler/blob/main/instagram_crawler/utils.py GitHub - SOMJANG/Instagram_Crawler: 인스타그램 크롤러 (Python, Se..