오늘은 어제 크롤링할때 사진이 아니라 동영상만 올라온 포스트이거나 사진이 한장만 올라온 경우 작은 프로필 사진이 대신 크롤링되는데 일단 이부분은 s3에서 컨트롤 할 것 같고 걸러낸 사진들을 모두 리사이징 해야하는데 그전에 이름규칙부터 잘 정해놔야 s3 에서 어렵지 않을 것 같다 그래서 처음 할 거는 이름규칙을 정해보고 aws 백앤드 구성을 해보자 오늘의 안주는 매콤두부볶음? 인데 내일 치팅데이 할까 낼 참고 토요일에할까 일주일 내내 두부만먹으니까 살은 빠지는데 개물리네 크롤링 이미지 이름 규칙 원래는 맴버벌로 이미지를 받아와서 15초 분량의 동영상으로 다운받을 수 있게 하려고 했는데 python 으로 구현하려면 아마 numpy 를 사용해야 할 것 같다. 근데 오늘은 목요일이고 작품 출품은 토요일이기 때문..

어제는 href 얻어오는거밖에 못했는데 오늘은 이미지를 로컬에 저장해보고 반복문으로 나머지 맴버들의 사진까지 전부 가져와보자 그리고 시간이 되면 리사이징까지 해보자 오늘의 안주 이미지 저장 0914.11시에 시작해서 지금 0915.1시인데 음.. 지금 저 페이지에는 10장의 사진이 올라와있는데 img 순서대로 긁어오면 오른쪽 사람들의 작은 프로필 이미지가 긁혀온다.. 이건 지금 어떻게 할 엄두가 안나서 각 페이지의 첫번째, 두번째 사진만 긁어오는걸로 하자 로컬저장까지 되었으니 이제 코드 전체를 정리하고 (30분걸림) 맴버 4명의 제일 위의 3개 게시물에서 각각 2장씩 저장해보자 와 잘되서 마무리할려고 했는데 갑자기 안되서 한참 찾았는데 파일 경로에 str 이 아니라 정수가 들어가있었네 변수로 넣어놨어서 ..

8월말에 허리를 다치고 공부를 쉬었어서 section1 ~ section12 까지 복습 한번 해보려고 한다 section 1 2 3 에는 강의 개요와 aws 서비스 소개 였었고 section4 에서는 IAM 소개와 IAM 사용자 및 그룹 실습을 했었다 사용자(user)는 복수 그룹에 속할 수 있다 그룹 안에 그룹을 넣을 수 없다 아무 그룹에 속하지 않은 사용자가 있을 수 있다 그룹을 지정하는 이유는 권한(permissions)부여 때문이다 IAM 정책을 그룹이나 사용자에 적용하는 실습을 했었고 이후 12강에서 직접 정책을 만들어보기도 했다 이후 MFA 적용을 해봣다 IAM 역할을 만들고 거기에 정책을 연결해보기도 했다 AWS CLI 를 운영체제별 설치하는 법을 배우고 AWS CloudShell 사용 개요..

저번에 계정에 접속하는것까지 했으니까 오늘은 로컬환경에서 그 계정의 최신 사진들을 크롤링 한 후 저장해보고 금방끝나면 반복문으로 4명 모두의 사진을 저장해보자 오늘의 안주는 편의점 편육과 두부팽이버섯계란 섞어서 소금 후추 쳐서 전같이 부친 두부버섯계란전? 이미지 크롤링 저번에 했던 거에서 첫번째 사진 링크로 접근해서 사진을 받고, 두번째 , 세번째 이후에 다음 아이디 이런 순서로 접근하려고 했는데 계정의 첫번째 사진의 링크를 얻어오는게 쉽지 않았다 xpath 로 클릭하는것도 안됬고 find element 로 접근해서 클릭해보려고했는데 실패했다 그래서 링크의 href 를 찾아내서 driver.get(url) 이런식으로 접근해보려고 한다 ... 저 위 글 쓴게 4시간전임 ㅋㅋ 크롤링은 고사하고 href 링크..

오늘도 역시 소주한병 옆에 두고 오늘의 안주는 어제 먹다남은 두부랑 꼬치집에서 시킨 닭꼬치 ㅋㅋ 오늘은 추석이였어서 본가 갔다오느라 허리상태가 썩 좋지 못해서 일단 어제 로그인 후 뜨는 팝업을 해제해보고 그 다음에 계정에 접속하는것까지 구현해보자 알람설정 팝업 닫기 https://coding-kindergarten.tistory.com/151 [Python/Selenium] 파이썬 동적 웹크롤링_selenium으로 화면 조작하기(ft.버튼 클릭, 키 입력, 스크롤 내 안녕하세요, 왕초보 코린이를 위한 코딩유치원에 오신 것을 환영합니다. 코딩유치원에서는 파이썬 기초부터 사무자동화, 웹크롤링, 데이터 분석, 머신러닝 등의 다양한 패키지까지 초보자도 coding-kindergarten.tistory.com 셀..

최근에 또 허리를 다쳐서 계속 누워만있다가 추석 연휴인 오늘 옆에 소주한병 놓고 시작해보려고 한다. 오늘의 목표는 인스타그램 계정의 첫 페이지 사진 전부를 로컬 폴더로 크롤링 해오는 것이다. 한 3일간 서칭해봤지만 정확히 이 기능을 하는 스크립트는 없는것 같아서 여기저기서 코드를 끌어와야 할 것 같다. 로그인 일단 로그인부터 쉽지가 않은데 인스타그램 계정이 아니라 페이스북으로 로그인을 해보려고 한다. 22.09.09 9:30pm 시작 페이스북 로그인을 하려고 https://github.com/SOMJANG/Instagram_Crawler/blob/main/instagram_crawler/utils.py GitHub - SOMJANG/Instagram_Crawler: 인스타그램 크롤러 (Python, Se..