[Web]BLACKPINK IN YOUR AREA-10-python으로 파일삭제 + 에러핸들링

일단 조코딩 헤커톤은 끝났고

이제 완성도를 높이기 위해 기능들을 하나씩 추가해줄껀데

오늘 서버에 들어가보니까 에러가 뜨면서 제대로 실행되지 않았다

보니깐 date 함수를 잘못 사용한 것 같다

 

그래서 오늘은 간단하게 에러 해결해보고

주석처리해놔서 실행되지 않았던거 수정해서 한번 다시 돌려보고

이전에 크롤링 해왔던 이미지 파일들을 ec2내에서 자동으로 삭제 해 주는 함수를 새로 만들어볼 생각이다

 

date 함수는 다루기 어려운 것 같다

2일동안 하루에 한번씩 에러가 났는데

y=datetime.today().year
m=datetime.today().month
d=datetime.today().day
 
today=str(datetime(y,m,d))
tommorow=str(datetime(y,m,d+1))
 
for account in blackpink:
    com = 'instaloader --fast-update --post-filter="datetime(td) <= date_utc < datetime(tm)"  --login=my_id -p=my_pass insta_id --no-profile-pic --no-compress-json --no-metadata-json --no-videos --filename-pattern={date_local}_{profile}'
    #com = 'instaloader --fast-update --post-filter="datetime(2022,9,19) <= date_utc < datetime(2022,9,21)"  --login=my_id -p=my_pass insta_id --no-profile-pic --no-compress-json --no-metadata-json --no-videos --filename-pattern={date_local}_{profile}'
    com=com.replace("insta_id", account)
    com=com.replace("my_id", myid)
    com=com.replace("my_pass", mypass)
    com=com.replace("td", today)
    com=com.replace("tm", tommorow)
    os.system(com) #파이썬에서 스크립트 실행

한번은 datetime 인자를 잘못 입력해서 에러가 났고

두번째는 replace() 에 대체값을 datetime 형식으로 넣어서 에러가 났다

str() 로 씌워줬고 다시 돌리는 중이다

 

 

_filectl.py

import os
 
def delete_file(filepath) :
    if os.path.exists(filepath) :
        os.remove(filepath)
        print("delete file : "+filepath[31:])
 
def session_file_delete() :
    if os.path.exists('/home/ubuntu/.config/instaloader/session-blackpinkcrawling') :
        os.remove('/home/ubuntu/.config/instaloader/session-blackpinkcrawling')
        print("delete file : session-blackpinkcrawling")

이미지 파일이 맴버 폴더에 계속 쌓이지 않게 이미지를 삭제해 주는 delete_file() 함수를 만들었고

하루가 지나면 세션파일이 만료되서 그런지 로그인이 안되는 문제가 발생해서 작업이 모두 끝나면 세션 파일을 삭제하는 session_file_delete() 함수를 만들었다

 

그리고 메인에 연결해줬음

 

 

이건 나중에 해볼껀데

지금 s3 배포는 http 프로토콜만 지원하는데

나중에 https 도 지원하도록 작업해볼 예정

https://velog.io/@seeh_h/%EB%B0%B0%ED%8F%AC-AWS-S3%EB%A1%9C-%EB%B0%B0%ED%8F%AC%ED%95%9C-%EC%95%B1%EC%97%90-HTTPS-%EC%A0%81%EC%9A%A9%ED%95%98%EA%B8%B0

[배포] AWS S3로 배포한 앱에 HTTPS 적용하기