끄적끄적 코딩일지

JWT란? Json Web Token의 약자로써 사용자를 구분하는 Json을 만들고 (보통 로그인한 정보로 생성) 암호화를 한다음 token을 발급하여 사용자에게 전달하면 사용자는 그 정보로 서버에 자신을 인증하는 용도로 쓰인다. 시작하기 일단 jwt 모듈을 설치한다. pip install pyjwt 토큰 발급하기 import jwt import hashlib from datetime import dateitime,timedelta SECRET_KEY = 'this is key' # 토큰을 암호화할 key 세팅 @app.route('/signin',methods=['POST']) def sign_in(): id = request.form['id'] pw = request.form['pw'] if id==..

API를 구현하면서 특정한 데이터를 반복적으로 요청하는 경우가 있다. 나의 경우에는 로그인한 사용자 ID를 요청하는 경우였다. 그 경우 Cookie나 Session Storage를 사용하면 쉽게 정보를 담고 뺄수 있다. from flask import Flask,request,make_response,session # sessionStorage를 사용하려면 secret key 값을 주어야 한다. MYSECRET = 'this is my key' app.secret_key = MYSECRET #cookie 조회하기 @app.route('/getcookie/',methods=['POST']) def get_cookie(key): res = request.cookies.get(key) return res # ..

저번 시간에 크롤링을 해서 필요한 데이터를 다 저장했다!! 2022.05.10 - [Python] - BeautifulSoup + Selenium을 이용한 동적 페이지 크롤링 BeautifulSoup + Selenium을 이용한 동적 페이지 크롤링 프로젝트를 진행하다가 웹 크롤링을 해야하는 상황이 생겼다 자신있게 requests 모듈을 써서 테스트 코드 작성후 실행을 해보는데... from bs4 import BeautifulSoup import requests url = '크롤링 페이지' html.. blablacoding.tistory.com 그러면 페이지에 데이터를 넣을려면 JQuery / Ajax를 사용해서 넣기만 하면 되는데... 솔직히 Ajax사용해서 데이터를 받는건 그렇다 처도 그거 하나씩 ..

크롤링을 사용하여 데이터를 긁어오다가 정기적으로 데이터를 업데이트 해주어야 하는 문제가 생겼다. 어떻게 정기적 이라는 조건을 해결할까 생각해 보다가 예전 spring을 공부할때 scheduler개념이 생각났다. 혹시 flask에서도 scheduler을 실행시킬수 있지 않을까 찾아보니.... 오! 있다!! 무려 scheduler와 APScheduler 라는 라이브러리가 있단다. 두개의 차이점은 APScheduler는 background에서도 실행을 할수 있고 실행주기 지정을 cron, date,interval등 다양한 방식으로 실행 주기를 지정할 수 있다. 기왕이면 좋은게 좋다고 APScheduler 를 사용해 보도록 하자 일단 모듈부터 설치하고 pip install APScheduler 이어서 코드 작성..

프로젝트를 진행하다가 웹 크롤링을 해야하는 상황이 생겼다 자신있게 requests 모듈을 써서 테스트 코드 작성후 실행을 해보는데... from bs4 import BeautifulSoup import requests url = '크롤링 페이지' html = requests.get(url) bs = BeautifulSoup(html.content,'html.parser') print(bs.find_all('내가 찾는 tag',{'class':'내가 찾는 tag의 클레스'})) print 출력 결과... [] ??? 뭐야 왜 페이지가 비어있어?? 구글링 해보니 내가 필요한 정보는 동적(dynamic)으로 체워지는 모양 (하긴 동적인 크롤링할 가치가 있는 데이터는 왠만하면 동적페이지가 대부분이긴 하지..) ..

Flask 란? python의 web 프레임워크로써 비교적 코드가 단순하다는 장점이 있다. 때문에 api 서버를 만들기에 편리하다. API 란? Application Programming Interface의 약자로써 하나의 Application이 다른 Application에게 자신의 기능을 제공하는 서비스이다. 쉽게 말하면 자신의 서비스를 다른 프로그램에서 사용할수 있도록 경로를 열어두고 결과를 반환하는 것 Flask 사용하기 step1. Flask 설치 pip install flask step2. Flask 사용하기 from flask import Flask, render_template, request, jsonify app = Flask(__name__) // 사전에 만든 html을 사용할때는 re..

먼저 python에서 mongoDB 에 접속에 필요한 패키지를 설치한다. pip install pymongo pip install dnspython 아래 링크에서 Atlas에 회원가입후 cluster를 만든다. https://www.mongodb.com/ko-kr/cloud/atlas/register MongoDB Atlas 무료로 시작하기. 신용카드 필요 없음 www.mongodb.com 만들은 cluster에서 connect > connect your application 에서 python , python version을 선택한후 아래 나오는 url을 복사한다. 사용하기 from pymongo import MongoClient //url 입력시 myFirstDatabase -> cluster 이름으로..

Web Crawling 이란? 사전적 의미로는 web 상을 기어다닌다는 의미인데 이는 web 상에서 필요한 정보를 수집하는 행위를 말한다. 이는 Web Scraping이라고도 하는데 소프트웨어 기술로 웹 사이트에서 원하는 정보를 추출하는 기술이다. Beautiful Soup 이란? Python을 사용하여 Web Crawling을 수행하는 라이브러리 Beautiful Soup 사용하기 사전에 Beautiful soup & requests 라이브러리 설치후 진행한다 pip install bs4 pip install requests import requests import bs4 webpage = requests.get("crawling할 url") soup = bs4.BeautifulSoup(webpage...