끄적끄적 코딩일지

저번 시간에 크롤링을 해서 필요한 데이터를 다 저장했다!! 2022.05.10 - [Python] - BeautifulSoup + Selenium을 이용한 동적 페이지 크롤링 BeautifulSoup + Selenium을 이용한 동적 페이지 크롤링 프로젝트를 진행하다가 웹 크롤링을 해야하는 상황이 생겼다 자신있게 requests 모듈을 써서 테스트 코드 작성후 실행을 해보는데... from bs4 import BeautifulSoup import requests url = '크롤링 페이지' html.. blablacoding.tistory.com 그러면 페이지에 데이터를 넣을려면 JQuery / Ajax를 사용해서 넣기만 하면 되는데... 솔직히 Ajax사용해서 데이터를 받는건 그렇다 처도 그거 하나씩 ..

크롤링을 사용하여 데이터를 긁어오다가 정기적으로 데이터를 업데이트 해주어야 하는 문제가 생겼다. 어떻게 정기적 이라는 조건을 해결할까 생각해 보다가 예전 spring을 공부할때 scheduler개념이 생각났다. 혹시 flask에서도 scheduler을 실행시킬수 있지 않을까 찾아보니.... 오! 있다!! 무려 scheduler와 APScheduler 라는 라이브러리가 있단다. 두개의 차이점은 APScheduler는 background에서도 실행을 할수 있고 실행주기 지정을 cron, date,interval등 다양한 방식으로 실행 주기를 지정할 수 있다. 기왕이면 좋은게 좋다고 APScheduler 를 사용해 보도록 하자 일단 모듈부터 설치하고 pip install APScheduler 이어서 코드 작성..

프로젝트를 진행하다가 웹 크롤링을 해야하는 상황이 생겼다 자신있게 requests 모듈을 써서 테스트 코드 작성후 실행을 해보는데... from bs4 import BeautifulSoup import requests url = '크롤링 페이지' html = requests.get(url) bs = BeautifulSoup(html.content,'html.parser') print(bs.find_all('내가 찾는 tag',{'class':'내가 찾는 tag의 클레스'})) print 출력 결과... [] ??? 뭐야 왜 페이지가 비어있어?? 구글링 해보니 내가 필요한 정보는 동적(dynamic)으로 체워지는 모양 (하긴 동적인 크롤링할 가치가 있는 데이터는 왠만하면 동적페이지가 대부분이긴 하지..) ..

1. 프로젝트 명 찜지컬(JJIMSICAL) 2. 소개 뮤지컬에 대한 가격, 위치, 내용등의 정보를 재공하고 코멘트를 공유함으로써 흥미있는 뮤지컬 정보를 찾을 수 있고 바로 예매할 수 있는 사이트로 연결해주는 플랫폼 입니다. 3. 와이어 프레임 -로그인 페이지- -회원가입 페이지- -메인 페이지- 4. 개발해야 하는 기능들 기능 Method URL request response 로그인 POST /login {'id':'id,'pw':pw} 회원가입 POST /join {'id':id,'pw':pw,} 회원가입 결과 공연 정보 조회 POST /info {'item':itemid} 공연 상세 정보 및 코멘트 목록 코멘트 등록 POST /add/comment {'userid':userid,'comment':c..

Flask 란? python의 web 프레임워크로써 비교적 코드가 단순하다는 장점이 있다. 때문에 api 서버를 만들기에 편리하다. API 란? Application Programming Interface의 약자로써 하나의 Application이 다른 Application에게 자신의 기능을 제공하는 서비스이다. 쉽게 말하면 자신의 서비스를 다른 프로그램에서 사용할수 있도록 경로를 열어두고 결과를 반환하는 것 Flask 사용하기 step1. Flask 설치 pip install flask step2. Flask 사용하기 from flask import Flask, render_template, request, jsonify app = Flask(__name__) // 사전에 만든 html을 사용할때는 re..

먼저 python에서 mongoDB 에 접속에 필요한 패키지를 설치한다. pip install pymongo pip install dnspython 아래 링크에서 Atlas에 회원가입후 cluster를 만든다. https://www.mongodb.com/ko-kr/cloud/atlas/register MongoDB Atlas 무료로 시작하기. 신용카드 필요 없음 www.mongodb.com 만들은 cluster에서 connect > connect your application 에서 python , python version을 선택한후 아래 나오는 url을 복사한다. 사용하기 from pymongo import MongoClient //url 입력시 myFirstDatabase -> cluster 이름으로..

Web Crawling 이란? 사전적 의미로는 web 상을 기어다닌다는 의미인데 이는 web 상에서 필요한 정보를 수집하는 행위를 말한다. 이는 Web Scraping이라고도 하는데 소프트웨어 기술로 웹 사이트에서 원하는 정보를 추출하는 기술이다. Beautiful Soup 이란? Python을 사용하여 Web Crawling을 수행하는 라이브러리 Beautiful Soup 사용하기 사전에 Beautiful soup & requests 라이브러리 설치후 진행한다 pip install bs4 pip install requests import requests import bs4 webpage = requests.get("crawling할 url") soup = bs4.BeautifulSoup(webpage...

Jquery란? html 상에서 자주 사용하는 javascript 코드를 간단하게 사용할수 있는 기능을 제공해주는 라이브러리 시작하기 태그 안에 javascript cdn을 넣어서 사용 자주쓰는 JQUERY id로 특정 태그 찾기 : $('#id') input의 입력값 가져오기 : $('#id').val() input의 입력값 셋팅하기 : $('#id').val('입력값') 특정태그 숨기기 : $('#id').hide() 특정태그 보이기 : $('#id').show() 특정 태그에 하위 태그 추가하기 : $('#id').append(tag) 특정 태그 삭제 : $('#id').remove() 특정 태그의 하위 태그 삭제 : $('#id').remove(하위 태그) 특정 태그의 모든 하위 태그 삭제 : $..

구역 : 구역을 구분하는 Tag, : 문단을 구분하는 Tag, 가로정렬 목록 : 순서가 없는(사용자 정의대로) 목록 표시 : 순서가 있는 (숫자, 알파벳) 목록 표시 : 요소와 요소를 설명하는 목록 표시 : 목록의 요소 표시 글자 ~ : 글자 표시, 숫자가 작을수록 폰트 크기가 커짐 : 특정 글자를 꾸밈 : 하이퍼 링크 입력 : 광범의한 사용자의 입력, type에 따라 입력하는 데이터 선택 가능 - 기본 : 글자 입력 - number : 숫자 입력 - button : 버튼 표시 - checkbox : 체크 박스 - color : 특정 색 선택(html5) - date : 날짜 선택(html5) - datetime-local : 날짜,시간 선택(html5) - file : 파일 선택 - 더 자세한 정보는 ..