Datahaseo

[아이티윌 빅데이터 52기] LAB 13 | 웹 페이지 데이터 수집하기

[아이티윌 빅데이터 52기] LAB 13 | 웹 페이지 데이터 수집하기*모든 자료 저작권은 아이티윌 이광호 강사님 데이터 스크래핑과 데이터 크롤링의 개념 차이 HTML 의 이해 CSS 선택자 개요 1. 라이브러리 참조하기2. 웹 페이지의 모든 소스코드 가져오기3. 수신 결과 확인4. 응답 결과에 대한 Beautifulsoup 객체 생성5. HTML 태그에 의한 추출6. 클래스에 의한 추출7. ID 에 의한 추출8. 복합 선택자9. 속성 선택자 1. 라이브러리 참조하기import requestsfrom bs4 import BeautifulSoup 2. 웹 페이지의 모든 소스코드 가져오기#웹에 데이터 요청하기with requests.Session() as session: #세션 객체에..

[아이티윌 빅데이터 52기] LAB 13 | 웹 페이지 데이터 수집하기 (연구과제)

[아이티윌 빅데이터 52기] LAB 13 | 웹 페이지 데이터 수집하기 *모든 자료 저작권은 아이티윌 이광호 강사님 STEP 1. 라이브러리 불러오기STEP 2. 데이터 요청하기STEP 3. 데이터 확인하기STEP 4. 불러온 데이터에 대해 객체 생성하기STEP 5. 메뉴명, 메뉴 설명, 메뉴 이미지 데이터 가져오기STEP 6. 데이터 프레임 생성을 위해 데이터 정제하기STEP 7. 데이터 프레임 생성하기STEP 8. 이미지 다운을 위한 파일 다운로드 함수 정의하기STEP 9. 비동기식으로 다운로드 처리하기========================================STEP 1. 라이브러리 불러오기import requestsfrom bs4 import BeautifulSoupfrom pa..

[아이티윌 빅데이터 52기] LAB 13 | 파이썬 파이널 과제 | OpenAPI 연동 실습 (개인 작성 버전)

[아이티윌 빅데이터 52기] LAB 13 | 파이썬 파이널 과제 | OpenAPI 연동 실습 (개인 작성 버전) 모든 과제에 대한 저작권은 아이티윌 이광호 강사님께 있습니다 활용할 데이터 셋브이월드 API레퍼런스서울교통공사_역주소 및 전화번호> 데이터셋> 공공데이터 | 서울열린데이터광장 열린데이터광장 메인데이터분류,데이터검색,데이터활용data.seoul.go.kr 1. 서울 열린 데이터 광장 OPEN API 활용 | 서울교통공사_역주소 및 전화번호 데이터 가져오기2. 국토교통부 V WORLD OPEN API 활용 | 주소를 좌표로 변환해보기3. pandas의 조인 문법 활용, 주소를 기준으로 하나의 데이터 프레임 형태로 만들기 1. 데이터 작업 : 서울교통공사 데이터를 가져올 때, 본인은 ope..

[아이티윌 빅데이터 52기] LAB 13 | 파이썬 파이널 과제 | OpenAPI 연동 실습 (선생님 버전)

[아이티윌 빅데이터 52기] LAB 13 | 파이썬 파이널 과제 | OpenAPI 연동 실습 (선생님 버전)모든 과제에 대한 저작권은 아이티윌 이광호 강사님께 있습니다 활용할 데이터 셋브이월드 API레퍼런스서울교통공사_역주소 및 전화번호> 데이터셋> 공공데이터 | 서울열린데이터광장 STEP1. 패키지 참조STEP2. CSV 파일 읽어오기 STEP 3. Open API 데이터 요청 스펙 확인 STEP4. 위경도를 조회하는 함수 정의 STEP.5-1 위경도 변환하기 | 동기 방식 STEP.5-2 위경도 변환하기 | 비동기 방식 STEP.6 변환 결과 저장하기 STEP1. 패키지 참조import requestsfrom pandas import DataFramefrom concurren..