Datahaseo

[아이티윌 빅데이터 52기] Data Analysis Basic | Lab 01 | NumPy Library*모든 자료의 저작권은 아이티윌 이광호 강사님 - NumPy 시작하기-ndarray 의 주요 기능-그 밖의 ndarray 형태-ndarray 형태 변환 1. NumPy 시작하기NumPy 는 파이썬으로 할 수있는 수치 계산도구C 를 파이썬으로 감싸고 있기 때문에 속도 처리가 빠름 가장 중요한 점은 리스트의 단점을 보완하고 있다는 점 (효율성) NumPy 의 핵심 자료 구조는 ndarrayndarray 는 리스트 처럼 생긴 배열, 일반 리스트와의 차이는 규칙적인 데이터들의 묶음리스트는 데이터 타입에 제약이 없지만 배열은 같은 타입만 넣을 수 있음n 차원의 객체로 평균 행렬 연산 등을 한번에 수행할 ..

[아이티윌 빅데이터 52기] LAB 13 | 웹 페이지 데이터 수집하기*모든 자료 저작권은 아이티윌 이광호 강사님 데이터 스크래핑과 데이터 크롤링의 개념 차이 HTML 의 이해 CSS 선택자 개요 1. 라이브러리 참조하기2. 웹 페이지의 모든 소스코드 가져오기3. 수신 결과 확인4. 응답 결과에 대한 Beautifulsoup 객체 생성5. HTML 태그에 의한 추출6. 클래스에 의한 추출7. ID 에 의한 추출8. 복합 선택자9. 속성 선택자 1. 라이브러리 참조하기import requestsfrom bs4 import BeautifulSoup 2. 웹 페이지의 모든 소스코드 가져오기#웹에 데이터 요청하기with requests.Session() as session: #세션 객체에..

[아이티윌 빅데이터 52기] LAB 13 | 웹 페이지 데이터 수집하기 *모든 자료 저작권은 아이티윌 이광호 강사님 STEP 1. 라이브러리 불러오기STEP 2. 데이터 요청하기STEP 3. 데이터 확인하기STEP 4. 불러온 데이터에 대해 객체 생성하기STEP 5. 메뉴명, 메뉴 설명, 메뉴 이미지 데이터 가져오기STEP 6. 데이터 프레임 생성을 위해 데이터 정제하기STEP 7. 데이터 프레임 생성하기STEP 8. 이미지 다운을 위한 파일 다운로드 함수 정의하기STEP 9. 비동기식으로 다운로드 처리하기========================================STEP 1. 라이브러리 불러오기import requestsfrom bs4 import BeautifulSoupfrom pa..

[아이티윌 빅데이터 52기] LAB 13 | 파이썬 파이널 과제 | OpenAPI 연동 실습 (개인 작성 버전) 모든 과제에 대한 저작권은 아이티윌 이광호 강사님께 있습니다 활용할 데이터 셋브이월드 API레퍼런스서울교통공사_역주소 및 전화번호> 데이터셋> 공공데이터 | 서울열린데이터광장 열린데이터광장 메인데이터분류,데이터검색,데이터활용data.seoul.go.kr 1. 서울 열린 데이터 광장 OPEN API 활용 | 서울교통공사_역주소 및 전화번호 데이터 가져오기2. 국토교통부 V WORLD OPEN API 활용 | 주소를 좌표로 변환해보기3. pandas의 조인 문법 활용, 주소를 기준으로 하나의 데이터 프레임 형태로 만들기 1. 데이터 작업 : 서울교통공사 데이터를 가져올 때, 본인은 ope..

[아이티윌 빅데이터 52기] LAB 13 | 파이썬 파이널 과제 | OpenAPI 연동 실습 (선생님 버전)모든 과제에 대한 저작권은 아이티윌 이광호 강사님께 있습니다 활용할 데이터 셋브이월드 API레퍼런스서울교통공사_역주소 및 전화번호> 데이터셋> 공공데이터 | 서울열린데이터광장 STEP1. 패키지 참조STEP2. CSV 파일 읽어오기 STEP 3. Open API 데이터 요청 스펙 확인 STEP4. 위경도를 조회하는 함수 정의 STEP.5-1 위경도 변환하기 | 동기 방식 STEP.5-2 위경도 변환하기 | 비동기 방식 STEP.6 변환 결과 저장하기 STEP1. 패키지 참조import requestsfrom pandas import DataFramefrom concurren..

[아이티윌 빅데이터 52기] LAB 12 | 웹 데이터 수집하기 | 네이버 트렌드 데이터 API 네이버 API 데이터 사전 준비STEP 1. 네이버 개발자 사이트에 들어와 로그인 한다STEP 2. 키 발급을 위해 앱 생성창에 필요한 정보를 입력STEP 3. 등록 후 개인 CLIENT 키 확인STEP 4. Documents 메뉴 > 통합 검색어 트렌드 > API 레퍼런스 에서 기본 url 및 관련 명세서 확인 STEP 1. 네이버 개발자 사이트에 들어와 로그인 한다 STEP 2. 키 발급을 위해 앱 생성창에 필요한 정보를 입력 STEP 3. 등록 후 개인 CLIENT 키 확인 STEP 4. Documents 메뉴 > 통합 검색어 트렌드 > API 레퍼런스 에서 기본 url 및 관련 명..

[아이티윌 빅데이터 52기] LAB 12 | 웹 데이터 수집하기 | 카카오 검색 결과 수집 카카오의 도서 검색 결과를 모두 가져오기 위해서는 어떻게 해야할까?요청 url 에서 page 파라미터를 통해 도서 검색 결과 페이지의 쪽수를 컨트롤 할 수있었는데,이 값들을 최대치인 50까지 모두 다 가져오기 위해서 반복문을 결합해보자 STEP 1. 라이브러리 참조하기STEP 2. 요청 정보 확인STEP 3. 웹 데이터 요청하기STEP 4. 데이터 저장하기 STEP 1. 라이브러리 참조하기import requestsfrom pandas import DataFrame STEP 2. 요청 정보 확인#요청 URLurl ="https://dapi.kakao.com/v3/search/book"#QueryString 요청..

[아이티윌 빅데이터 52기] LAB 12 | 웹 데이터 수집하기 | 카카오 검색 결과 수집 카카오 검색 결과 데이터 가져오기 | 사전 준비STEP 1. 카카오 개발자 사이트에 들어와 로그인 한다STEP 2. 키 발급을 위해 앱 생성창에 필요한 정보를 입력STEP 3. 메뉴 > 앱 > 일반에서 REST API 키를 확인STEP 4. 대카테고리 메뉴 > 문서 > REST API > 검색 에서 검색 결과 데이터를 가져올 수있는 REST API 관련 명세서 확인 STEP 1. 카카오 개발자 사이트에 들어와 로그인 한다 STEP 2. 키 발급을 위해 앱 생성창에 필요한 정보를 입력 STEP 3. 메뉴 > 앱 > 일반에서 REST API 키를 확인 STEP 4. 대카테고리 메뉴 > 문서 > REST ..

#모든 자료 저작권은 아이티윌 이광호 강사님[아이티윌 빅데이터 52기] LAB 12 | 웹 데이터 수집하기 | 박스 오피스 데이터 수집 웹 데이터 수집 코드 작성 전 사전 준비1. 영화 진흥 위원해 Open api 사이트 접속우선 데이터 수집할 방식은 OPEN API를 활용하는 것Open API 는 다른 서비스의 데이터를 주고 받게 해주는 표준화된 창고로, 외부 데이터를 가져오는 통로 2. OPEN API 접근을 위한 키 발급받기 3. OPEN APU 설명서를 확인 기본 요청 URL 로 확인시에는 키값이 없어 아무 JSON 데이터도 없는 형태(GET 요청 방식이기 때문에 웹 브라우저에서 데이터 확인 조회가 가능하다)http://www.kobis.or.kr/kobi..

[아이티윌 빅데이터 52기] LAB 11 | 웹 데이터 수집하기 1 requests 라이브러리웹 서버와의 HTTP 토잇ㄴ을 간단하게 처리할 수 있는 라이브러리복잡한 코드 없이 GET,POST, PUT,DELETE 요청 가능 (Thunder client test 와 동일한 기능 구현) HTTP CLIENT 구축에 가장많이 쓰이는 REQUESTS 라이브러리 HTTP 상태코드 웹 데이터 요청하기#라이브러리 importimport requests#세션 객체 생성with requests.Session() as session: #세션 객체에 웹 브라우저 정보 (UserAgent) 주입 (웹서버가 파이썬 프로그램을 정상적인 웹 브라우저로 여기도록) session.headers.update({"User-Ag..