Datahaseo

비지도 학습 > 군집분석 > KMEANS > Iris 붓꽃 데이터 세트 활용 STEP 1. 데이터 세트 확인 STEP 2 . 데이터 전처리- 군집 분석은 종속 변수가 존재하지 않으므로, 종속변수를 제외하여 데이터 추출 - 만약 군집분석 후 나눠진 군집을 기존의 종속변수와 비교하려는 시도는 로지스틱 회귀 분석으로 통계량이 제공되는 과정이 더 나을수 있음 df= origin.drop('Species' , axis=1)df.head() STEP 3.K Means 의 하이퍼 파라미터 (1) Inertia : K MEANS 의 성능 평가 지표- 각 데이터가 자신의 군집 중심까지 떨어진 거리의 제곱합 - 즉, 이 이너셔 값이 작을수록 각 데이터 포인트의 군집의 중심점을 기준으로 잘 뭉쳐있음을 의미 - ..

**모든 자료의 저작권은 아이티윌 이광호 강사님K means 개요[1] 비지도 학습- 종속변수 없이 컴퓨터가 데이터의 패턴/규칙을 찾아내는 방법- 분석가의 주관 개입이 많음- 학습이 끝난 후 평가가 어려움 [2] KMeans 클러스터링- 각 군집의 평균을 활용하여 k 개의 클러스터로 묶는 알고리즘- 데이터 전처리 단계에서 라벨링을 위해 사용하기도 함 [3] 기본 아이디어- 같은 군집 내부 데이터는 서로 가깝게 위치- 서로 다른 군집 간 데이터는 멀리 위치- 거리 기준으로 보통 유클리드 거리 사용 [4] KMeans 의 수행 절차 1) 초기 클러스터링의 수 k 를 정의 2) k 개의 클러스터의 가상의 중심점들을 선택 3) 각 측정값을 가장 가까운 중심점의 클러스터에 할당 4) 새로운 클러스터의 중심 ..

[아이티윌 빅데이터 52기] Data Analysis Basic | Lab 01 | NumPy Library*모든 자료의 저작권은 아이티윌 이광호 강사님 - NumPy 시작하기-ndarray 의 주요 기능-그 밖의 ndarray 형태-ndarray 형태 변환 1. NumPy 시작하기NumPy 는 파이썬으로 할 수있는 수치 계산도구C 를 파이썬으로 감싸고 있기 때문에 속도 처리가 빠름 가장 중요한 점은 리스트의 단점을 보완하고 있다는 점 (효율성) NumPy 의 핵심 자료 구조는 ndarrayndarray 는 리스트 처럼 생긴 배열, 일반 리스트와의 차이는 규칙적인 데이터들의 묶음리스트는 데이터 타입에 제약이 없지만 배열은 같은 타입만 넣을 수 있음n 차원의 객체로 평균 행렬 연산 등을 한번에 수행할 ..

[아이티윌 빅데이터 52기] LAB 13 | 웹 페이지 데이터 수집하기*모든 자료 저작권은 아이티윌 이광호 강사님 데이터 스크래핑과 데이터 크롤링의 개념 차이 HTML 의 이해 CSS 선택자 개요 1. 라이브러리 참조하기2. 웹 페이지의 모든 소스코드 가져오기3. 수신 결과 확인4. 응답 결과에 대한 Beautifulsoup 객체 생성5. HTML 태그에 의한 추출6. 클래스에 의한 추출7. ID 에 의한 추출8. 복합 선택자9. 속성 선택자 1. 라이브러리 참조하기import requestsfrom bs4 import BeautifulSoup 2. 웹 페이지의 모든 소스코드 가져오기#웹에 데이터 요청하기with requests.Session() as session: #세션 객체에..

[아이티윌 빅데이터 52기] LAB 13 | 웹 페이지 데이터 수집하기 *모든 자료 저작권은 아이티윌 이광호 강사님 STEP 1. 라이브러리 불러오기STEP 2. 데이터 요청하기STEP 3. 데이터 확인하기STEP 4. 불러온 데이터에 대해 객체 생성하기STEP 5. 메뉴명, 메뉴 설명, 메뉴 이미지 데이터 가져오기STEP 6. 데이터 프레임 생성을 위해 데이터 정제하기STEP 7. 데이터 프레임 생성하기STEP 8. 이미지 다운을 위한 파일 다운로드 함수 정의하기STEP 9. 비동기식으로 다운로드 처리하기========================================STEP 1. 라이브러리 불러오기import requestsfrom bs4 import BeautifulSoupfrom pa..

[아이티윌 빅데이터 52기] LAB 13 | 파이썬 파이널 과제 | OpenAPI 연동 실습 (개인 작성 버전) 모든 과제에 대한 저작권은 아이티윌 이광호 강사님께 있습니다 활용할 데이터 셋브이월드 API레퍼런스서울교통공사_역주소 및 전화번호> 데이터셋> 공공데이터 | 서울열린데이터광장 열린데이터광장 메인데이터분류,데이터검색,데이터활용data.seoul.go.kr 1. 서울 열린 데이터 광장 OPEN API 활용 | 서울교통공사_역주소 및 전화번호 데이터 가져오기2. 국토교통부 V WORLD OPEN API 활용 | 주소를 좌표로 변환해보기3. pandas의 조인 문법 활용, 주소를 기준으로 하나의 데이터 프레임 형태로 만들기 1. 데이터 작업 : 서울교통공사 데이터를 가져올 때, 본인은 ope..

[아이티윌 빅데이터 52기] LAB 13 | 파이썬 파이널 과제 | OpenAPI 연동 실습 (선생님 버전)모든 과제에 대한 저작권은 아이티윌 이광호 강사님께 있습니다 활용할 데이터 셋브이월드 API레퍼런스서울교통공사_역주소 및 전화번호> 데이터셋> 공공데이터 | 서울열린데이터광장 STEP1. 패키지 참조STEP2. CSV 파일 읽어오기 STEP 3. Open API 데이터 요청 스펙 확인 STEP4. 위경도를 조회하는 함수 정의 STEP.5-1 위경도 변환하기 | 동기 방식 STEP.5-2 위경도 변환하기 | 비동기 방식 STEP.6 변환 결과 저장하기 STEP1. 패키지 참조import requestsfrom pandas import DataFramefrom concurren..

[아이티윌 빅데이터 52기] LAB 12 | 웹 데이터 수집하기 | 네이버 트렌드 데이터 API 네이버 API 데이터 사전 준비STEP 1. 네이버 개발자 사이트에 들어와 로그인 한다STEP 2. 키 발급을 위해 앱 생성창에 필요한 정보를 입력STEP 3. 등록 후 개인 CLIENT 키 확인STEP 4. Documents 메뉴 > 통합 검색어 트렌드 > API 레퍼런스 에서 기본 url 및 관련 명세서 확인 STEP 1. 네이버 개발자 사이트에 들어와 로그인 한다 STEP 2. 키 발급을 위해 앱 생성창에 필요한 정보를 입력 STEP 3. 등록 후 개인 CLIENT 키 확인 STEP 4. Documents 메뉴 > 통합 검색어 트렌드 > API 레퍼런스 에서 기본 url 및 관련 명..

[아이티윌 빅데이터 52기] LAB 12 | 웹 데이터 수집하기 | 카카오 검색 결과 수집 카카오의 도서 검색 결과를 모두 가져오기 위해서는 어떻게 해야할까?요청 url 에서 page 파라미터를 통해 도서 검색 결과 페이지의 쪽수를 컨트롤 할 수있었는데,이 값들을 최대치인 50까지 모두 다 가져오기 위해서 반복문을 결합해보자 STEP 1. 라이브러리 참조하기STEP 2. 요청 정보 확인STEP 3. 웹 데이터 요청하기STEP 4. 데이터 저장하기 STEP 1. 라이브러리 참조하기import requestsfrom pandas import DataFrame STEP 2. 요청 정보 확인#요청 URLurl ="https://dapi.kakao.com/v3/search/book"#QueryString 요청..

[아이티윌 빅데이터 52기] LAB 12 | 웹 데이터 수집하기 | 카카오 검색 결과 수집 카카오 검색 결과 데이터 가져오기 | 사전 준비STEP 1. 카카오 개발자 사이트에 들어와 로그인 한다STEP 2. 키 발급을 위해 앱 생성창에 필요한 정보를 입력STEP 3. 메뉴 > 앱 > 일반에서 REST API 키를 확인STEP 4. 대카테고리 메뉴 > 문서 > REST API > 검색 에서 검색 결과 데이터를 가져올 수있는 REST API 관련 명세서 확인 STEP 1. 카카오 개발자 사이트에 들어와 로그인 한다 STEP 2. 키 발급을 위해 앱 생성창에 필요한 정보를 입력 STEP 3. 메뉴 > 앱 > 일반에서 REST API 키를 확인 STEP 4. 대카테고리 메뉴 > 문서 > REST ..