티스토리

Developer_u
검색하기

블로그 홈

Developer_u

dev-u.tistory.com/m

dev-u 님의 블로그입니다.

구독자
0
방명록 방문하기

주요 글 목록

  • 데이터 분석 인터랙션 시각화 python [1편] jupyter notebook or colab 환경에서 사용할수있는 동적 시각화 패키지(?) 사용 인터랙션 시각화 1편은 plotly를 사용한 인터랙션 시각화로 구성되어있습니다 1. 선형회귀 + 산포도 import plotly.express as px df = px.data.tips() fig = px.scatter(df, x="total_bill", y="tip", trendline="ols") fig.show() express를 사용한 데이터, 결제금과 팁 간의 선형회귀 + 산점도(산포도) 기본적이지만 데이터의 구조를 파악하는데 도움이 많이 되는 시각화 방법입니다 2. gapminder data 분포도 import plotly.express as px df = px.data.gapminder().qu.. 공감수 0 댓글수 0 2024. 2. 14.
  • 데이터분석 자동처리 pandas-profiling 데이터를 처음 분석할 때 기본적인으로 확인해보는 정보들을 자동화하여 인사이트 도출에 도움이되는 pandas-profiling 데이터의 기본 정보들을 파악하기 위해 사용하며 세부적인 분석은 직접 구성하는것이 좋다 colab 환경에서 진행 1. pandas-profiling install !pip install -U pandas-profiling 2. Data load import pandas as pd # eng data file df = pd.read_csv('/content/drive/MyDrive/data.csv, encoding='latin1') 3. create report report = df.profile_report() report 4. save HTML report.to_file('data.. 공감수 0 댓글수 0 2024. 2. 14.
  • 데이터 분석 텍스트 마이닝 정규표현식 python [2편] 데이터 분석 텍스트 마이닝 정규표현식 2편 함수 ​ ​ ​ match() 문자열 처음부터 정규식의 매칭 조사 p = re.compile('[0-9]+') res = p.match('abcd1415') 시작부터 정규식에 매칭되지 않았기에 None ​ ​ 2. search() 문자열의 전체와 정규식의 매칭 조사 res = p.search( 'abcd5 5skdn 1234 sdfjw434' ) print(res) 5 ​ ​ 3. findall() 정규식에 매칭되는 모든 문자열을 list로 리턴 p = re.compile('[a-z]+') res = p.findall( 'abcd5 5obnd 1234 sdfjw434 12abc34 ad12fh' ) if res: print( res ) 문자열에서 소문자로만 이어.. 공감수 0 댓글수 0 2024. 2. 6.
  • 데이터 분석 텍스트 마이닝 정규표현식 python [1편] 텍스트 데이터 전처리를 위한 정규표현식을 알아보겠습니다 1. 사용 모듈 import re 2. 텍스트에서 알파벳만 가져오기 p = re.compile('[^a-zA-Z ]*') p.sub('', text) text에서 정규식 p에 해당하면 '', 지우기 3. 메타문자 3-1 | if re.match( 'a|b|c', 'a' ): print('1') if re.match( 'a|b|c', 'd' ): print('2') if re.match( 'a|b|c', 'ad' ): print('3') if re.match( 'a|b|c', 'da' ): print('4') |는 or 조건 1, 3 : 1번은 a가 있어서 프린트 되었고 3번은 첫글자가 일치하여 match된다 3-2 [] if re.match( '[a.. 공감수 0 댓글수 0 2024. 2. 2.
  • 데이터 분석 텍스트 마이닝 예제 nsmc 오늘은 NLP, 챗봇 학습을 위한 텍스트 데이터 텍스트 마이닝을 진행하겠습니다 1. 데이터 준비 pip install Korpora from import Korpora import Korpora review_corpus = Korpora.load('nsmc') nsmc는 네이버 영화 리뷰 데이터로 텍스트 마이닝 실습을 위해 사용해보겠습니다 데이터는 15만개 리뷰 데이터로 레이블은 긍정, 부정 입니다 2. 데이터 확인 import pandas as pd review_corpus_df = pd.DataFrame() review_corpus_df['doc'] = review_corpus.train.get_all_texts() review_corpus_df['label'] = review_corpus.train.. 공감수 1 댓글수 0 2024. 1. 30.
  • 데이터 분석 matplotlib, seaborn 시각화 데이터 분석 관계 분석, 결론 도출을 위한 시각화 방법으로 matplolib, seaborn을 사용해보겠습니다 1. 패키지 설치 pip install matplotlib pip install seaborn 2. 기본 사용법 from matplotlib import pyplot as plt x = np.arange( 0, 12, 0.01 ) y = np.sin(x) plt.figure( figsize=(10, 6) ) plt.plot( x, y, label='sin wave') plt.plot( x, np.cos(x), label='cos wave' ) numpy의 np.sin을 통해 0~12의 sin값을 예시 그래프 값으로 사용한 차트입니다 3. seaborn boxplot import seaborn a.. 공감수 1 댓글수 0 2024. 1. 30.
  • 데이터 분석 실습 예제 음원 데이터 준비 음원 데이터 music.xlsc 분석 실습 1. 데이터 확인 music_df = pd.read_excel('music.xlsx') 2. 데이터 구조 확인 music_df.shape df.shape으로 데이터 개수 및 컬럼 수를 확인합니다 music_df.dtypes df.dtypes 데이터의 타입을 확인합니다 3. 데이터 구조 변경 music['Date'] = music['Date'].astype( 'datetime64' ) Date는 object 타입이 아니라 datetime 형식이기에 바꿔줍니다 music.Distribution.unique(), len(music.Distribution.unique()) 컬럼값과 컬럼 개수 확인 로엔 엔터테인먼트, 로엔엔터테인먼트 처럼 중복되지만 컬러명이 달라서 다른.. 공감수 0 댓글수 0 2024. 1. 30.
  • 데이터 분석 pandas 안녕하세요 오늘은 데이터 분석을 위한 pandas 사용법에 대해 소개해보겠습니다 pandas는 데이터 분석에서 결과도출, EDA, 분석 등에 활용됩니다 1. 설치방법 pip install pandas 2. 자료구조 - Series : 1차원 배열 - DataFrame : 2차원 배열 3. Series import pandas as pd tmp = pd.Series([1,2,3,4,5]) pd.Series() 안에 배열을 넣어서 Series로 만들 수 있으며 이때 인덱스(순서?)가 생성됩니다 4. DataFrame import pandas as pd cols = list('ABCD') indexs = pd.date_r('20240130', periods=7) 출력 DatetimeIndex(['2024-01.. 공감수 1 댓글수 2 2024. 1. 30.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.