인터랙티브 그래프 만들기 (1)

plotly 패키지를 사용하면 인터렉티브 그래프를 쉽게 만들 수 있습니다. 인터렉티브 그래프는 마우스 움직임에 실시간으로 반응하여 형태가 변하거나 더 상세한 정보를 사용자에게 전달해 주는 반응형 그래프 입니다. 그래프를 확대, 축소하여 원하는 부분만 상세하게 알아보거나, 정확한 값을 알아볼 수도 있습니다. plotly 패키지의 인터렉티브 그래프는 HTML 포맷을 지원하여, 웹 브라우저에서 열람할 수도 있습니다.

인터렉티브 그래프를 만들기 위해서 패키지를 준비합니다.

install.packages("plotly")
library(ploty)

먼저 ggplot2로 그래프를 만드는 작업이 선행되어야 합니다. 그래프 또한 하나의 객체로, 변수에 저장되는 형태를 띌 수 있습니다.

library(ggplot2)
p <- ggplot(data = mpg, aes(x = displ, y = hwy, col = drv)) + geom_point() # 산점도

이 그래프를 plotly 패키지 내의 ggplotly() 함수를 적용하여 인터렉티브 그래프로 만들 수 있습니다.

ggplotly(p)

https://github.com/ark1st/Doit_R_ARKS_CODE/blob/master/Graph1.html

동일한 방법으로 막대 그래프 또한 만들어 낼 수도 있습니다.

q <- ggplot(data = diamonds, aes(x = cut, fill = clarity)) + geom_bar(position = "dodge") # 막대 그래프
ggplotly(q)

https://github.com/ark1st/Doit_R_ARKS_CODE/blob/master/Graph2.html

김영우, 『쉽게 배우는 R 데이터 분석』, 이지스 퍼블리싱, 2019

이영호, "확률과통계"  가천대학교, 2019

https://ppss.kr/archives/195794?fbclid=IwAR247PGEjVN_3RN5CJZA7txxzlrZ2BR9LU-yo37o5ks-q_cOeR4359-MzMo

구글 번역의 최고 담당자는 예상 외로 번역기가 인간을 완벽하게 대체할 수는 없다고 답변하였고 한다. 또한 자동 번역기가 좋아지더라도 특정 문화를 이해하기 위해 특정 언어를 익히는 것은 여전히 중요하다고 했다.

현재도 구글 번역, 파파고 번역, 이제 조금만 있으면 출시한다는 카카오 번역까지... 번역기가 정말 많아지는 세상이고, 번역의 질 또한 점점 올라가고 있다. 딥러닝 기술을 사용하여 더 인간다운 번역과, 음성 인식 및 이미지 프로세싱을 통하여 음성, 사진 또한 실시간으로 번역되는 기술이 점차 나타나고 있다. 그러나 필자 또한 마이클 슈스터처럼 번역기가 인간을 완전히 대체할 수는 없다고 생각하는 바이다.

언어는 인간의 문화의 정수라고도 할 수 있다. 가장 쉬운 예로, 문학 작품의 경우이다. 특히 시와 같은 문학에서는 번역으로는 표현할 수 없는 부분들이 꼭 존재하기 마련이다. 시적 허용이나, 언어유희 같은 경우이다. 그 언어의 고유한 특성에서만 나타나는 부분들이 정말 많다는 것이다. 가령 윤동주 시인의 '서시' 를 번역기에 넣고 번역한다면 그 뉘앙스가 우리에게 동일하게 전해 질까?

그러나 인간의 귀차니즘은 배움의 욕구를 초월한다고 한다. 아무리 문화를 이해하고 자시고... 편한 것을 찾는 사람들은 그냥 좋은 번역기가 나오면 번역기를 사용할 지도 모른다. 그러나 이런 상황 속에서도 언어를 배우거나 언어를 연구하는 부분이 절대로 도태되어서는 안된다는 것이다. 

그러나 아직 영어는 별로 ...

단계 구분도

지도 시각화의 한 종류인 단계 구분도를 만들어 보겠습니다. 단계 구분도는 지도 상의 지역 별로 통계치를 색깔의 차이로 표한합니다. R에서는 (당연히) 여러 패키지로 단계 구분도를 만들 수 있지만, 이번 실습에서는 ggiraphExtra 패키지를 사용하여 단계 구분도를 만들어 보겠습니다.

install.packages("ggiraphExtra")
library(ggiraphExtra)

패키지를 불러 옵니다.

이번 실습에서는 R에 내장된 USArrest 데이터를 사용하겠습니다. 그러나 USArrest 데이터에는 지역 명 변수가 없는 문제점이 있기 때문에 데이터를 약간 가공하여 줘야 합니다.

이 책에서는 tibble 패키지를 불러와 패키지 내의 rownames_to_column()를 사용하여 지역 명을 붙여 줬습니다.

library(tibble)

crime <- rownames_to_column(USArrests, var = "state")
crime$state <- tolower(crime$state)

US데이터 이기 때문에 미국의 지도 데이터가 필요합니다. map 패키지와 mapproj 패키지를 설치하고, map_data() 함수를 사용하여 불러옵니다.

install.packages("maps")
library(mpas)
install.packages("mapproj")
library(mapproj)
library(ggplot2)

states_map <- map_data("state")

단계 구분도를 만듭니다.

ggChoropleth(data = crime,   
			aes(fill = Murder,  
			map_id = state),
			map = states_map) 

김영우, 『쉽게 배우는 R 데이터 분석』, 이지스 퍼블리싱, 2019

이영호, "확률과통계"  가천대학교, 2019

AWS S3(Amazon Simple Storage Service)는 객체 스토리지 서비스 입니다. 클라우드 스토리지 서비스 중에서 최고의 성능, 가용성, 확장성, 내구성으로 홍보하고 있습니다. 웹 사이트, 모바일 애플리케이션, 백업 및 복원, 아카이브, 엔터프라이즈 애플리케이션, IoT 디바이스, 빅 데이터 분석 등과 같은 다양한 사용 사례에서 원하는 만큼의 데이터를 저장할 수 있다고 합니다. 

자세한 설명은 아래 홈페이지에서 확인하실 수 있습니다.

https://aws.amazon.com/ko/s3/

아마존 S3는 1년간 5GB의 프리티어를 제공하고 있어서 1년(12개월) 동안 무료로 이용하여 볼 수 있습니다. 

이번 게시글에서는 S3에 버킷을 만들고 파일을 게시하는 것을 실습하여 보겠습니다.

AWS S3에서 파일의 컨테이너 단위는 버킷(Bukkit) 입니다. Bukkit 내에 데이터를 자유롭게 업로드 할 수 있습니다.

버킷 만들기 버튼을 누르면 이런 마법사가 나타납니다. 특이한 점은 기존 버킷에서 설정을 복사해 올 수 있다는 점입니다. 다른 버킷의 설정을 그대로 가져와서 적용할 수 있다는 점 입니다. 

옵션 구성 입니다. 버전 관리는 Git에서 지원하는 기능처럼 파일의 모든 버전을 따로 저장한다는 뜻 입니다. 서버 엑세스 로깅은 버킷에 사용자가 로그인 하거나 접근하였을 때 그 정보를 로그 파일에 기록하는 기능 입니다. 태그는 비용을 산출할 때 사용하는 것 이고, 기본 암호화는 (어짜피 AWS는 절대로 S3의 정보를 열람 안한다고는 하지만...) S3에 파일을 저장할 때 자동으로 그 객체를 암호화 하여 저장한다는 뜻 입니다. 보안성에서 더 좋은 결과를 가져온다는 것 이겠죠.

권한 설정 입니다. 버킷을 생성한 뒤에도 특정 사용자에게 권한을 부여할 수 있다고 합니다. 일단 기본 값은 모든 퍼블릭 엑세스 차단으로 되어 있지만, 사용자의 사용 범위에 맞추어서 4개의 권한을 통하여 사용자의 접근 권한을 조정할 수 있습니다.

마지막으로 설정을 다시한번 확인한 후 버킷을 만들 수 있습니다.

이제부터는 만들어진 버킷에 폴더를 만들고 폴더에 파일을 업로드하는 방법을 알아보겠습니다.

버킷의 이름을 클릭하면 버킷 내로 접속할 수 있습니다. 바로 객체를 업로드 할 수도 있고, 폴더를 만들어 객체를 정리할 수도 있습니다.

폴더를 만들 수 있습니다. 폴더를 만들 때에도 암호화 할 수 있습니다.

폴더를 만들고 폴더 내에 접속하여 업로드 버튼을 눌러 파일이나 폴더를 업로드 할 수 있습니다.

바로 업로드 할 수도 있지만 권한과 속성을 설정해 줄 수도 있습니다. 다음 버튼을 눌러 알아봅시다.

파일의 권한을 설정할 수 있습니다.

요구 사항에 맞추어 스토리지의 종류를 선택할 수도 있습니다. 요금이 부여될 수 있으니 신중하게 결정해야 합니다. 스탠다드를 사용해야 프리 티어 사용자들은 과금되지 않습니다.

설정을 확인하고 업로드합니다.

파일이 업로드 된 것을 확인할 수 있습니다. 다운로드도 정상적으로 작동합니다.

수업시간에는 텍스트 시각화의 방법으로 WordCloud 패키지를 실습하였습니다. 실습한 WordCloud 패키지는 원형의 형태로 데이터를 출력합니다. 이것만으로도 데이터를 시각화하기엔 충분할 수도 있습니다. WordCloud의 후속작인 WordCloud2 패키지는 당연히 후속작 답게 더 다채롭고 다양한 기능으로 데이터를 시각화하는데 도움을 줍니다.

1. 설치

Wordcloud2는 Github를 통해서 설치합니다.

require(devtools)
install_github("lchiffon/wordcloud2")	

2. 기능

wordcloud2는 크게 2가지의 기능을 제공합니다.

1) Wordcloud2 : 전통적인 워드 클라우드

전통적인 워드 클라우드의 형태(원 혹은 타원형) 로 워드클라우드를 만듭니다. 특이점은 별도의 파라미터 조작이 없어도 HTML5로 저장한다면 반응형 워드클라우드가 생성된다는 점 입니다.

library(wordcloud2)
wordcloud2(data = demoFreq)

WordCloud2에서 추가된 기능인 이미지 파일을 마스크로 사용하여 이미지 파일에 워드 클라우드를 생성할 수도 있습니다. 단, 이미지 파일에 단어가 들어갈 곳이 진한 색으로 되어 있어야 한다는 점 입니다.

figpath 파라미터를 사용하면 이미지 파일 위에 워드클라우드를 그릴 수 있습니다. 그러나 figpath를 사용하려면 아래 패키지를 추가로 설치해야 잘 동작한다고 합니다.

install.packages("htmlwidgets")
install.packages("tmltools")
install.packages("jsonlite")
install.packages("yaml")
install.packages("base64enc")

라이브러리를 모두 로딩하고 명령어를 사용하여 워드클라우드를 만듭니다.

library(wordcloud2)
library(htmlwidgets)
library(tmltools)
library(jsonlite)
library(yaml)
library(base64enc)

워드클라우드를 만듭니다.

figPath = system.file("examples/football.png",package = "wordcloud2")
wordcloud2(demoFreq, figPath = figPath, size = 1.5,color = "skyblue")

(컴퓨터 사양을 많이 탑니다... 많이 느려요)

2) letterCloud : 문자, 단어로 워드 클라우드

문자나 단어로 워드 클라우드를 만들 수도 있습니다.

letterCloud(demoFreq, word = "R", size = 2)

word 파라미터에 단어를 넣으면 단어 또한 워드클라우드로 만들 수 있지만 컴퓨터의 성능이 좋아야 출력이 원활하게 됩니다. (제 노트북에선 실행조차 안되네요)

3. 파라미터

• data : 각 열에 word와 freq가 포함 된 데이터 프레임
• size : 글꼴 크기, 기본값은 1. 큰 크기는 큰 단어를 의미합니다.
• fontFamily : 사용할 글꼴.
• fontWeight : 사용할 폰트의 무게 (예 : normal, bold or 600)
• color : 텍스트의 색상, 'random-dark'및 'random-light'키워드를 사용할 수 있습니다. Color Vector 도 사용할 수 있습니다.
• minSize : 자막의 문자열
• backgroundColor : 배경색.
• gridSize : 캔버스의 가용성을 표시하기 위한 그리드의 크기 (픽셀 단위) 그리드 크기가 클수록 단어 사이의 간격이 커집니다.
• minRotation :단어가 회전해야 하는 경우 텍스트가 회전해야하는 최소 회전 (라디안 값)입니다.
• maxRotation : 단어가 회전해야하는 경우 텍스트가 회전해야하는 최대 회전 (rad). 모든 텍스트를 한 각도로 유지하는 것과 동일한 두 값을 설정하십시오.
• rotateRatio : 단어가 회전 할 확률. 항상 회전하려면 숫자를 1로 설정하십시오.
• shape : 그릴 모양의 "구름". 키워드 선물이 될 수 있습니다. 사용할 수있는 선물은 '원형'(기본값), '카디오이드'(사과 또는 심장 모양 곡선, 가장 잘 알려진 극형 방정식), '다이아몬드'(별의 사각형), '삼각형 앞으로', '삼각형', ' 및 '별'.
• ellipticity : degree of “flatness” of the shape wordcloud2.js should draw
• figPath : 단어 구름에 사용되는 그림.
• widgetsize : 위젯의 크기

출처

https://cran.r-project.org/web/packages/wordcloud2/vignettes/wordcloud.html

https://hwan0447.blog.me/221241027145

딥러닝 기반 형태소 분석기 khaiii

형태소 분석기 라는 키워드로 구글 검색을 하다가 카카오에서 개발한 딥러닝 기반의 형태소 분석기인 khaiii를 알게 되어 소개하고자 포스팅하게 되었습니다.

khaiii는 Kakao Hangul Analzer III 의 약자 입니다. 전작인 dha1, dha2를 계승하여 만들어졌다고 볼 수 있지만 dha 시리즈와 달리 데이터 기반으로 동작하여, 딥러닝 알고리즘을 사용합니다.

자연어 처리에 있어서 형태소 분석은 가장 기초적인 절차라 합니다. 구문과 의미 분석에 있어서 가장 먼저 형태소 분석이 이루어져야만 합니다. khaiii는 딥러닝 기술 중 하나인 CNN 기술로 음절 기반으로 형태소를 분석합니다. 국립국어원의 세종 코퍼스 데이터를 기반으로 자체 구축한 데이터를 추가하여 85만 문장, 1천만 어절의 코퍼스를 학습하였다고 합니다. C++ 기반으로 디코더가 구현되어 있어 GPU가 없이도 비교적 빠르게 동작하며, Python 바인딩을 제공하여 파이썬으로 편리하게 사용할 수 있습니다.

카카오에서 개발한 khaiii는 Github에 오픈소스로 공개되어 있습니다. 한국어 연구 및 챗봇, 자연어 처리 응용기술의 개발 등 많은 분야에 적용될 수 있을 것으로 보입니다.

https://github.com/kakao/khaiii

1. 데이터 기반

khaiii는 데이터 기반의 기계학습 알고리즘을 사용하여 형태소를 분석합니다. 국립국어원의 세종 코퍼스 데이터를 기반으로 하여 학습하였습니다.

2. 알고리즘

CNN 알고리즘을 사용하였습니다. 자연어 처리에 있어서 형태소 분석은 중요한 전처리 과정이므로 속도가 중요하다고 생각하여 LSTM, RNN 등의 알고리즘은 고려 대상에서 제외하였다고 합니다. 즉, 비교적 빠른 시간 내에 분석이 이루어진다는 것을 의미합니다.

khaiii는 파이썬 스크립트를 통하여 빌드 됩니다. CMake 빌드 툴을 사용하여 파이썬 내에서 빌드되게 됩니다. 다만, 아쉬운 점은 MS Windows를 지원 하지 않아서, Linux 나 MacOS에서만 기능한다는 점입니다. 빌드된 khaiii는 파이썬 바인딩을 통하여 파이썬 인터프리터 내에서 사용할 수 있습니다.

자세한 설치 방법은 아래 링크에서 확인하여 주세요.

https://github.com/kakao/khaiii/blob/master/doc/setup.md

사견

카카오에서는 이 khaiii 외에도 많은 딥러닝 오픈소스 프로젝트를 공개하였습니다. 아직은 인공지능에 대한 공부가 부족하여 이해하기 힘든 부분도 있지만... 좀 더 배우고 공부하여 나중에 본다면 이해될 것이라 믿습니다...

/// 참고자료

http://tech.kakao.com/2018/12/13/khaiii/

https://github.com/kakao/khaiii/

텍스트 마이닝 - KoNLP

텍스트 마이닝에서 아주 중요한 역할을 하는 것이 형태소 분석 입니다. 형태소란 의미의 최소 단위로, 일정한 의미가 있는 가장 작은 말의 단위입니다. (더 이상 분석하여 분리해 낸다면 뜻이 없어지게 된다는 뜻)

국어 시간이 아니기 때문에 형태소에 대한 설명은 생략하고, 본론으로 들어가겠습니다. 현재는 R을 비롯한 여러 프로그래밍 언어에서 사용할 수 있는 한글 형태소 분석 도구들이 제공되고 있습니다. 우리는 R을 배우는 입장으로, R에서 사용할 수 있는 형태소 분석기인 "KoNLP" 패키지를 알아보겠습니다.

KoNLP : 한글 자연어 분석 패키지 는 한국어를 분석할 수 있는 27개의 함수가 내장되어 있으며, 이 중에서 형태소를 분석할 수 있는 함수를 제공합니다.

KoNLP는 CRAN에서 제공되고 있기 때문에 쉽게 인스톨 할 수 있습니다.

install.packages("KoNLP")

그러나 패키지는 설치되었지만 라이브러리 호출 시 오류가 발생합니다. 왜냐하면 KoNLP는 JAVA로 만들어진 패키지 입니다. 그렇기 때문에 운영체제에 맞는 JAVA와 R에서 자바 패키지를 불러올 수 있는 rJava패키지를 인스톨 해야 합니다.

자바 다운로드

https://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html

rjava 다운로드

install.packages("rJava")

KoNLP는 형태소 분석 이외에도 27개의 함수가 내장되어 R에서 한국어 자연어 분석 기능을 제공합니다. 함수에 대한 설명은 Rdocumentation 웹사이트에 안내되어 있습니다.

https://www.rdocumentation.org/packages/KoNLP/versions/0.80.1

중점적으로 알아볼 함수들을 소개하겠습니다.

1. 명사 추출

nones <- extractNones(text.txt)

2. 사전 선택

#시스템 디폴트 사전을 사용합니다.
useSystemDic()
#NIA 사전을 사용합니다.
useNIADic()
#세종 사전을 사용합니다.
useSejongDic

3. 사전 제작

#데이터로 자신의 사전을 만들수도 있습니다.
buildDictionary()

4. 자음 모음 추출

#자모 추출
is.jamo()
#자음 추출
is.jaeum()
#모음 추출
is.moeum()

1일차 - AWS EC2 인스턴스 만들기

아마존 EC2는 Amazon Elastic Compute 를 의미합니다. 사용자에게 서버 자원 자체를 호스팅 하여 사용자가 직접 서버 시스템을 구축할 수 있도록 제공합니다. 간단하게 웹 인터페이스로도 접근하여 컴퓨터 리소스를 줄이거나 늘릴 수 있습니다.

EC2의 가장 큰 특징은 사용자가 사용한 만큼만 요금을 지불하면 된다는 것 입니다. 전까지의 서버 호스팅, 서버 임대의 경우에는 서버 자원에 대한 월단위 요금을 미리 지불해 놓고 서버 자원을 대여한 뒤 사용량이나 트래픽량에 따라서 추가 요금이 지불되기도 하였습니다. 서버를 꺼 놓더라도 서버의 자원은 임대된 상태 이므로 요금이 부여됩니다. 그러나 AWS EC2는 서버를 중지시켜 놓으면 현저히 낮은 요금을 지불할 수 있고, 1시간 단위로 요금이 책정되기 때문에 합리적으로 서버를 운용할 수 있습니다

회원가입을 하고 일반 사용자라면 카드 등록, 학생 사용자라면 학생 인증을 받아 크레딧을 받으면 1년의 프리 티어 사용 기간이 주어집니다. 이 기간동안 EC2의 t2.micro를 무료로 사용할 수 있습니다. 이번 포스팅에서는 EC2 프리 티어 서버를 개설하고 접근하는 방법을 알아보겠습니다.

컴퓨팅에 EC2로 들어갑니다.

EC2 대시보드로 들어왔습니다. 여기서 점검해야 할 것이 리전(지역) 입니다. 당연하지만 데이터센터와 클라이언트가 가까울수록 더 좋겠죠. 희소식이자면 아마존 웹 서비스는 최근 서울 데이터센터를 개설하였다고 합니다.

아시아 태평양 (서울) 데이터센터를 선택합니다.

인스턴스로 들어가면 이렇게 만들어진 EC2 인스턴스를 확인할 수 있습니다. 저는 이미 한 개의 인스턴스를 운영하고 있기 때문에 1개의 인스턴스가 확인되네요.

인스턴스 시작을 눌러 인스턴스를 추가합니다.

운영체제를 선택할 차례 입니다. 아마존 웹 서비스는 자주 사용하는 운영체제 시스템을 미리 준비해서 설치해 놓을 수 있습니다.

특이한 점은 윈도우 서버도 존재한다는 것입니다. 그것도 무료로요(!). 저는 윈도우 서버를 사용할 예정이기 때문에 Windows Server 2019 를 선택하겠습니다.

인스턴스 유형(서버 자원) 을 선택하는 곳 입니다. 많은 종류의 인스턴스들이 존재하지만 무료로 사용할 수 있는 것은 t2.micro 뿐입니다. t2.micro는 1코어 CPU, 1GB RAM에 30GB 저장공간을 제공합니다.

서버의 설정을 확인한 뒤시작하기 를 누릅니다.

키 페어 생성입니다. 윈도우 서버라면 서버에 RDP로 접근하게 될 텐데, 이때의 비밀번호가 프라이빗 키 파일 (.pem) 으로 제공됩니다. 새 키 페어를 생성할 수도 있고 원래 있는 키 페어를 사용할 수 있습니다. 그러나 이 키페어 파일은 단 한번만 다운로드 할 수 있으므로 잃어버리게 된다면 골치 아파질 수 있습니다.

서버가 만들어 졌습니다. 이것에 접속하려면 RDP를 통해서 접속해야 하는데 이때 사용되는 암호를 가져올 수 있습니다.

.pem 파일을 해독하여 RDP 암호를 가져오기 위해 작업 - Windows 암호 가져오기를 선택합니다.

키 페어 경로 확인에서 키 페어를 선택한 뒤 암호 해독을 누르면 RDP 암호가 나오게 됩니다.

연결을 선택하면 인스턴스에 연결하기 위한 RDP 파일을 제공합니다. RDP 파일에 아까 받은 암호를 입력하게 되면 연결할 수 있습니다.

접속되었습니다. (브라우저는 필자가 임의로 켠 것입니다...)

참고>

생활코딩과 함께하는 AWS 탐구생활 - 1일차