들어가며
평소 업무나 개인 용도로 JETBrains의 IntelliJ(인텔리제이)나 PyCharm(파이참), Datagrip 정도의 개발도구만 사용해 보다가 이번에는 협업툴로써 간단한 데이터 엔지니어링부터 대시보드 차트까지 바로 구현이 가능한 Datalore에 대한 사용법 및 후기를 공유해보려 한다.
Datalore는 DB에 직접 접근해서 SQL로 조회하고, 이 결과를 실시간으로 Dataframe으로 저장해서 Python언어(Kotlin, Scala, R 도 가능)로 시각화하여 코드 수정 등의 협업까지 가능한 툴이다.
JETBrains의 Datalore는 Cloud 무료체험판 14일을 제공하고 있고, Cloud Free 버전에서는 DB연결과 배치 스케줄, AI 코딩 등 일부 기능이 제한된다.
Datalore 작업환경 세팅
아래는 새로운 노트북을 생성하는 과정이다. Python 뿐만 아니라 Kotlin, Scala, R 언어까지 사용이 바로 가능하고, DB연결 후에 SQL도 사용가능하다.
특히, 통계학 수업을 들으면 한 번쯤은 사용해 봤을 R도 지원이 가능해서 업무를 R로 진행하는 분들에게도 SQL과 병행해서 R를 사용할 수 있는 유용한 툴이 될 수 있다.
위 방식으로 테스트 노트북을 생성하면, 왼쪽 메뉴에서 DB연결도 가능(Cloud Free 플랜에서는 기능이 제한됨)하다.
아래는 DB 연결과정이다. Datalore 공식 가이드에서 제공한 PostgreSQL DB에 접근해서 연결해봤다.
Datalore의 편리했던 점 세 가지
여기서 Datalore의 대박 편리한 기능이라고 생각했던 세 가지가 있었다.
1. 연결된 DB에서 SQL을 날리면 판다스에서 바로 df_1이라는 이름으로 정의된 Dataframe으로 저장해 준다!
2. 시각화나 기술통계에 대한 정보도 디폴트로 주어져서 사용자가 쉽게 EDA를 할 수 있도록 도와준다. 그리고 중복제거와 같은 간단한 데이터전처리도 클릭으로 쉽게 가능하다.
그리고 전처리 결과도 클릭 한 번으로 파이썬 Dataframe 형식으로 바로 저장해 준다.
3. Ask AI 기능을 이용하면, DB의 스키마 정보를 기준으로 Where문 등에 대한 코드 정리뿐만 아니라, 질문에 맞는 답변으로 코딩을 해주고 이를 바로 Run해주는 기능까지 있다!
아래는 내가 직접 AI에게 질문해 보았더니, 그 결과를 바로 보여주고 적용여부에 대한 선택이 주어진다.
협업툴로써의 Datalore 기능
그렇다, Datalore는 협업툴이다. 여기까지는 주피터노트북과 큰 차이가 없을 수 있다. 해당 노트북을 공유만 한다면, 협업자와 같이 코드 수정이 가능하고, 직접 변경해 두기 힘들다면 셀마다 있는 메모 기능으로 협업 능률을 더 높일 수 있다.
Datalore 사용해 보기
가격정책은 아래와 같고, 혹시 사용해 보고 싶다면 Cloud 플랜으로 14일 체험을 먼저 해보면 좋을 것 같다!
Datalore Pricing: Choose Your Datalore Plan
Datalore Pricing: Choose Your Datalore Plan
Host Datalore privately on the Enterprise plan or in a managed cloud with the Team plan for organizations. Use online on the Professional plan for personal use.
www.jetbrains.com
Datalore 사용 후기
Jupyter Notebook도 사용해보고 Jetbrain의 여러 가지 툴을 사용해 봤지만 협업도 가능하고, DB연결이나 파이썬과 함께 SQL언어도 %%sql 등의 시작 문구 없이 이용가능하고, python의 Dataframe 형식으로 SQL 결과가 실시간으로 저장된다는 점에서 굉장히 유용했다.
시중에 더 좋은 제품도 많겠지만, 사내에서 Jetbrain 제품을 구매해서 사용할 수 있는데, 다른 일반 제품보다 비용은 더 나가지만 Datalore로 구매해서 사용해보고 싶을 정도로 유용하다고 생각했다.
'데이터분석' 카테고리의 다른 글
| 필요한 데이터가 없는 분석 환경에 놓인다면? (2) | 2024.10.26 |
|---|---|
| 게임 업계 데이터 분석가의 업무 맛보기 (신규 게임 론칭) (0) | 2024.03.03 |
| ChatGPT와 파이썬을 활용한 데이터 사이언티스트 및 데이터 분석 수강 후기 (2) | 2024.02.16 |
| 첫 게임 분석 프로젝트 회고..를 회고하다! (내가 자처한 회고) (4) | 2023.12.22 |
| 유저가 찾는 대시보드의 특징 : 개인화 대시보드 (0) | 2023.07.15 |