낭만데이터

들어가며평소 업무나 개인 용도로 JETBrains의 IntelliJ(인텔리제이)나 PyCharm(파이참), Datagrip 정도의 개발도구만 사용해 보다가 이번에는 협업툴로써 간단한 데이터 엔지니어링부터 대시보드 차트까지 바로 구현이 가능한 Datalore에 대한 사용법 및 후기를 공유해보려 한다.  Datalore는 DB에 직접 접근해서 SQL로 조회하고, 이 결과를 실시간으로 Dataframe으로 저장해서 Python언어(Kotlin, Scala, R 도 가능)로 시각화하여 코드 수정 등의 협업까지 가능한 툴이다. JETBrains의 Datalore는 Cloud 무료체험판 14일을 제공하고 있고, Cloud Free 버전에서는 DB연결과 배치 스케줄, AI 코딩 등 일부 기능이 제한된다. Datalo..

내 업무 현장에서 분석 환경을 돌아보며 최근에 나의 분석 환경에 대해 뒤돌아볼 기회가 있었는데, 이때 각 상황에 따라 어떤 선택이 최선이었을지 회고를 해보려고한다. ㅇㅇ님, 저희 사업부가 전국 치킨 판매량을 알고 싶은데,현재는 치킨 판매 데이터가 없는 걸로 알고 있어요.혹시 데이터 추출이 가능할까요?  언젠가 나에게 위와 같은 요청이 왔다. 데이터를 추출해서 유관부서에 지원을 하고 싶은데, 치킨 판매 로그를 쌓아놓은 DB가 없다. 가장 먼저 무엇을 하는 게 좋을까? 1. 기존에 있는 대체 가능한 데이터를 활용해서 치킨 판매량을 '예상'할 수 있도록 한다.전국 치킨 판매량을 예상할 수 있는 다른 관점을 빠르게 추출하여 전달해 볼까?이때 대체 가능한 데이터가 무엇인지에 대한 도메인 지식도 필요하고, 그 데이..

게임 론칭 시 기술조직에서의 데이터 분석가의 업무  게임을 론칭할 때는 퍼블리셔가 필요하고, 퍼블리셔 내에는 '성공적인 게임'을 위한 사업조직, '안정적인 게임'을 위한 기술조직이 있다. 그리고 '무에서 유를 창조'하는 개발조직이 있다. 게임에서 개발조직은 보통 자회사로 게임 개발에 몰두하도록 존재하는 경우가 많다.  이중 오늘 해볼 이야기는 퍼블리셔 내 안정적인 게임을 위한 기술조직에 속한 '데이터 분석가'에 대한 이야기를 해보고자 한다.  게임 퍼블리셔 내 분석가는 사업조직에 속해서 마케팅, 비즈니스 관점에서 성공적인 게임 론칭/운영을 위해 업무를 진행한다.  기술조직에서 분석가는 앞 사례와는 다르게 거리를 조금 두긴하지만, 담당 게임에 대한 오너십은 필수이다. 이건 사실 내 업무 철학이다. 아니 철..

ChatGPT로 데이터분석하기 ChatGPT와 대화 '좀' 하는 방법 구체화하기 데이터 분석에 가장 범용적으로 쓰이는 툴은 무엇일까?라는 단일 질문보다는 질문-답변의 예시를 보여주고, 답변을 기대하는 것이 좋다. 데이터 분석에 범용적으로 사용되는 툴은 무엇일까? 파이썬 데이터 분석에 범용적으로 사용되는 파일 포맷은 무엇일까? 문장에 맥락을 주기 ChatGPT에게 일종의 역할을 부여하는 것이다 너는 게임회사에서 10년간 근무한 베테랑 데이터 분석가야. 인게임의 특정 재화를 어뷰징유저를 탐지하기 위한 데이터 분석 절차를 알려줘. 원하는 답변을 얻기 위해 반복해서 질문해보기. 한 번에 원하는 답을 얻으려고 하기보다는 GPT를 점점 학습시켜서 원하는 대답에 수렴하도록 하자. 1. 데이터 분석하는 절차를 알려줘...

들어가기 전에[회고하게 된 나의 업무] 게임 론칭에 앞서 필요한 데이터를 제공 시기에 따라 세 가지가 있다. 1. 선제공, 2. 요구사항 분석 후 제공, 3. 론칭 후 추출이때 툴이나 제공 방식은 국한되어 있지 않고, 그때 상황에 맞게 해당 사업, 개발에서 친숙한 툴로 제공이 가능하다. 예를 들어 슈퍼셋 같은 경우도 오픈 BI툴로 쉽게 제공할 수 있는 점이 있어서 제공 가능한 툴 중 하나이다.에어비앤비가 사용하는 Open BI툴, 슈퍼셋을 사용해보자 - 슈퍼셋(SuperSet) 연결(1) (tistory.com) 에어비앤비가 사용하는 Open BI툴, 슈퍼셋을 사용해보자 - 슈퍼셋(SuperSet) 연결(1)슈퍼셋 소개 - 슈퍼셋은 대표적으로 에어비앤비에서 사용하고 있는 오픈소스 BI 어플리케이션(Git..

매일 조금씩 변화하는 대시보드를 보고 결정한 서비스의 방향이 앞으로 기업의 미래가 될 수 있다. 언제나 목표는 데이터를 기반으로 비즈니스 의사결정을 하는데 필요한 플랫폼화된 대시보드를 유지보수하고, 더 나아가 새로운 지표로 비즈니스 분석에 심금을 울리고자 한다. 데이터 분석가는 MBTI 중 E가 유리할까?, I가 유리할까? 이러한 주제를 고민하는 이유는 데이터 분석가로서 일을 하면서.. I(내향적) : 기존 대시보드, 데이터 웨어하우스를 유지보수를 하며 도를 닦는 듯한 기분으로 업무를 진행한 적이 있었다. E(외향적) : 사업부에 알잘딱깔센 대시보드를 위해 여기저기 발로 뛰며 지표를 제공한 적도 있었다. 오늘은 E 성향의 업무인 '사업을 위한 신박한 지표', 유저가 알아서 찾는 대시보드를 위한 세 가지 ..

지난 글 지난 글에서는 라이엇 게임즈의 오픈 API데이터를 이용해 TFT 의 그랜드마스터 티어 경기에 대한 데이터를 파이썬으로 추출했다. 2023.06.03 - [데이터분석] - 라이엇 게임즈 오픈 API 데이터 전처리 라이엇 게임즈 오픈 API 데이터 전처리 들어가며 오늘은 라이엇게임즈의 오픈 API를 이용해서 데이터를 전처리해보고자 한다. 이후 이 데이터를 이용해 슈퍼셋의 대시보드를 구성해 보고자 한다. 이전글에서는 슈퍼셋을 설치하는 방 holateo.tistory.com 아래처럼 빅쿼리에 업로드하고, 테이블화를 진행했다. 빅쿼리에서 첫행을 스키마로 자동감지 해주기 때문에 업로드만 하면 거의 끝이 난다. 다음은 이전 글에서 슈퍼셋의 빅쿼리 연결 이후에 할 수 있는 과정이다. 연결 방법은 "2023.0..

들어가며 오늘은 라이엇게임즈의 오픈 API를 이용해서 데이터를 전처리해보고자 한다. 이후 이 데이터를 이용해 슈퍼셋의 대시보드를 구성해 보고자 한다. 이전글에서는 슈퍼셋을 설치하는 방법을 소개했다. 2023.05.17 - [데이터분석] - 에어비앤비가 사용하는 Open BI툴, 슈퍼셋을 사용해보자 - 슈퍼셋(SuperSet) 연결(1) 우선 오픈API의 데이터를 추출하는 방식은 구글링으로 도움을 많이 받을 수 있었고, 해당 과정을 나만의 방식으로 글을 작성해보려고 한다. 1. API키 발급받기 (사이트) 더보기 우선 해당 사이트에서 API KEY를 발급받아야 한다. 로그인 후 아래 대시보드 클릭 후 API를 발급받고, 복사한다. 이제 발급받은 API KEY를 이용해 라이엇게임즈의 오픈 API를 마음껏 이..

슈퍼셋 소개 - 슈퍼셋은 대표적으로 에어비앤비에서 사용하고 있는 오픈소스 BI 어플리케이션(GitHub주소)이다. - 에어비앤비의 한 개발자의 해커톤 프로젝트로 시작해 아파치 에어플로우에 프로젝트로 등록되었다. - 언어는 SQL을 기반으로 하고 있고, 태블로(Tableau)급의 대시보드 사용성을 보여준다고 한다(태블로보다 더 간편하다는 썰이 있는데, 직접 사용해 보고 후기를 써볼 예정이다) - 대부분의 DBMS와 연결이 가능하다. DBMS연결 방법 슈퍼셋 사용방법 슈퍼셋은 사용법이 몇 가지 있는데 그중 하나가 도커를 통해 사용가능하다.(간단히 데모 버전으로 체험) Docker에 로컬로 설치하기(공식사이트) (* 도커 실행 오류시 참고했던 해결방법(무한로딩, Hiper-V관련 오류)) 두 가지 해결법이 모..