[인터뷰] DATA&AI 데이터 엔지니어 정현진

심 혁주

안녕하세요 현진님, 자기소개 부탁드립니다.

안녕하세요, DATA&AI 팀 정현진입니다. 저희 조직은 베이글코드의 모든 데이터를 관장하는 조직으로, 데이터 기반 의사결정을 위해 베이글코드의 게임에서 수집 가능한 모든 데이터를 가공 처리하여 분석 및 제공하는 일을 담당하고 있습니다. 저희 팀은 데이터엔지니어들과 데이터사이언티스트들로 구성되어 있으며, 엔지니어의 경우는 데이터 파이프라인을 구성하는 인프라스트럭쳐와 아키텍쳐를 개발하고, 사이언티스트는 머신러닝 등을 통해 데이터로부터 인사이트를 끌어내는 일을 하고 있습니다. 현재 인원은 14명으로, 베이글코드 서울 조직이 120명가량 된다는 걸 생각하면 상당히 큰 조직이라고 할 수 있겠습니다. 저는 데이터 엔지니어링 매니저를 맡고 있는데, 엔지니어로서 데이터 파이프라인을 관리하고, 데이터 프로덕트를 개발하는 일을 하고 있으며 팀원들을 매니징 하는 업무 또한 같이 진행하고 있습니다.

현진 님의 하루 일과는 어떻게 이뤄지나요?

출근하면 가장 먼저 지난밤 동안 무슨 일이 없었는지 모니터링을 하고, 오늘 할 일을 리마인드한 후 오전에 업무를 처리하다가 11시가 되면 사이언티스트 팀과 엔지니어링 팀 스크럼을 합니다. 스크럼에서는 각자 진행 중인 일들을 리뷰하고 블로커가 있다면 공유하여 함께 해결 방법을 고민합니다. 그 외에는 2주 단위로 진행되는 스프린트 주기에 맞춰 회의들이 있는데요, 매주 팀 회의에서 스프린트 플래닝과 리뷰를 진행하고 간단한 발표를 진행하는 Sync나 최신 트렌드의 읽을거리를 같이 스터디하는 reading group도 진행하고 있습니다.

현진 님이 베이글코드에 합류하게 된 계기는 무엇이었는지 궁금합니다.

데이터셋 규모가 방대한 게임 회사에서 데이터를 어떻게 처리하고 활용하는지 배울 수 있을 것 같다는 점이 매력적이었습니다. 저는 이전부터 데이터를 다루는 것에 관심이 있었고, 교환학생으로 도쿄공대에서 머신러닝 연구를 하기도 했고, 서비스 회사에서 데이터를 다루어 본 경험도 있었는데요, 그보다 훨씬 크고 많은 데이터를 만져볼 수 있지 않을까 하는 기대감을 가지고 합류하게 되었습니다.

베이글코드의 개발 문화는 어떤가요? 가장 큰 매력은 무엇이라고 생각하시는지 궁금합니다.

DATA&AI 팀의 경우 ‘똑같은 일을 두 번 하지 말아야 한다’는 모토 아래 최대한 모든 부분들을 자동화하고 있습니다. 사람은 언제나 실수할 수 있기 때문에, 코드 리뷰와 CI&CD를 적극적으로 사용하여 빌드 및 배포 단계에서 일어날 수 있는 실수를 최대한 예방하기 위해 노력하고 있고, 문제가 생기더라도 작업자에게 원인을 돌리기 보다는 어떻게 하면 프로세스를 개선할 수 있을지에 대해 논의합니다. 휴먼에러를 줄이면서, 효율적으로 일을 처리할 수 있을지 고민하고 있습니다.

주로 사용하시는 기술 스택과 선호하시는 기술은 무엇인가요?

DATA&AI 팀은 Databricks, Airflow, Kubernetes, Terrafrom, AWS 등으로 구성된 아키텍처를 보유하고 있습니다. 대부분의 아키텍처는 클라우드에서 운영되고 있고, 새로운 스택들에 대해 적극적으로 검토하고 팀에 맞다고 판단되면 빠르게 도입하여 효율적인 아키텍처를 유지할 수 있도록 노력하고 있습니다. DATA&AI 팀에서는 파이썬을 가장 많이 쓰고 있습니다. 언어는 Scala, Python, Kotlin 등 모두 사용하는데 모든 언어를 다 알기는 힘들기 때문에, 오셔서 빠르게 배우면서 적응하실 수 있는 분이면 좋겠네요.

베이글코드 내에서의 업무 방식과, 타 부서와의 협업 과정 등은 어떤가요?

앞서 말씀드렸듯이, DATA&AI 팀은 2주 간격의 스프린트 체계로 돌아갑니다. DATA&AI 팀의 경우는 타 팀과 협업하는 일이 굉장히 많기 때문에 스프린트를 시작하기 전에 타 팀과의 회의를 통해 스프린트에 넣을 티켓을 정하고, 이후 팀에서 진행해야 할 티켓을 포함하여 2주 동안 할 일을 플래닝 하는 방식으로 업무를 진행하고 있습니다.

업무 과정에서의 애로사항 등은 없나요?

게임 특성상, 프로덕트가 24시간 돌고 있기 때문에 모니터링을 계속해야 합니다. 다행히도 미국에서 유저들이 주로 플레이하는 시간과 업무 일과 시간이 상당 부분 겹쳐서, 컨트롤하기에 큰 어려움은 없습니다. 글로벌 회사다 보니 다른 해외 지사 분들과 협업을 할 때 시간대를 맞추는 게 약간 어렵긴 하지만, 파이프라인들과 데이터 프로덕트들이 문제를 일으키지 않고 돌아가는 대시보드를 보고 있으면 뿌듯하기도 합니다.

여러 업무를 진행하시면서, 가장 보람 있었던 사례는 어떤 것이었는지 궁금합니다.

원래는 데이터를 수집해서, 대시보드를 통해서 인사이트를 얻는 정도의 작업들 위주로 업무를 해왔습니다. ‘밀크셰이크’라고 하는 어플리케이션 데이터를 서빙할 수 있는 데이터 프로덕트를 만들어서 게임에서 직접 데이터를 사용할 수 있게 만든 프로젝트가 저한테는 가장 인상 깊은데요. 데이터를 수집하고, 분석하는데 그치지 않고 데이터를 통해서 또 다른 프로덕트에 영향을 줄 수 있었던 사례여서 뿌듯함이 컸던 것 같습니다.

베이글코드에서 가장 좋아하는 복지제도는 무엇인가요?

베이글코드에는 직원을 배려하는 문화가 잘 잡혀있어 여러 제도와 지원이 많은데요. 코로나19라는 상황에서 출퇴근하는 것 자체가 개인적인 리스크가 될 수 있는데, 재택근무를 하면서 그런 염려가 많이 줄어들었거든요. 출퇴근하는 시간이 절약되어 개인적인 시간을 더 많이 확보할 수 있다는 것은 덤이고요. 이외에도 개발자들에게 지원되는 각종 자격증 시험 비용 지원 등이 좋은 복지인 것 같습니다.

현진 님이 베이글코드에서 이루고 싶은 목표는 무엇인가요?

현재는 데이터 처리를 배치 형식으로 진행하고 있는데요, 매시간마다 큰 작업을 진행하여 데이터를 처리합니다. 이를 실시간 스트리밍 형식으로 바꿔서, 실시간으로 데이터를 수집하고 분석할 수 있는 체계를 만드는 것이 목표입니다.

마지막으로, 앞으로의 동료가 될 분들에게 한마디 부탁드립니다.

한 명의 사람이 해결할 수 있는 문제는 제한적입니다. 개개인의 능력도 물론 필요하지만, 그것을 가지고 동료들과 잘 협업하고 유기적으로 문제를 해결할 수 있는 사람과 함께 일하고 싶습니다. 또 데이터라는 분야 특성상 꼼꼼한 성격을 가지고 계신 분이셨으면 좋겠습니다. 좋은 동료들과 함께 빠르게 성장할 수 있는 로켓에 올라타세요!