[DE] 한샘의 데이터를 수집하고 연결하는 사람들

DE 신민규 수석연구원

 

그간 어떤 일을 해오셨나요? 회사나 직무의 변화에 대하여 소개해 주세요.

저는 경력직 입사자로 2022년 11월에 한샘 데이터서비스팀에 합류했고, 팀 내에서 데이터 엔지니어(DE, Data Engineer)로 역할하고 있어요. 이전에는 주로 통신, 유통, 금융 데이터 회사에서 데이터 엔지니어로서 업무를 수행했습니다. 시작은 DBA이었지만 빅데이터를 본격적으로 다뤄보고 싶은 생각이 들어 DW, DE 업무를 경험했고, 현재는 DE 분야에 초점을 맞춰서 전문성을 쌓고 있어요.

 

한샘은 제조업 기반의 회사인데, 두려움은 없으셨나요?

한샘에 오기 전에 금융 회사를 다녔는데요. 처음엔 한샘이 금융 쪽과 마찬가지로 보수적일 거라고 생각했어요. 아무래도 제조업 기반의 회사라서 더 그랬던 것 같아요. 하지만 작년에 입사하고 보니 이미 많은 변화가 일어나고 있었고, DT를 위해 다양한 시도를 하고 있다는 것을 느꼈습니다. 지금의 한샘은 거의 일반 테크 회사들과 비슷하다고 생각할 정도예요. 고도화 작업 등 앞으로 나아가야 할 부분들이 많이 있지만 기본적인 개발 환경은 다 갖춰져 있다고 봅니다.

 

한샘에선 구체적으로 어떤 일들을 하고 계시나요?

한샘의 DT가 실현될 수 있도록 다양한 데이터를 분석하고, 데이터 기반으로 의사결정을 할 수 있는 토대를 만들고 있어요. 현재 한샘의 데이터들은 많은 내/외부 서비스들을 통해 여러 위치에 저장되어 있긴 하지만, 아직은 전체 데이터를 한 곳에서 원하는 형태로 한 번에 보기는 어려운 환경입니다. 그래서 클라우드(AWS) 상에 다양한 공간에 저장된 데이터를 수집하고, 데이터를 원하는 형태로 변형해 저장할 수 있는 환경을 구축하고 있어요. 이렇게 많은 데이터가 모인 것을 마치 호수 같다고 해서 'Data Lake'라고도 하는데요. 추후에는 Data Lake를 바탕으로 임직원 분들이 다양한 데이터를 분석하고 데이터 기반의 의사결정을 할 수 있는 분석 환경도 제공하려고 합니다.

 

한샘이 데이터 엔지니어에게 매력적인 이유가 있을까요?

한샘은 오랫동안 가구/인테리어 분야에서 제조, 유통을 주도해 온 기업입니다. 그만큼 유의미하고 다양한 데이터들이 오랜 기간 많이 쌓여 있어요. 데이터 엔지니어로서 다양하고 많은 데이터를 다룰 수 있고, 또 각각의 데이터를 연결해서 의미 있는 자료로 만들 수 있죠. DE에게 이보다 더 매력적인 곳은 없다고 생각합니다. 한샘은 A부터 Z까지 다 해볼 수 있는 기회가 열려 있기 때문에 전문성을 갖고 성장하기에도 좋은 곳이라고 할 수 있어요.

 

하루 일과는 보통 어떻게 되시나요?

앞서 말씀드린 'Data Lake'라는 데이터 분석 환경을 구축하는 프로젝트를 주 업무로 진행하고 있습니다. 그동안 통합될 이유가 없었던 한샘의 다양한 데이터를 보기 좋게 모아두는 일들을 하고 있죠. 현재 1단계(한샘몰 데이터 이동)가 마무리되었고 2단계(다양한 기관계에 있는 데이터 이동)를 준비하고 있습니다. 일상적으로 오전에는 주로 프로젝트 일정 및 이슈 확인을 하고, 오후에는 프로젝트 업무 회의, 데이터 인프라 구축 및 개발 업무를 하고 있습니다.

 

주로 협업하는 대상자가 있을까요?

현재는 주로 IT본부 내 인프라팀, 보안팀, 개발팀, 기획팀 분들과 주로 협업하고 있지만 앞으로는 데이터와 관련된 모든 분들이 협업 대상자가 될 수 있습니다. 영업 쪽에서도 데이터를 바탕으로 전략이 필요하면 저희가 필요한 데이터를 추출해 드리는 역할도 할 수 있겠죠. 데이터 인프라를 잘 구축해서 많은 관계자 분들이 데이터를 활용하는 데 도움이 되고 싶습니다.

 

데이터 인프라가 잘 구축되면 추후에 어떤 일들을 할 수 있나요?

방대한 데이터를 바탕으로 분석 리포트도 만들 수 있고요. 엑셀로 필요한 수치를 일일이 따로 따로 분석해서 보는 것이 아니라, 클릭 몇 번 만으로 내가 원하는 데이터를 보기 좋게 시각화 해서 제공할 수 있어요. 이런 방법들을 한샘의 직원들에게 교육하는 일도 할 수 있고요. 또 머신러닝이나 AI를 활용한 분석도 해볼 수 있습니다. 그러기 위해서 올해까지는 안정화 작업을 목표로 하고 있습니다.

 

DE 직무 수행을 위해 필요한 역량은 무엇이 있을까요?

일단은 기본적으로는 데이터를 다뤄본 경험이 있으면 좋을 것 같습니다. 특히 중급 이상의 SQL 역량을 필요로 합니다. 데이터를 그냥 조회만 하는 것이 아니고, 여러 가지 테이블을 엮어서 결과를 도출할 수 있는 능력이 있어야 하기 때문에 중급 이상이라고 표현했어요. 또 클라우드 환경(AWS, GCP, Azure 등)에 대한 이해 능력과 대용량 데이터베이스를 알고 있으면 좋을 것 같아요. 추가로 빅데이터(Hadoop, Spark 등) 처리 능력, Python 및 Shell 개발 역량이 있으면 일하시는 데 수월하실 거예요.

 

인성 측면에서는 꼼꼼한 분들이 필요해요. 방대한 데이터를 다루기 때문에 꼼꼼하게 보지 않으면 제대로 된 인사이트를 도출할 수 없거든요. 내가 뽑아낸 데이터가 이렇게 흘러가는 것이 맞는지 항상 검증하고 확인해야 해요. 원본 데이터와 내가 가져온 데이터가 동일한 지도 비교해야 하고요. 그래서 꼼꼼함과 차분함이 필수입니다. 저도 처음에는 데이터를 날려 먹어서 선배에게 혼도 났었는데요. 그 덕분에 지금은 매우 꼼꼼하게 일하고 있습니다 :)

 

업무 전문성을 쌓기 위해 업무 외에 다른 노력도 하고 계신가요?

네 그럼요. 최신 데이터 엔지니어링 기술들을 리서치하고 테스트 해 보고 있고요. 데이터 관련 오픈 소스들도 꾸준히 테스트하고, 교육이나 세미나에도 참석합니다. 회사에서 다양한 강의도 들을 수 있도록 지원해줘서 많은 도움을 받고 있네요!

 

 

앞으로 한샘에서 어떤 업무를 해보고 싶으신가요?

데이터 엔지니어로서 다양한 경험을 통해 더욱 전문성을 가지고 싶고, 더 나아가 데이터 분석 역량을 키워서 분석 업무도 경험해 보고 싶습니다. 제가 회사에 다양한 제안을 해볼 수도 있겠죠. "한샘에서 이런 데이터가 나왔고, 사용자들은 이렇게 행동을 하고 있으니, 한샘에 없던 이런 기능을 추가해 보면 좋을 것 같습니다"와 같은 식으로요.

 

끝으로 함께하게 될 동료에게 한 말씀 부탁드립니다.

업계에는 한샘보다 더 큰 데이터를 다루는 곳도 있고, 작은 데이터를 다루는 곳도 있습니다. 하지만 데이터 엔지니어는 데이터 크기와 상관없이 데이터에 대해 고민하고 해결해야 하는 본질적인 문제들을 다루는 게 더 중요하다고 생각해요. 특히 한샘처럼 긴 시간 동안 다양한 데이터가 쌓여 있고 지속적으로 서비스가 성장하는 환경에서는 더욱 그렇죠. 데이터에 대한 본질적인 문제들을 같이 고민하고 성장하고자 하는 분이라면 누구든지 지원하셔서 의미 있는 데이터를 만드는 과정에 함께 하면 좋겠습니다.