AI, 빅데이터 직무별 업무 및 요구사항

아이펠 코어과정을 수료하면서,

'나는 어떤 직무와 가장 잘 맞을까?' 라는 물음을 가지고 자기 자신의 내면을 틈틈이 탐색해볼 수 있는 기회가 있으면 좋을 것 같다고 생각했다. 사실 매일매일의 교육과정을 소화해내는것도 바쁜 일이지만, 내가 어떤 일(논문을 읽는다던가, 모델에 대한 집요한 관심, 아이디어를 낸다던가, 시각화를 멋지게 하고싶다던가, 전체적 프로젝트 스케줄링 등)에 흥미를 느끼는지 사소한 것들부터 하나하나 자기 자신에 대해서 알아가는 노력을 함께 기울이다 보면 졸업 후 자신의 진로설정에 있어서 조금이나마 도움이 되지 않을까 싶다. 

 

AI 빅데이터 직무에 대해 좀더 자세히 알고싶어서 아래 책을 구입해서 읽었다. 책은 데이터 산업에 대한 간략한 요약과 직무별 특성 및 필요 역량, 취업에 대한 정보를 담고있다. 

https://product.kyobobook.co.kr/detail/S000001834719

빅데이터 커리어 가이드북 | 조성준 - 교보문고

 

데이터 엔지니어

 

업무

• 비즈니스 이해, 대량의 데이터셋을 가공
• 데이터 파이프라인 개발 및 관리
• 사내 데이터 애널리스트와 데이터 사이언티스트가 제품을 최적화하기 위한 분석도구 개발
• AWS, 애저(Azure), GCP 등 클라우드 환경에서 대량의 데이터 관리 백엔드 시스템 개발
• 하둡(Hadoop), 스파크(Spark) 등을 이용해 대용량 데이터 분산 처리 시스템 개발

 

요구사항

• 컴퓨터 관련 전공 우대
• SQL 필수
• 시스템 개발에 필요한 프로그래밍 언어 사용스킬 필수(자바, 자바스크립트, 파이썬, C/C++ 중 1개)
• 하둡, 스파크 등 빅데이터 도구 경험자 우대
• 도커 개발 및 배포 경험 우대

 

데이터 애널리스트

 

업무

• 최적의 의사결정을 내리는 데 도움을 주는 비즈니스 인사이트 제공
• 데이터의 경향, 패턴, 이상치 등을 인식하기 위한 시각화 진행, 보고서 작성
• 비즈니스 팀과 연계해 각 팀의 전략을 수립하거나 업무 효율화에 필요한 데이터를 수집 및 분석

 

요구사항

• 대학 졸업 필수(전공 무관)
• SQL, 기초 통계 지식 필수
• 태블로(Tableau), 스팟파이어(Spotfire) 등 데이터 시각화 도구 사용 경험 우대
• AWS 등 클라우드 솔루션 활용 경험 우대
• 데이터 분석에 활용할 수 있는 프로그래밍 지식 우대

 

데이터 사이언티스트

 

업무

• 머신러닝 모델을 사용해 정형, 비정형 데이터에서 인사이트 창출
• 사내 데이터를 이용해 고객 행동 패턴 모델링 진행, 패턴을 찾아내거나 이상치 탐지
• 예측 모델링, 추천 시스템 등을 개발해 비즈니스 의사결정에 필요한 인사이트 제공

 

요구사항

• 통계, 수학, 컴퓨터공학, 산업공학 등 수리, 전산 기반의 대학원 졸업자 우대
• 데이터 애널리스트 경력자 우대
• SQL 필수
• 데이터 분석을 위한 1개 이상의 프로그래밍 언어 지식 필수
• 머신러닝 알고리즘으로 데이터 분석 프로젝트 진행 경험자 우대

 

데이터 리서처

 

업무

• 최신 머신러닝, 인공지능, 통계 접근법의 연구와 구현
• 데이터 엔지니어와 협업해 알고리즘과 모델의 구현 및 배포
• 최신 연구 동향과 유용한 기술 등을 습득해 문서화
• 머신러닝 문제를 정의하고 해결하기 위한 알고리즘 모델 개발

 

요구사항

• 통계, 수학, 컴퓨터공학, 산업공학 등 수리, 전산 기반의 대학원 졸업자(박사)우대
• 데이터 분석, 처리 및 인공지능 학회 논문 게재 실적 우대
• 독자적 연구 진행 경험 우대
• 프로그래밍 스킬 필수

 

데이터 기획자

 

업무

• 클라이언트의 요구와 분석 가능한 데이터를 파악해 프로젝트의 범위와 문제 정의
• A/B test, 시각화 등을 통해 서비스 개선 방안 제안
• 프로젝트팀 구성원들의 경과를 추적해 다수의 프로젝트를 기한 내에 완료
• 프로젝트 내 데이터 분석 알고리즘의 적절한 활용 진단 및 적용

 

요구사항

• 기획 업무 경력자 우대
• 프로그래밍 언어 1개 이상 사용 가능자 우대
• Power BI등 데이터 시각화 도구, 태블로, 스팟파이어 등 분석 도구 사용 스킬 필수

 

직무별 중요도

	데이터 엔지니어	데이터 애널리스트	데이터 사이언티스트	데이터 리서처	시티즌 데이터 사이언티스트	데이터 기획자
빅데이터 전문지식	4	4	4	4	4	4
빅데이터 프로젝트	3	3	3	3	3	4
시각화	3	4	4	4	4	3
데이터 분석 소프트웨어	3	4	3	3	4	3
웹 크롤링	4	3	4	4	3	2
프로그래밍	4	2	4	4	2	2
수학 및 통계학	1	2	4	4	1	1
머신러닝	2	3	4	4	3	2
데이터 파이프라인 및 클라우드	4	2	3	3	1	2

 

 

직무가 각각 나뉘어져 있다 하더라도 전체적으로 해당 직무에 대해서 알고있어야 한다고 생각한다. 지난번 어느 취업세미나를 방문했었는데 어떤 분은 취업전에 자기와 잘맞는 직무를 찾기 위해서 모두 다 다른 회사에서 모든 직무별로 인턴을 해보았다고 한 분이있었다. 이렇게 모든 분야를 경험한 인재의 경우 향후 창업을 할 수 있는 인재로 거듭나지 않을까 싶다. 

 

현재 나에게 가장 잘 맞는 직무는 데이터 기획자라고 생각한다.

먼저 현상을 바라보고, 문제의 원인을 분석하며, 대안을 제시하는것은 주로 내가 그동안 해왔던 프로젝트들과 접점이 많다. 하지만 사이언티스트 및 애널리스트들이 하는 일들을 모두 할줄 알아야 한다고 생각하며, 요구되는 툴을 다루는 역량은 앞으로 점점 메꾸어 나가야겠다. 

 

대학졸업장... 아오

 

*제너럴리스트 : 모든분야에 상당한 지식과 경험을 가진 사람 스페셜리스트(Specialist)와 반대

*A/B 테스트 : 두가지 이상의 시안 중 최적을 선정하기 우해 실행하는 테스트

 

시각화도구

https://www.tableau.com/

Tableau: Business Intelligence and Analytics Software

https://www.tibco.com/products/tibco-spotfire

TIBCO Spotfire®

https://powerbi.microsoft.com/ko-kr/

데이터 시각화 | Microsoft Power BI