데이터 마이너 (Data Miner) 직업이란?

현대 사회에서는 신문 사이트, 은행 사이트, 페이스북과 같은 SNS 사이트, 일반 유통업체에서 발생되는 신용카드 결제 등 대규모의 데이터가 생성되고 있습니다. 그리고 그 양이 점점 더 많아지고 있습니다.

그러나 이런 데이타들을 그냥 버릴 수도 있지만, 수많은 데이터속에서 뭔가 유용한 형태로 데이터의 의미를 추출할 수도 있으며, 추출된 의미있는 데이터를 이용해서 다시 새로운 수요를 창출할 수도 있습니다.

이런 식으로 수많은 의미가 없어 보이는 데이터를 의미있는 형태로 추출하는 작업을 수행하는 직업을 데이터 마이너라고 부릅니다. 즉, 데이터 광부라는 의미를 가지는 직업입니다.

"고객에게 화장품 행사 안내용 우편물(DM)을 발송하면 과거엔 저조한 응답률이 데이터 마이닝 작업후 발송한 우편물은 응답률이 늘어났으면, 그로 인한 1인당 구매액도 조금씩 늘어나고 있습니다."

위의 경우와 같이 백화점을 찾는 많은 고객의 구매 자료를 바탕으로 데이터 마이닝을 통해 기간, 금액, 구매 형태별로 자료를 다시 가공, 최적의 마케팅 방안을 찾는 것도 데이터 마이닝의 한 예라고 할 수 있습니다. 그외 많은 도로에서 주행하는 자동차, 스마트폰의 앱의 사용 형태 등을 분석하는 것도 데이터 마이닝의 예입니다.

데이터 마이너는 방대한 자료를 바탕으로 다양한 통계 기법을 활용, 정보간 관계를 파악하고 의미를 부여하는 일을 하며, 데이터를 원하는 형태로 바꾸고 분석해서 필요한 정보를 찾아 냅니다. 정보를 분석하는 도구(소프트웨어)를 통해 데이터를 다양한 차원과 관점에서 분류하고 요약하고 분석하며 데이터마이닝을 하기에 앞서 목적을 파악하고, 어떤 형식으로 데이터마이닝을 할지 결정합니다.

데이터의 종류에 따라 분석하고 변환해야 하는 형태가 다르기 때문에 분석 목적에 맞게 데이터마이닝을 실행해 필요한 정보를 찾아낸 뒤, 그 결과가 유용한지 판단하고, 분석을 통해 데이터에 오류가 있지는 않은지를 알아내기도 하며, 학문적인 이론이나 상식과 관계없이 순수하게 데이터의 연관성을 분석하기도 합니다.

데이터 마이너의 활동 분야는 생각보다 넓으며, 보통 기업 내에서 마케팅이나 고객관리, 기술분석 업무를 맡습니다. 금융회사, 정부 산하기관, 의료기관 등의 프로젝트에 참여하기도 합니다. SAP와 오라클 같은 소프트웨어 개발, 솔루션 제공업체에서도 필요로 합니다. 이들이 하는 일은 백화점, 카드사 등의 고객 분석을 비롯해 통신업체의 해지자 분석, 제약회사의 신약 개발을 위한 데이터 분석, 환자 치료를 위한 임상 데이터 분석, 제철소에서 철강 품질을 높이기 위한 분석까지 매우 다양합니다.

미국의 데이터마이너는 기업에서 마케팅과 고객관리를 하거나, 금융권, 정부산하기관, 의료기관 등에서 근무하기도 하며, 프리랜서로 활동하며 고객의 요청에 따라 데이터마이닝을 실행하는 경우도 있습니다. 미국 및 캐나다에서 근무하는 데이터마이너의 평균 연봉은 약13만 달러이며, 미국내 IT산업의 일자리는 2018년까지 1.5배 가까이 늘어날 예정인데, 이중 많은 부분을 차지하는 것이 데이터마이닝 일자리입니다.