1. What is Data Science?
데이터 과학자들은 통계학, 수학, 프로그래밍, 문제해결능력, 데이터를 기발한 방법으로 캐치하는 능력, 패턴을 찾기 위해 문제를 색다르게 바라보는 능력들을 갖추어야 합니다. 또한 데이터를 정제하고 준비하고 조정하는 활동들을 해야 합니다. 정형, 혹은 비정형 데이터들을 다루는 데이터 과학은, 위 활동과 관련된 모든 것을 포함하는 분야입니다. 간단히 말해서 데이터 과학이란, 데이터로부터 정보와 인사이트를 추출하려고 할 때 사용되는 기술들의 포괄적 용어입니다.
2. What is Big Data?
빅데이터는 기존의 응용 프로그램으로는 효과적으로 처리할 수 없는 엄청난 양의 데이터를 말합니다. 빅데이터의 처리는 집계되거나 조직되지 않은 로데이터로 시작되며, 단일 컴퓨터의 메모리에 저장하는 것은 거의 불가능합니다.
또한 빅데이터는 정형 혹은 비정형의 방대한 양의 데이터를 설명하는데 사용되는 전문 용어이기도 합니다. 빅데이터는 보다 나은 결정과 기업의 전략적 행동을 이끌어내는 인사이트를 분석하는데 사용될 수 있습니다.
Gartner사는 빅데이터에 대해 이렇게 정의 내렸습니다. “빅데이터란 인사이트와 의사결정, 자동화 과정을 강화할 수 있는 정보처리과정의 혁신적인 형태이며, 높은 비용 효율을 요구하고 방대하며, 빠르고 다양한 형태의 정보 자산(assets)이다.” 즉 빅데이터 분석가는 기업의 의사결정을 도와주는 혁신적인 인사이트를 발견합니다.
3. What is Data Analytics?
데이터 분석은 인사이트를 도출하기 위해서 알고리즘과 수학적 처리과정을 적용하여 해당 정보에 대한 결론을 도출하고 패턴을 찾기 위한 목적으로 로데이터를 다루는 과학입니다. 데이터 분석가의 작업은 이미 연구자가 알고 있는 결론에서부터 또 다른 결론을 도출하는 과정인 추론에 있습니다. 예를 들어 서로간에 의미 있는 상관 관계를 찾기 위해 여러 데이터 셋을 실행합니다. 데이터 분석은 조직이 기존 이론이나 모델을 검증하고 반증할 뿐만 아니라 더 나은 의사 결정을 내릴 수 있도록 여러 산업 분야에서 사용되고 있습니다.
통신 속 빅데이터 : 신규 가입자 확보, 고객 유치 및 현재 가입자 기반 확대는 통신 서비스 제공 업체에게 최우선 순위입니다. 이러한 과제의 해결책은 매일 생성되는 고객 생성 데이터 및 기계 생성 데이터의 대량을 결합하고 분석하는 능력에 있습니다.
소매업을 위한 빅데이터 : 재래식 소매 거래든 온라인 거래든 매출을 유지하고 경쟁력 확보를 위한 해답은 더 나은 서비스가 가능하도록 소비자를 이해하는 것입니다. 이를 위해서는 웹 로그, 고객 거래 데이터, 소셜 미디어, 매장 브랜드의 신용 카드 데이터 및 로열티 프로그램 데이터를 포함하여 회사가 매일 처리하는 각종의 이질적인 데이터 소스를 분석 할 수 있어야 합니다.
데이터 과학자가 되기 위한 기술들
- SAS, R에 대한 깊이 있는 지식(데이터 과학자들은 보편적으로 R을 선호함)
- Python cording : 파이썬은 자바, C언어, Perl과 함께 데이터 과학자들에게 가장 대중적으로 쓰이는 코딩 언어
- Hadoop platform : 필수 요소는 아니지만, Hadoop에 대한 지식은 이 분야에서 여전히 선호되고 있으며 Hive나 Pig의 경험은 큰 플러스 요인
- SQL 데이터베이스/코딩 : 데이터 과학자들에게 NoSQL과 Hadoop은 주된 초점이지만, 선호되는 숙련자들은 SQL의 정교하고 복잡한 쿼리를 쓸 수 있음
- 비정형 데이터 다루기 : 데이터 과학자들에게 비정형 데이터(소셜 미디어, 영상, 음성 등)를 다룰 수 있는 능력 매우 중요
빅데이터 전문가가 되기 위한 기술들
- 분석 능력 : 당신이 얻을 수 있는 막대한 양의 데이터들을 적절하게 감지할 수 있는 능력. 분석적인 문제해결 능력으로, 당신은 어떤 데이터가 당신의 해결법과 가장 밀접 한지 결정할 수 있습니다.
- 창의성 : 당신은 데이터를 조합하고 해석하며 분석하는 새로운 데이터 전략을 창조해낼 능력이 필요합니다.
수학과 통계적 기술 : 수치 처리는 항상 중요합니다. - 컴퓨터 과학 : 컴퓨터는 모든 데이터 전략의 이면에 있습니다. 프로그래머는 데이터를 통찰력으로 처리하는 알고리즘을 고안해야 할 필요가 있습니다.
- 비즈니스 스킬 : 빅데이터 전문가는 비즈니스 성장 뿐만 아니라 이익을 창출하는 기본 프로세스와 함께 비즈니스의 목표를 이해할 수 있어야 합니다.
데이터 분석가가 되기 위한 기술들
- 프로그래밍 기술 : R과 파이썬 등 프로그래밍 언어를 아는 것은 데이터 분석가에게 매우 중요합니다.
- 통계적 기술과 수학 : 추론적 통계 및 실험 설계 또한 데이터 분석가에게 필수입니다.
- 머신러닝기술
- 데이터 wrangling 기술 : 로데이터를 매핑하고 데이터를 보다 편리하게 사용할 수 있는 다른 형식으로 변환하는 기능입니다.
- 의사소통방법과 데이터 시각화 기술
이렇게 빅데이터와 데이터 과학, 데이터 분석을 알아 보았습니다. 빅데이터는 빅데이터일 뿐 중요한 것은 그 데이터를 어떻게 창의적으로 바라볼 것이며, 결국 사업에 어떻게 적용하여 이익을 창출할지 방향을 정하는 것입니다. 이는 위의 언급된 전문적인 기술 만으로 해결되지 않습니다. 중요한 것은 분석가(혹은 분석기업)의 역량이며 그 역량은 바로 경험에서 나옵니다.
Reference: https://www.simplilearn.com/data-science-vs-big-data-vs-data-analytics-article
'Data Analytics' 카테고리의 다른 글
[python] 포인터 *args, **kwargs 사용법 (0) | 2020.05.12 |
---|