데이터 마이닝

문제3) 데이터 마이닝(Data Mining)에 대하여 다음을 설명하시오.

 

가. 데이터 마이닝과 통계의 차이점

나. 정형 데이터 마이닝과 비정형 데이터 마이닝의 비교

다. 오피니언 마이닝(Opinion Mining) 수행 절차를 설명하고, 텍스트 마이닝(Text Mining)과 비교

 

답)

 

 

1. 데이터에서의 인사이트 도출, 데이터 마이닝과 통계의 차이점

가. 데이터 마이닝과 통계의 개념적 차이점

데이터 마이닝	통계
대용량 데이터에서 의미 있는 패턴을 파악하거나 예측하여 의사결정에 활용하는 방법	가설이나 가정에 따른 분석이나 검증을 통하여 특정 집단 대상을 조사, 실험하여 결과 도출 방법
전통적인 통계 방법과 데이터 마이닝 방법은 상황에 따라 다르게 적용 데이터 분석

 

나. 데이터 마이닝과 통계의 상세 차이점

구분	데이터 마이닝	통계
방법	데이터의 가정 없이 분석	가정, 가설 기반으로 분석
목적	미래의 예측	가설에 대한 검증 목적
세부방법	텍스트 마이닝, 오피니언 마이닝 등	기초통계분석, 다변량분석, 시계열분석 등
결과	모형에 대해 Robust 한 결과 제공	선형적인 알고리즘에 기반한 결과 도출
데이터 마이닝 방법에는 정형, 비정형 데이터 마이닝 방식이 존재

 

2. 정형 데이터 마이닝과 비정형 데이터 마이닝의 비교

가. 정형 데이터 마이닝과 비정형 데이터 마이닝의 개념 비교

정형 데이터 마이닝	비정형 데이터 마이닝
대용량 데이터에서 의미있는 패턴을 파악하거나 예측하여 의사결정에 활용하는 데이터 분석 기법	비정형 데이터를 정련 과정을 통해 정형 데이터로 변환하고 분류, 군집화, 회귀분석, 이상탐지 등의 기법으로 유의미한 정보를 추출하는 분석 기법
영상, 이미지 정보가 많이 사용되면서 비정형 데이터에 대한 분석 수요 증가

 

나. 정형 데이터 마이닝과 비정형 데이터 마이닝의 상세 비교

구분	정형 데이터 마이닝	비정형 데이터 마이닝
기법	분류분석, 군집분석, 연관분석	텍스트 마이닝, 사회연결망 분석, 웹마이닝
필요성	텍스트 데이터의 대규모화 비즈니스 인사이트 도출 고객 파악, 시스템 효율화 위한 분석	비정형 데이터 규모 증가 대용량 실시간 데이터 증가 다양한 비정형 유형 증가
절차	목적설정 데이터 준비 데이터 가공 기법 적용 검증	데이터 수집 전처리 단계 패턴 도출 단계 마케팅 적용, 전략 수집
평가	오분류 계산 오분류에 따른 모형 사용 여부 판단 오분류 기준은 분석 목적 따라 다름	정밀도(Precision) 재현율(Recall)
비정형 데이터 마이닝이 대표적인 방식으로 오피니언 데이터 마이닝과 텍스트 마이닝 존재

 

3. 오피니언 마이닝 수행 절차 설명 및 텍스트 마이닝 비교

가. 오피니언 마이닝 수행 절차 설명

단계	설명
1단계	문장을 '팩트'에 근거한 문장과 글쓴이의 '의견'이 들어간 문장으로 구분
2단계	글쓴이의 '의견'이 들어간 문장을 Positive 와 Negative 문장으로 구분 형용사, 동사, 부사에 초점 사례) 배송은 / 느리지만 / 제품은 / 이쁘고 / 좋네요 (명사 / 형용사 / 명사 / 형용사 / 형용사) (-1 + 1 + 1)
3단계	Weakly Positive 와 Strongly Positive 처럼 문장의 표현 강도를 구분
4단계	각각의 문장마다 자동으로 점수를 부여하여 결과 도출

 

나. 오피니언 마이닝과 텍스트 마이닝 비교

 

구분	오피니언 마이닝	텍스트 마이닝
개념	SNS의 대량의 리뷰로부터 사용자가 원하는 정보를 빠르게 분석해주고, 유의미한 정보를 지능적으로 유추해내는 Mining 기술	구조화되지 않은 대규모의 텍스트 집단으로부터 자동적으로 정보를 추출함으로써 이전에 알려지지 않았던 새로운 정보를 발견하는 정보기술
배경	데이터들은 2:8의 비율로 정형화된 데이터와 비정형화된 데이터로 구분되며 80%에 이르는 비정형화된 데이터로 부터 유용한 정보를 추출하고 가공하는 기술이 필요	제품이나 서비스 구매후기 분석을 통해 소비자들의 평가, 불만, 니즈등 의견을 파악하고 기업 및 브랜드의 잠재위기를 조기에 감지 가능
절차	의견 들어간 문장 구분 긍정과 부정 문장으로 구분 문장의 강도 구분 문장마다 자동으로 점수 부여	문서수집 문서 전처리 텍스트 분석 결과해석 및 정체
기법	텍스트 마이닝 자연어 처리 비정형 분석	기계학습 인덱싱, 신경망 처리, 언어처리, 온톨로지 패턴인식, 휴리스틱 알고리즘
오피니언 마이닝은 다양한 상황에 적용 활용

 

4. 오피니언 마이닝 활용

활용사례		설명
Customer Research	Early Market Reaction Analysis	신상품에 대한 소비자의 반응을 분석하여 시장 진입의 성공여부 확인
	New Product Plan	기존 상품의 만족도, 타켓 시장의 특성 및 트랜드, 소비자 라이프 스타일 등 소비자 성향 분석을 통한 개발에 대한 아이디어 획득
Digital PR Communication	Measuring PR Activities	온라인 미디어에서의 PR 영향력 측정
	Crisis Management	부정적인 소비자의 반응을 중점적으로 분석하여 기업 위기를 사전에 감지하고 해결방안을 모색
Marketing Evaluations	Campaign Effectiveness	기업의 메시지가 시장에서 어떻게 이해되고 있는지 확인하고 이를 마케팅 전략에 활용
Brand Monitoring	Brand Reception	소비자 인사이트 기반의 브랜드 가치 측정을 통한 잠재적인 가치 및 경쟁사와의 차별성 분석

 

---

 

공감과 댓글은 아이티신비에게 큰 힘이 됩니다.

블로그 글이 유용하다면 블로그를 구독해주세요.♥