문제1) 웹 크롤링(Web Crawling)에 대하여 설명하시오. 답) 1. 웹 컨텐츠 수집 자동화, 웹크롤링의 개요 가. 웹크롤링(Web Crawling)의 개념 웹 크롤링 흐름도 웹 크롤링의 개념 웹 크롤러를 이용해 월드 와이드 웹을 탐색하여 원하는 정보를 얻어 내거나 기억시킨 동작을 하는 컴퓨터 프로그램 웹 페이지 크롤링을 통해 직접 접근해 정보를 빠르게 수집하거나 자동 이메일 수집 또는 웹 유지관리를 위해 사용 모든 URL을 탐색하여 우선순위별로 다운로드를 반복수행하고, DB에 저장 후 크롤링 종료 나. 웹 크롤링(Web Crawling)의 동작원리 동작원리 설명 HTML 파싱 HTML 페이지를 가져와서, HTML/CSS등을 파싱하고, 데이터 추출 Open API 호출 Open API(Rest A..

문제 1) 코로나-19(Covid-19)로 인한 언택트 시대의 데이터 주권 이슈와 데이터 거버넌스 전략 방향에 대하여설명하시오. 답) 1. 코로나-19 시대 데이터 주권 확립을 위한 데이터 거버넌스 전략의 필요성 필요성 코로나19의 영향이 장기화되면서 언택트 문화가 일상화 되고 있고 데이터 자원의 폭발적 증가를 의미하며 데이터 확보를 위한 데이터 주권 확보 차원으로 진화되고 있고 확립 차원에서 데이터 거버넌스 전략이 필요 데이터 주권이란 데이터가 수집된 국가 내의 법률 및 거버넌스 구조에 종속되는 것으로 언택트 시대에 이슈로 부각 되는 중 2. 코로나-19로 인한 언택트 시대의 데이터 주권 이슈 이슈 설명 데이터 이동 국경간 데이터 이동과 글로벌 데이터 기업의 조세 형평성 등 데이터를 매개로 한 국가간 ..

문제 6) 디지털 뉴딜 데이터 댐 의 핵심인 인공지능 학습용 빅데이터 구축 사업의 성공적 추진을 위한 정책과 데이터 품질에 대한 관심도가 높아지고 있다 . 다음의 내용을 설명하시오 가. 인공지능 학습용 데이터의 특성 나. 데이터 획득·정제 방법과 기준 다. 데이터 라벨링 (Data Labeling) 및 어노테이션 (Annotation) 방식 답) 1. 인공지능 학습용 데이터의 특징 구분 설명 정의 머신러닝 , 딥러닝 등 AI 모델 학습을 위해 활용되는 데이터를 총칭 지도학습에 활용되는 라벨링 된 데이터 구성 원천(원본 ) 데이터 원시데이터를 라벨링 공정에 투입하기 위해 필요한 전처리 등 정제 작업을 수행 한 데이터로 라벨링데이터가 부여되지 않은 상태의 데이터 라벨링 데이터 원천데이터에 부여한 참값 ’, ..

문제 5) 빅데이터 분석도구를 선택하는 원칙 답) 1. 데이터활용 명확한 정보제공, 빅데이터 분석도구의 정의 대량의 데이터들의 분석을 통해 가치있고 활용성이 높은 정보를 얻을 수 있도록 도와주는 도구 2. 빅데이터 분석도구를 선택하는 원칙 설명 가. 조직관점 종합적 선택 원칙 원칙 세부항목 설명 품질 기능성 빅데이터의 처리 분석 시각화 기능 성능 다양한 유형 방대한 양의 데이터 처리 속도 보안성 데이터 침해 프리이버시 침해 사용성 학습성 Learning Cost 측정 편의성 사용자인터페이스 모델링 용이성 목표달성도 다양한 모델 구축 가능여부 벤더 벤더 명성 벤더의 업력 자본금 재무상태 등 컨설팅 능력 최근 구축 사이트 레퍼런스 유지관리 유지관리서비스 등급별 비용 E o S 기간 고려 결과물 이해성 결과물..

문제 2) 데이터 품질관리 프레임워크, 데이터 관리, 데이터 구조관리, 데이터 관리프로세스에 대하여 설명하시오. 답) 1. 데이터 품질관리 프레임워크 설명 정의 데이터 품질관리의 대상이 되는 구성요소와 요소들 간의 관계를 정의한 데이터 품질관리의 기본 개념틀 관리 목적 데이터 품질관리 요소는 크게 데이터 값(data value), 데이터 구조(data hierarchy), 데이터 관리 프로세스(data management process)로 구분 각 요소들은 상호 연계되어 정보시스템의 데이터 품질에 영향을 주고 있으므로 통합적이고 체계적인 관리 노력이 필요 프레임워크 데이터 품질관리 프레임워크는 관리 대상과 관리 조직을 기본축으로 한다. 2. 데이터 관리 관리항목 세부항목 설명 표준 데이터 정의 정보시스템..

문제 5) DA(Data Architect)와 DBA(Database Administrator)의 역할을 비교하여 설명하시오. 답) 1. 효율적인 데이터 관리를 위한 조직 구성 기업에서 효율적인 데이터 관리를 위해서는DA(Data Architect)와 DBA(Database Administrator), DW(Data Warehouse)로 구분하여 조직을 운영 2. 시스템 구축단계별 DA와 DBA의 역할 개념비교 DA 데이터 기반으로 정책, 표준화, 아키텍처, 설계 업무를 수행하는 자 데이터 관점에서 구축하려고 하는 업무를 사용자/현업 담당자와 협의 및 분석하여 개체(entity)와 속성(attribute) 추출 및 정의하는 담당자 DBA 개발에 필요한 DB를 설치하고, DA로 받은 논리분석(ERD) 결과..

문제 4) 데이터베이스 옵티마이저(Optimizer)에 대한 아래의 사항을 설명하시오. 가. 옵티마이저의 개념 나. RBO(Rule Based Optimizer)와 CBO(Cost Based Optimizer) 비교 다. 옵티마이저의 적용 시 고려사항 답) 1. 옵티마이저(Optimizer)의 개념 가. 옵티마이저(Optimizer)의 정의 및 기능 구분 설명 정의 사용자가 질의한 SQL문을 처리 가능한 실행계획을 탐색하고 각 실행계획에 대한 비용을 추정하여 최적의 실행계획을 수립하는 DBMS의 핵심 엔진 핵심 기능 실행 계획 탐색 주어진 SQL 질의를 처리할 수 있는 실행 계획들을 나열(P1, .., Pn) 비용 산정 각 실행계획의 예상비용을 계산 많은 실행계획들 중에서 최종적으로 가장 비용이 적게 드..

문제 3) 데이터베이스 샤딩(Sharding)에 대한 아래의 사항을 설명하시오. 가. 샤딩의 개념 및 분할방법 나. 샤딩과 파티셔닝(Partitioning)의 차이점 다. 샤딩 적용 시 고려사항 답) 1. 샤딩(Sharding)의 개념 및 분할방법 가. 샤당의 개념 DBMS 레벨에서 데이터를 나누는 것이 아니고 물리적으로 다른 데이터베이스에 데이터를 샤드(Shard)라고 부르는 각각의 개별 파티션으로 수평 분할 방식으로 분산 저장하고 조회하는 방법 나. 샤당의 분할방법 방법 설명 사례/특징 Vertical Partitioning 테이블 별로 서버를 분할하는 방식 구현 간단. 전체 시스템에 큰 변화 필요 없음. 각 서버 데이터 거대해지면 추가 샤딩 필요 사용자 프로필정보용 서버, 사용자 친구리스트용 서버,..

문제 3) 데이터 품질관리에 대하여 다음을 설명하시오. 가. 데이터 품질관리 아키텍처 나. 데이터 품질관리 성숙도 다. 정형 데이터 및 비정형 데이터 품질기준 라. 데이터 품질관리 전략 답) 1. 데이터 품질관리 아키텍처 가. 데이터 품질관리 아키텍처의 정의 데이터의 품질을 확보하기 위한 품질 목표 설정, 품질 진단 및 개선 등 일련의 활동과 이를 지원하기 위한 모든 기술 나. 데이터 품질관리 아키텍처의 개념도 데이터 품질을 확보하기 위해 DQM3 및 데이터 거버넌스 적용 필요 2. 데이터 품질관리 성숙도 가. 데이터 품질관리 성숙도 모델의 개념 데이터 품질관리 수준을 진단하고 개선 과제 및 방안을 단계적, 체계적으로 제시하기 위해 개발된 데이터 품질관리 프로세스의 성숙도 모델 데이터 품질기준 정확성, ..

문제 3) 데이터 용량이 증가할수록 데이터베이스 튜닝(Tuning)의 필요성이 증가하고 있다. 데이터베이스 튜닝에 대한 아래의 사항을 설명하시오. 가. 데이터베이스 튜닝의 개념과 목적 나. 데이터베이스 설계 단계 튜닝 기법 다. 힌트(Hint)의 유형 답) 1. 데이터베이스 튜닝의 개념과 목적 가. 데이터베이스 튜닝의 개념 데이터베이스의 응용, 데이터베이스 자체, 운영체제의 조정 등을 통해 최적의 자원으로 최적의 성능을 얻을 수 있도록 개선하는 작업 나. 데이터베이스 튜닝의 목적 업무적인 환경과 시스템적 환경에 적합한 데이터베이스 파라미터를 설정 데이터베이스에 접근하는 SQL 문장을 가능한 한 디스크 블록에 최소로 접근하도록 함 디스크 블록에서 한번 읽어오는 데이터는 가능하면 메모리 영역에 보관 모든 사..