데이터옵스, 데브옵스

문제 6) 데이터옵스(DataOps)와 데브옵스(DevOps)에 대하여 다음을 설명하시오.

1) 데이터옵스와 데브옵스의 비교

2) 데이터옵스 아키텍처 및 주요 기술

 

답)

 

 

1. 자동화 프로세스를 지원하기 위한 x 옵스 개요

정의	자동화를 지원하고 기술 및 프로세서의 중복을 줄이는 엔터프라이즈 기술 스택을 구축을 목표로 실행하는 방법론
x 옵스중 데이터 관리와 소트프웨어 개발에 적용하여 DataOps와 DevOps 활용 증가

 

2. 데이터옵스(DataOps)와 데브옵스(DevOps) 비교

가. 데이터옵스와 데브옵스의 개념 비교

구분	데이터옵스 (DataOps)	데브옵스 (DevOps)
개념	조직 전체의 데이터 관리자와 데이터 소비자 간의 데이터 흐름의 커뮤니케이션, 통합 및 자동화를 개선하는 데 중점을 둔 협업 데이터 관리 방식 데이터를 분석해 애플리케이션을 형성한 후최종 사용자에게 신뢰할 수 있는 고품질 데이터를 신속히 제공하기 위한 기본적인 데이터 운영/관리 방식	시스템 개발자와 운영을 담당하는 정보기술전문가 사이의 소통, 협업, 통합 및 자동화를강조하는 소프트웨어 개발론 소프트웨어 제품이나 서비스를 알맞은 시기에 출시하기 위해서 개발과 운영이 상호의존 대응 개발과 운영의 합성어 개발과 운영의 원활한 상호 작용을 하게 하는 모든 개발 방법론
프레임 워크
파이프라인 활용한 자동화로 효율적인 프로세스 운영 가능

 

나. 데이터옵스와 데브옵스의 상세 비교

구분	데이터옵스	데브옵스
목적	데이터 파이프라인 자동화/모니터링 관리	SW 개발 자동화 및 모니터링
조합	데이터 공학, 데이터 통합	SW 개발, 품질보증(QA), 기술운영
협력	데이터 품질, 데이터 보안, 개인정보	SW 엔지니어(개발자)
기대효과	데이터 엔지니어, 데이터 과학자	시스템관리자(운영 팀), 테스트
데이터옵스를 적용하기 위해서는 기술환경과 분석 전문가, 데이터 엔지니어 등의 역향 확보 필요

 

3. 데이터옵스 기능 아키텍처 및 주요기술

가. 데이터옵스 기능 아키텍처

데이터를 생산･수집･가공･분석하는 체계인 데이터 플랫폼를 통해 신속한 배포 및 부가가치가 높은 고품질의가치를 창출할 수 있도록 지원하는 여러 가지 기능(스토리지･리비전 제어, 인증 및 권한 관리, 이력 및 메타데이터 등)이 통합

 

나. 데이터옵스의 접근방식 및 주요 기술

구분	접근방식 및 기술	설명
접근방식	데브옵스	지속적 통합/제공과 테스트 중심의 개발
	애자일 방식	단기 작업 수행이 가능한 자체 조직화된 팀 중심
	린 제조	비효율을 파악하여 프로세스를 단순화･자동화
주요기술	스토리지/리비전 제어	버전 제어는 인위적인 변경 사항을 관리. 거버넌스 및 반복 개발에 필수 (예, git, dockerhub)
	이력 및 메타 데이터	시스템 및 활동 로그 관리 (예, MongoDB)
	인증 및 권한	환경에 대한 액세스 제어 (예, Auth0)
	환경 비밀	환경 내 도구 및 리소스에 대한 역할 기반 액세스 (예, Vault)
	데이터옵스 지표 및 보고서	분석 및 데이터 팀의 상태에 평가에 대한 내부 분석 : CDO 대시 보드 (예, Tableau)
	자동 배포	하나의 환경에서 프로덕션 환경으로 코드/구성을 이동하는 과정 (예, Jenkins, CircleCI)
	환경 생성 및 관리	하드웨어, 소프트웨어, 테스트 데이터 세트 등 필요한 모든 것을 가지고 작업할 수 있는 환경을 생성할 수 있는 코드와 같은 인프라 취급 (예, Chef, Puppet)
	오케스트레이션, 테스트, 모니터링	파이프라인이 실행되는 동안 관련된 모든 도구를 오케스트레이션하고 테스트 및 모니터링하며 문제가 발생 시 경고(예: Airflow, Great Expectations, Grafana)

---

 

공감과 댓글은 아이티신비에게 큰 힘이 됩니다.

블로그 글이 유용하다면 블로그를 구독해주세요.♥