응애 개발자

데이터 정제 데이터 정제 과정 : 다양한 매체로부터 데이터 수집, 원하는 형태로 변환, 원하는 장소에 저장, 활용 가능성을 타진하기 위한 품질 확인, 사용이 원활하도록 관리 -> 비정형 데이터의 경우 구조화된 정형 데이터로 변환 수행, 결측치(Missing Value)와 오류 수정 과정 필요 전처리 데이터 저장 전 처리, 대상 데이터와 입수 방법 결정, 저장 방식/장소 선정 후처리 저장 후의 처리, 저장 데이터의 품질 관리 등의 과정 포함 결측치(Missing Value) : 데이터에 값이 없는 것 유형 완전 무작위 결측 어떤 변수상에서 결측 데이터가 다른 변수와 아무런 연관이 없는 경우 무작위 결측 결측 데이터가 관측된 다른 변수와 연관이 있지만 비관측 값들과는 연관되지 않는 경우, 결측이 완전히 설명..

원천 데이터 정보 : 데이터의 수집 가능성, 보안, 정확성, 수집 난이도, 수집 비용 내부 데이터 - 조직 내부의 서비스 시스템, 네트워크 및 서버 장비, 마케팅 관련 시스템 등으로부터 생성 - 분석에 적합한 정형화 된 형식으로 수집 외부 데이터 - 다양한 소셜 데이터, 특정 기관 데이터, M2M 데이터 LOD 등 - 분석 목표에 맞게 수집 데이터를 변환하려는 노력 필요 데이터 확보 비용 산정 요소 : 데이터의 종류, 크기 및 보관 주기, 수집 주기와 방식.기술, 가치성 데이터 저장 방식 : 파일 시스템, 관계형 데이터베이스, 분산 처리 데이터베이스 정형 데이터 품질 기준 완전성 필수 항목에 누락이 없어야 함 유일성 데이터 항목은 유일해야 하며 중복 불가 유효성 정해진 데이터 유효범위 및 도메인 충족 일..

분석 방안 수립 데이터 분석 : 데이터 집합으로부터 유용한 정보를 찾고 결과를 예측하기 위해 목적에 따라 분석기술과 방법론을 기반으로 대용량 데이터를 구축, 탐색, 분석하고 시각화를 수행 목표 시점 별 분석 기획 당면한 분석 주제의 해결 ( 과제 단위 ) 지속적 분석 문화 내재화 ( 마스터 플랜 단위 ) 1차 목표 SPEED & TEST` ACCURACY & DEPLOY 과제의 유형 QUICK-WIN LONG TERM VIEW 접근 방식 PROBLEM SOLVING PROBLOM DEFINITION 분석 기획 시 고려사항 가용데이터 확보 -> 적절한 유스케이스 탐색 -> 낮은 실행 장벽 분석 마스터 플랜 수집 적용 범위 / 방식 고려 요소 업무 내재화 적용수준 분석 데이터 적용 수준 기술 적용 수준 이행..