이케이케 잘하기

Apache Parque

Apache Parque는 효율적인 데이터 스토리지와 검색을 지원하도록 설계되었으며,

컬럼 중심의 오픈 소스 데이터 파일이다. 

특징

• 무료 오픈 소스 파일 형식
• 언어를 가리지 않음
• 컬럼 기반 형식 - 파일이 행이 아니라 열로 구성되어 스토리지 공간이 절약되고 분석 쿼리 속도가 향상된다.
• OTLP 데이터베이스와 함께 사용하는 사례에 사용
• 데이터 압축과 해제의 효율이 매우 높다.

장점

• 모든 종류의 빅데이터를 저장하는데 적합 (구조적 데이터 테이블, 이미지, 동영상, 문서)
• 매우 효율적인 컬럼 전체 압축 방식, 그리고 다양한 데이터 유형의 컬럼에 대한  유연한 인코딩 방식을 사용하여 클라우드 스토리지에 저장
• 데이터 건너뛰기 등의 기술을 사용하여 데이터 처리량과 성능을 높임

Parquet와 CSV의 차이점

* databricks에서 내용 참고했음을 밝힙니다.  (https://www.databricks.com/kr/ )

ADP 실기 시험까지 22일이남은 이 시점에서

실기 공부를 시작하려고 한다.

계획부터 늦게 시작했다 ...... ㅠ 의지박약...

아무튼 준비한 책은 총 세가지 

1. 핸즈온 머신러닝 

   - 머신러닝 공부를 시작한 후 가장 처음 구매했던 서적이다.

     이미 엄청 많이 봐서 너덜너덜 하지만.. 그것은 2년전 ...

     다 까먹었다. 새로 시작한다는 마음으로 봐야겠다.

2. 파이썬을 활용한 머신러닝 쿡북

  - 이번 시험을 위해 새로 구입했다. 아직 보진 않았지만, 핸즈온 머신러닝과 약간 겹치는 내용들이 있다.

3. 데이터분석을 위한 판다스 입문

  - 구글링 도움 없이 오픈북으로 봐야하는 시험이기 때문에 이런 책은 필요할 것 같아서 사무실에 있는거 하나 가져왔다.

아무튼 공부를 시작해보겠습니다.

준비해야하는 내용

1. 기본 넘파이/판다스 문법

2. 머신러닝 기본

  - 선형회귀

  - SVM

  - 결정트리

  - 앙상블 모델 

3. 시계열 (여기는 한번도 안해본 분야라 공부가 좀 필요할 것 같다)

4. 텍스트 마이닝 

이정도로 정리하려고 한다.

과연 한번에 합격할 수 있을까!??!

21회 ADP 필기시험에 관한 내용을 적어보고자 한다. 

준비기간: 2021-04-26 ~ 2021-05-22 (약 4주)

필기 시험일자: 2021-05-22(토) 

1. 준비계획

2. 공부전 배경지식 정도

2019년도에 ADsP를 취득 (재수해서 취득함)

데이터분석 분야 전공으로 인하여 어느정도 기본 지식은 있는 편이었다.

그렇지만 취업 후 근 1년동안 데이터분석 공부를 전혀 안했기때문에, 데이터 분석 과목에 초점을 맞춰서 공부했다.

3. 공부양 과 방법

준비 계획에 맞춰 진행했다.

출근 시간보다 일찍 가서 한시간정도 공부 하고, 퇴근해서도 두세시간정도는 공부했다. 평일기준으로는 세네시간정도 본듯하다. 나자신 장하다 .. 

주말에는 토요일은 놀아야해서 일요일만 하루평균 6시간 이상씩 4주정도 공부했다. 

참고한 서적은 데이터에듀의 [ADP 데이터분석전분가] 이다.

책 앞부분에 전 과목 요약본이 정리되어있는데, 요게 아주 쏠쏠하다. 암기할때 참고하기도 좋고 한눈에 들어와서 내용 기억이 잘 났다.

4. 출제 난이도

서술형이 제일 걱정 많았는데, 생각보다 평이한 난이도로 출제되었다.

회귀분석에 관한 내용이 나왔고, 각분석론마다 R 분석 결과를 해설할 수 있는 수준으로 준비해야 할듯 싶었다.

책에 수록되어있는 기출문제를 열심히 푸는게 가장 중요한 것 같다. 단기간에 벼락치기 하셔야하는 분들은 기출문제라도 열심히 풀어본다면 승산있지 않을까. 

체감 난이도는 중상정도 되었다. 

5. 결과 

결과는... 합격!! 생각보다 서술형 점수가 높게 나왔다! 떨어질 줄 알았는데 붙었다.. 

다음 게시물은 꼭 실기 합격 후기가 되었으면 한다.