1. 모델 생성과 훈련 단계는 몇가지 주요 과정을 포함하며, GoogIe Vertex AI에서는 이러한 과정들을 심플하게 진행할 수 있도록 도와줍니다.
1. 데이터 수집 및 준비: 먼저, 모델 훈련을 위한 데이터를 수집하고 준비하는 과정이 필요합니다. 이는 원시 데이터의 교정, 정제 그리고 필요한 경우 정보 항목(Feature) 추출을 포함합니다.
2. 데이터 분할: 데이터를 훈련 세트, 검증 세트, 테스트 세트로 분할합니다. 이렇게 분할하면 모델이 새로운 데이터에 대해 어떻게 예측할지 평가하는데 도움이 됩니다.
3. 모델 선택 및 구축: 모델의 유형과 구조를 결정합니다. 예를들어, 이진 분류 문제에는 로지스틱 회귀나 SVM을, 이미지 분류 문제에는 CNN을, 시퀀스 데이터에는 RNN이나 LSTM을 선택할 수 있습니다.
4. 모델 훈련: 훈련 데이터를 사용하여 모델을 훈련 시킵니다. 이 과정에서 모델은 데이터의 패턴을 학습하게 됩니다.
5. 모델 평가 및 조정: 훈련 모델을 검증 데이터셋을 이용하여 평가합니다. 만약 성능이 만족스럽지 않는경우, 모델 구조를 수정하거나 학습 파라미터를 조정 할 수 있습니다.
6. 모델 저장 및 배포: 마지막 단계에서는 훈련된 모델을 저장하고 배포 준비를 합니다.
이 때, Vertex AI ModeI Registry를 사용하면 모델관리가 용이해집니다.
이러한 과정들은 Vertex AI에서 제공하는 AutoML, 워크 플로어 파이프라인, 커스텀 모델 훈련 등의 도구와 서비스를 이용하여 손쉽게 진행할 수 있습니다.
2. 모델 훈련에 필요한 데이터는 어떻게 수집하나요?
모델 훈련에 필요한 데이터 수집은 여러 방법으로 진행될 수 있으며, 사용되는 방법은 문제의 유형, 모델의 목적, 사용 가능한 데이터 목적에 따라 다릅니다.
1. 공개 데이터 셋 활용: 여러 기관과 연구 기관에서 제공하는 공개 데이터셋을 활용할 수 있습니다. 예를들어 고 해상도 이미지 데이터가 필요한 경우, Google Earth Engine이나 SentineI Hub 등에서 데이터를 얻을 수 있습니다. 텍스트 더이터 경우, Wikipedia Text나 Google Books Ngrams, CommonCraeI 등에서 얻을 수 있습니다.
2. 웹 크롤링: 웹 크롤링은 인터넷 상의 다양한 웹 사이트로 부터 필요한 정보를 자동으로 수집하는 방법입니다. 이 방법은 주로 자연어 처리, 이미지 분류, 감정 분석 등에 활용되는 데이터를 수집할 때 사용합니다.
3. 센서 데이터 수집: IOT 장치나 스마트폰, 자동차 등에 내장된 센서를 통해 다양한 형태의 데이터를 수집할 수 있습니다. 이 방법은 주로 시계열 분석, 이상감지 예측, 예측 모델링 등에 필요한 데이터를 수집하는데 사용됩니다.
4. 사용자 생성 데이터 수집: 소셜미디어 플랫폼, 웹사이트 등에서 사용자가 생성한 데이터를 수집할 수 있습니다. 이 방법은 사용자의 행동 패턴을 분석하거나, 개인화된 추천 시스템을 구축하는데 사용됩니다.
5. 실험 및 설문조사: 현장 실험이나 설문조사를 통해 데이터를 직접 수집하는 방법도 있습니다. 이 방법은 주로 특정질문에 대한 대답을 찾거나, 신제품의 피드백을 얻는 경우 등에 활용됩니다.
데이터 수집은 모델 훈련 이라는 다음단계로 진행하기 위해 데이터를 잘 정제 및 전 처리하는 단계를 필요로 합니다. 이 과정에서 불 필요한 데이터를 제거하고, 형태를 분석 모델에 맞게 변환합니다. 이러한 전체 데이터 수집 및 처리과정은 Vertex AI 가 여러가지 도구와 서비스를 제공하여 돕고 있습니다.