0. 환경 및 변경사항GPU : A6000 (VRAM 48GB)데이터 프롬프트 코드 변경def format_dataset(example): prompt = f"[INST] {example['instructions']}\n\n {example['inputs']} [/INST] {example['outputs']}" return {'text': prompt}epoch 5, per_device_train_batch_size 21. Out Of Memory"Shut Down Kernel" 로 GPU 메모리 Reset 후 해결 (라이브러리 및 모델 보존)per_device_train_batch_size를 4에서 2로 변경runpod 서버 활용 시, A6000으로 실험 (VRAM = 48GB)2. can..

0. 사전 준비Huggingface API Key 발급 Hugging Face – The AI community building the future. huggingface.coLlama3 model 발급 Llama3Today, we’re excited to share the first two models of the next generation of Llama, Meta Llama 3, available for broad use. This release features pretrained and instruction-fine-tuned language models with 8B and 70B parameters that can support a broad ranhuggingface.coGPU 대여 (ru..