LLM(Language Model)인 GPT-3.5 등이 prompt tuning(프롬프트 튜닝)이 가능한 이유는 크게 두 가지 요인과 그에 따른 기술적인 설계와 훈련 방법에 기인합니다.
- Pretraining and Fine-Tuning Architecture: GPT-3.5와 같은 모델은 먼저 대규모 데이터를 사용하여 사전 훈련(pretraining)됩니다. 이 사전 훈련 단계에서 모델은 다양한 언어적 패턴과 지식을 습득하며 일반적인 언어 이해 능력을 학습합니다. 그런 다음, 이 사전 훈련된 모델을 특정 작업에 맞게 세부 조정하고 훈련하는 데에 fine-tuning이 사용됩니다. 이 때 프롬프트(prompt)는 fine-tuning 과정에서 중요한 역할을 합니다.
- Prompt Engineering: 프롬프트는 모델에 입력되는 텍스트로서, 사용자가 모델에게 어떤 작업을 수행하도록 지시하는 역할을 합니다. 프롬프트는 모델이 원하는 방식으로 작업을 수행할 수 있도록 설계되며, 이러한 설계는 튜닝을 통해 조정될 수 있습니다. 이 프롬프트 설계 및 조정 과정을 통해 사용자는 모델의 출력을 좀 더 원하는 방향으로 조작하고 튜닝할 수 있게 됩니다.
기술적인 측면에서, prompt tuning은 다음과 같은 방식으로 가능해집니다:
- Prompt Format: 프롬프트를 어떤 형식으로 구성하느냐에 따라 모델의 행동이 달라질 수 있습니다. 예를 들어, "번역해줘"라는 프롬프트에 따라 모델은 입력된 텍스트를 번역하는 방식으로 동작할 것입니다.
- Control Codes: 특정 토큰이나 제어 코드(control code)를 프롬프트에 추가하여 모델 동작을 조작할 수 있습니다. 이를 통해 특정 기능이나 스타일을 적용할 수 있습니다.
- Few-shot Learning: 프롬프트를 통해 모델에 작은 양의 데이터나 예시를 제공하여 특정 작업에 대한 지식을 주입할 수 있습니다. 이를 통해 모델이 비교적 적은 데이터로도 원하는 작업을 수행할 수 있습니다.
- Iterative Refinement: 프롬프트를 반복적으로 조정하면서 원하는 출력을 얻을 때까지 fine-tuning을 수행할 수 있습니다. 이를 통해 모델의 동작을 점진적으로 조정하고 향상시킬 수 있습니다.
이와 같은 기술과 접근법을 통해 사용자는 GPT-3.5와 같은 LLM을 prompt tuning을 통해 다양한 작업에 맞게 조정하고 활용할 수 있습니다.
CEDAR