Prompt Engineering Guide: LLM Arguments

Prompt Engineering Guide: LLM Arguments

Temperature

• temperature 높은 경우 (1에 가까운)
  • 다양성과 창의성을 기대
  • 낮은 확률의 토큰도 선택
  • 시 짓기 등 창의적인 작업 등에서 사용
• temperature 낮은 경우 (0에 가까운)
  • 결정론적 결과를 기대
  • 가장 확률이 높은 토큰 선택
  • 사실적이고 정확한 결과를 필요한 경우에 사용

Top P

핵 샘플링으로 불리우는 `temperature` 샘플링 기법으로 모델의 랜덤성을 조절하는 파라미터입니다.
(A sampling technique with temperature, called nucleus sampling, where you can control how deterministic the model is)
정확하고 사실적인 답변을 원한다면 낮은 값을 사용하고 다양성을 가진 답변을 원한다면 높은 값을 사용해야 합니다.

Temperature 와 Top P 두개 모두 수정하는 방향은 권장되지 않습니다.

Max Length

모델이 생성하는 답변의 토큰의 수를 조절하는 파라미터 입니다.
길거나 관련 없는 답변을 줄여서 비용 절감에 도움을 줍니다.

Stop Sequences

모델의 토큰 생성을 중지하는 문자열 입니다.
예를 들어, "11"을 `stop sequences`로 설정한다면,  항목이 10개를 초과하지 않는 리스트를 생성하도록 모델에 지시합니다.