diff --git a/llama_cpp/llama_types.py b/llama_cpp/llama_types.py index e8f4ce1..7729ced 100644 --- a/llama_cpp/llama_types.py +++ b/llama_cpp/llama_types.py @@ -22,9 +22,9 @@ class Embedding(TypedDict): class CompletionLogprobs(TypedDict): text_offset: List[int] - token_logprobs: List[float] + token_logprobs: List[Optional[float]] tokens: List[str] - top_logprobs: List[Dict[str, float]] + top_logprobs: List[Optional[Dict[str, float]]] class CompletionChoice(TypedDict):