토큰1 랭체인(LangChain) Callback을 활용한 실시간 토큰 사용량 확인하기 랭체인(Langchain) Callback을 활용한 실시간 토큰 사용량 확인하기 목차 Introduction 랭체인 Callback 기능을 활용해서 토큰 사용량 확인하기 마치며 Introduction 안녕하세요. 지난 포스팅에 이어 이번 포스팅에서도 랭체인 관련 내용을 다루고자 합니다. 언어모델을 활용한 애플리케이션을 개발하다 보면 '토큰(Token)'이라는 용어를 자주 접하게 됩니다. 토큰은 주어진 텍스트를 처리할 수 있는 작은 단위로, 주로 단어, 문자, 혹은 부분 문자열(substring)을 의미합니다. 언어 모델에서 토큰은 텍스트를 처리하는 기본 단위가 되는데요. GPT와 같은 언어 모델은 주어진 텍스트를 토큰 단위로 나눈 뒤, 각 토큰을 임베딩 벡터(embedding vector)로 변환하여 모.. 2023. 10. 25. 이전 1 다음
