전체 글28 랭체인(LangChain), Streamlit을 활용한 실시간 텍스트 나누기 랭체인(LangChain), Streamlit을 활용한 실시간 텍스트 나누기 목차 Streamlit을 통해 실시간 입력 화면 구성하기 LangChain Text Splitters를 통한 텍스트 나누기 마치며 안녕하세요, 이번 포스팅에서는 랭체인에서 제공하는 텍스트 스플리터(Text Splitters) 기능에 대해 소개해드리고자 합니다. 언어 모델을 활용한 애플리케이션을 개발할 때, 다양한 형태의 텍스트를 언어 모델의 입력으로 전달하게 됩니다. 사용자가 전달하는 텍스트는 애플리케이션에 따라 다양한 형태의 포맷이 존재하고 텍스트의 크기 또한 천차만별입니다. 따라서, 효과적으로 언어 모델을 활용하기 위해 입력 텍스트를 적합하게 변환하는 작업이 필요합니다. 랭체인에서는 입력되는 텍스트를 청크로 분할하는 작업이나.. 2023. 10. 26. 랭체인(LangChain) Callback을 활용한 실시간 토큰 사용량 확인하기 랭체인(Langchain) Callback을 활용한 실시간 토큰 사용량 확인하기 목차 Introduction 랭체인 Callback 기능을 활용해서 토큰 사용량 확인하기 마치며 Introduction 안녕하세요. 지난 포스팅에 이어 이번 포스팅에서도 랭체인 관련 내용을 다루고자 합니다. 언어모델을 활용한 애플리케이션을 개발하다 보면 '토큰(Token)'이라는 용어를 자주 접하게 됩니다. 토큰은 주어진 텍스트를 처리할 수 있는 작은 단위로, 주로 단어, 문자, 혹은 부분 문자열(substring)을 의미합니다. 언어 모델에서 토큰은 텍스트를 처리하는 기본 단위가 되는데요. GPT와 같은 언어 모델은 주어진 텍스트를 토큰 단위로 나눈 뒤, 각 토큰을 임베딩 벡터(embedding vector)로 변환하여 모.. 2023. 10. 25. 랭체인(Langchain), Streamlit을 활용해서 웹 기반 챗봇 만들기 랭체인(Langchain), Streamlit을 활용해서 웹 기반 챗봇 만들기 목차 Streamlit 간단 예제 랭체인, Streamlit을 활용한 웹 애플리케이션 만들기 마치며 안녕하세요. 오늘도 랭체인과 관련한 내용을 소개드리려 찾아왔습니다. 지난 랭체인 관련 포스팅에서 랭체인과 랭체인을 구성하는 주요 모듈에 대해 소개드리고, 간단한 예제를 통해 랭체인의 모듈이 어떻게 동작하는지 확인했습니다. 관련 포스팅을 참고하고자 할 경우, 다음의 LangChain - 초보자를 위한 완벽 가이드를 확인해 주시기 바랍니다. 오늘 포스팅에서 다룰 내용은 랭체인에서 기본적으로 제공하는 기능 외에 외부 패키지를 활용해서 랭체인의 기능을 보다 확장하는 법에 대한 내용입니다. 앞으로 여러 인공지능 모델을 적용해 보고, 외부.. 2023. 10. 19. 임베드체인(Embedchain) - Easy 하게 LLM 플랫폼 개발하기 임베드체인(Embedchain) - Easy 하게 LLM 플랫폼 개발하기 목차 Embedchain 소개 Embedchain을 활용한 간단한 챗봇 만들기 마치며 안녕하세요, 근래에 LLM(Large Language Model)과 관련한 기술, 플랫폼, 비즈니스가 많은 사람들의 이목을 끌고 있습니다. 저 또한 LLM과 관련한 기술을 학습하고자 관련 포스팅을 자주 소개드리고 있는데요. 이전 포스팅에서는 LLM 기반 어플리케이션 개발 시, 개발 속도를 압도적으로 끌어올려줄 수 있는 개발 프레임워크 랭체인(LangChain)에 대해 소개해드렸습니다. 랭체인과 관련한 내용이 궁금하신 분들께서는 LangChain - 초보자를 위한 완벽 가이드를 참고해 주시기 바랍니다. Embedchain 소개 오늘은 지난 랭체인 소.. 2023. 10. 17. 이전 1 ··· 3 4 5 6 7 다음
