
텍스트 분할 (Text Spliter)

·
ML_DL/MUJAKJUNG (무작정 시리즈)
한문장 정리텍스트 데이터를 어떻게 분할해야 활용에 용이한지 확인한다. 라이브러리 설치LangChain의 text_spliter 활용pdf 파일은 PyMuPDF 활용spacy에서는 'ko_core_news_sm' 모델 활용pip install pymupdf langchain langchain_community spacyspacy download ko_core_news_sm문장 분할from langchain.document_loaders import PyMuPDFLoaderfrom langchain.text_splitter import CharacterTextSplitter, RecursiveCharacterTextSplitter, SpacyTextSplitter# PDF 텍스트 추출loader = PyMu..