[LangChain] 시작하기
·
ML_DL/MUJAKJUNG (무작정 시리즈)
LangChain 이란?LLM을 활용한 어플리케이션 개발을 위한 오픈소스 프레임워크DB, File System 지원LangChain 설치가상환경 설정conda create -n langchain python=3.11langchain 설치pip install -U langchainopenai 설치pip install langchain-openai입출력 확인from dotenv import load_dotenvfrom langchain_openai import ChatOpenAIload_dotenv()llm = ChatOpenAI()question = "100을 10으로 나눈 몫과 나머지를 알려줘."result = llm.invoke(question)print(result.content)# 나눈 몫은 10이..
[LeetCode] 605. Can Place Flowers
·
코딩테스트/Python
🔗 Problem Linkhttps://leetcode.com/problems/can-place-flowers/description❔Thinking0과 1로만 이루어진 flowerbed 배열이 주어질 때 주어진 꽃을 모두 심을 수 있다면 True, 아니라면 False를 반환한다.0인 곳에 꽃을 하나 심을 수 있고, 1이 인접하지 않아야 한다. (ex - [1,1], [0,1,1] 불가능)💻Solution1. 초기 풀이def canPlaceFlowers(self, flowerbed: List[int], n: int) -> bool: flowers = 0 if flowerbed == [0] or (flowerbed == [1] and n == 0): return True elif flow..
[Elasticsearch] 동의어 처리하기
·
데이터엔지니어링
Elasticsearch에 데이터를 넣고, search로 검색을 하면 내가 쓰건 검색엔진과 똑같겠지? 라고 생각하면 오산이다.기본적인 setting으로는 'ai'는 'ai'만 검색할 수 있고, 'llm'이나 'gpt'같은 유사하게 사용되는 단어는 검색할 수 없다.혹시나 'ai는'이 포함된 글을 검색하는 것도 불가능하다. 그렇다면 Elasticsearch에서 이러한 동의어는 어떻게 처리할까?기본 설정에서의 'ai' 검색index 설정 및 document 삽입# synonyms_test index 생성PUT /synonyms_test# _bulk API를 통해 동시에 여러개의 document 삽입POST /synonyms_test/_bulk{ "index": { "_id": 1 } }{ "descriptio..
Elasticsearch, Airflow 활용하기 - 3. Airflow 환경설정
·
ML_DL/MUJAKJUNG (무작정 시리즈)
Airflow 설치windows 환경에서는 Airflow 사용이 쉽지 않기 때문에, Docker를 활용 Airflow 실행Docker 설치 : https://www.docker.com/products/docker-desktop/yml 파일 링크 : https://airflow.apache.org/docs/apache-airflow/2.10.5/docker-compose.yaml초기 ID와 Password는 airflow이며, 내부에서 비밀번호 변경이 가능하다.cd /airflow/docker-compose upDAG 파일 생성FastAPI의 서버와 Docker로 실행한 Airflow는 localhost라도 기본적으로 통신할 수 없기 때문에,  host.docker.internal:8000으로 해야 api..
Elasticsearch, Airflow 활용하기 - 2. Elasticsearch 설정
·
ML_DL/MUJAKJUNG (무작정 시리즈)
Elasticsearch 실행elasticsearch.bat 로 elasticsearch 실행보안 설정 해제로컬 환경의 보다 편리한 테스트를 위해 아이디/비밀번호 가 필요한 보안 설정 해제/elasticsearch/config 폴더의 elasticsearch.yml 파일의 xpack.security.enabled를 false로 변경Elasticsearch 객체 생성 및 index 생성indices : index의 복수형으로 물리적인 저장 공간을 의미title, url, published, timestamp를 field로 하는 index 생성from elasticsearch import Elasticsearches = Elasticsearch("http://localhost:9200")INDEX_NAME ..
Elasticsearch, Airflow 활용하기 - 1. 환경설정
·
ML_DL/MUJAKJUNG (무작정 시리즈)
1. 가상환경 생성 및 라이브러리 설치 (conda activate 제발 먼저 하자) Elasticsearch 로컬 다운로드 Download ElasticsearchDownload Elasticsearch or the complete Elastic Stack (formerly ELK stack) for free and start searching and analyzing in minutes with Elastic....www.elastic.co conda create -n ainews python>=3.12conda activate ainews# fastapi 관련pip install fastapi pydantic uvicorn# elastic 관련pip install elasticsearch# airf..