와구와구

한국어를 어느 정도 잘 생성할 수 있는 Llama3 모델을 로드하기 위해 HuggingFace 모델을 사용하기로 했다. 참고한 사이트는 다음과 같다.https://littlefoxdiary.tistory.com/128 Llama3 한국어 성능 테스트 | Colab에서 Meta-Llama-3 모델 사용해보기🦙GPT-4에 비견할만한 성능을 가진다는 Meta의 오픈소스 LLM Llama3를 사용해보자! Llama 3 모델 Llama 3 모델 특징8B & 70B 파라미터 규모의 모델으로, MMLU, HumanEval 등 벤치마크 태스크에서 경쟁모델보다littlefoxdiary.tistory.comhttps://huggingface.co/learn/cookbook/ko/advanced_ko_rag 한국어 Ad..

저번에 ChatGPT를 사용해서 LangChain RAG를 구현했기 때문에, 이번엔 Llama3 모델을 사용해서 구현해본다.저번 실습에서 크롤링한 뉴스 데이터를 사용할 예정이다.역시, 구글 코랩을 사용한다. Llama3 구글 코랩에 설치!pip install colab-xterm #https://pypi.org/project/colab-xterm/%load_ext colabxterm!pip install colab-xterm -qqq!pip install langchain -qqq!pip install langchain_community -qqqcolab-xterm은 코랩에서 터미널 명령어를 수행 가능하도록 한다.패키지를 설치해준다. # 코랩에서 터미널 윈도우 열기%xterm해당 명령어로 터미널 윈도우를..

저번에 인용 도큐먼트에 날짜만 나와 url과 날짜를 같이 인용하도록 바꿔보았다. from langchain_openai import OpenAIEmbeddingsfrom langchain_community.document_loaders import JSONLoaderfrom langchain_chroma import Chroma# embedding 설정embeddings = OpenAIEmbeddings(model="text-embedding-3-large")# ChromaDB PathDB_PATH = "./drive/MyDrive/실습/RAG/db"# Json 파일 Pathdata_path = './drive/MyDrive/실습/RAG/data/'json_paths = [data_path + json_..

네이버 뉴스 기사를 크롤링하고, LangChain을 활용한 RAG 구현 실습구글 Colab 사용1. 데이터 크롤링참고 : https://wingyu-story.tistory.com/4 Python 파이썬 오픈api 로 네이버 뉴스 크롤링 (1)참고 문헌 : IT CookBook, 데이터 과학 기반의 파이썬 빅데이터 분석(이지영), 네이버api 문서 소스코드는 참고 문헌을 통해 가져왔습니다. Python 파이썬으로 api 로 네이버 기사 크롤링 Crawling하는 법wingyu-story.tistory.com1. 크롬 드라이브 연결from google.colab import drivedrive.mount('/content/drive') 2. 라이브러리import osimport sysimport urlli..