전체 글 50

LogLLM: Log-based Anomaly Detection Using Large Language Models

https://arxiv.org/pdf/2411.08561 요약로그 기반 이상 탐지는 로그 데이터를 통해 시스템 문제를 식별하는 것을 목표로 하는 연구 분야로, 소프트웨어 시스템의 신뢰성을 향상시킴기존의 딥러닝 방식은 자연어로 된 로그 데이터에서 내포된 의미 정보를 포착하지 못함본 논문에서, LLM을 활용한 로그 기반 이상 탐지 프레임워크인 LogLLM을 제안 LogLLM은 로그 메세지로부터 semantic vector를 추출하기 위해 BERT 사용로그 시퀀스를 분류?하기 위해 Transformer Decoder 기반 모델인 Llama를 활용BERT와 Llama의 Vector representation space를 정렬하여 로그의 의미를 일관적으로 이해하도록 Projector를 도입 기존 방식 : 로그 ..

NLP/논문 2025.06.30

LangChain RAG 실습 2(네이버 뉴스 기사 크롤링)

저번에 인용 도큐먼트에 날짜만 나와 url과 날짜를 같이 인용하도록 바꿔보았다. from langchain_openai import OpenAIEmbeddingsfrom langchain_community.document_loaders import JSONLoaderfrom langchain_chroma import Chroma# embedding 설정embeddings = OpenAIEmbeddings(model="text-embedding-3-large")# ChromaDB PathDB_PATH = "./drive/MyDrive/실습/RAG/db"# Json 파일 Pathdata_path = './drive/MyDrive/실습/RAG/data/'json_paths = [data_path + json_..

NLP/실습 2025.06.09

LangChain RAG 실습(네이버 뉴스 기사 크롤링)

네이버 뉴스 기사를 크롤링하고, LangChain을 활용한 RAG 구현 실습구글 Colab 사용1. 데이터 크롤링참고 : https://wingyu-story.tistory.com/4 Python 파이썬 오픈api 로 네이버 뉴스 크롤링 (1)참고 문헌 : IT CookBook, 데이터 과학 기반의 파이썬 빅데이터 분석(이지영), 네이버api 문서 소스코드는 참고 문헌을 통해 가져왔습니다. Python 파이썬으로 api 로 네이버 기사 크롤링 Crawling하는 법wingyu-story.tistory.com1. 크롬 드라이브 연결from google.colab import drivedrive.mount('/content/drive') 2. 라이브러리import osimport sysimport urlli..

NLP/실습 2025.06.04

Efficient Continual Pre-training for Building Domain Specific Large Language Models(일단 해석만)

https://aclanthology.org/2024.findings-acl.606/ACL 2024 Findings AbstractLLM은 open-domain에서 놀라운 능력을 보여주었으며, 특정 도메인을 위한 LLM은 domain-specific 태스크를 다루기 위해 on domain corpus로 학습한다. 본 논문에서는 기존의 open-domain LLM에서 domain-specific LLM이 되기 위한 continual pre-training 전략에 대해 알아본다.경제 도메인에서 domain-adaptive continual pre-training으로 만든 FinPythia-6.9B에 대해 소개한다.FinPythia는 경제 태스크에서 기존 모델보다 일관적으로 향상된 성능을 보여준다. 또한, 간..

NLP/논문 2025.05.26

[PCCP 기출문제] 1번 / 동영상 재생기

https://school.programmers.co.kr/learn/courses/30/lessons/340213 프로그래머스SW개발자를 위한 평가, 교육, 채용까지 Total Solution을 제공하는 개발자 성장을 위한 베이스캠프programmers.co.krdef solution(video_len, pos, op_start, op_end, commands): v_min, v_sec = [int(i) for i in video_len.split(':')] pos_min, pos_sec = [int(i) for i in pos.split(':')] ope_min, ope_sec = [int(i) for i in op_end.split(':')] for command in comm..

[LV. 1] 유연근무제

https://school.programmers.co.kr/learn/courses/30/lessons/388351 프로그래머스SW개발자를 위한 평가, 교육, 채용까지 Total Solution을 제공하는 개발자 성장을 위한 베이스캠프programmers.co.krdef solution(schedules, timelogs, startday): # 출근 희망 시각 : schedules : shape : (n) # 출근한 시각 : timelogs : (n, 7) # 이벤트 시작 요일 startday 1 : 월 ~ 7 : 일, 6, 7 : 주말 # 주말은 이벤트 영향 X answer = 0 for person in range(len(schedules)) : sch..

[LV. 1] 택배 상자 꺼내기

https://school.programmers.co.kr/learn/courses/30/lessons/389478 프로그래머스SW개발자를 위한 평가, 교육, 채용까지 Total Solution을 제공하는 개발자 성장을 위한 베이스캠프programmers.co.krdef solution(n, w, num): answer = 0 now_num = num while now_num 아이디어상자를 꺼내야 하는 'num'부터 윗 상자로 올라가며 세보는 방식.예를 들어, '3'을 꺼내야 하면 그 위인 '10', '15', '22'를 계산하며 올라가기열의 수를 나타내는 w꺼내야 하는 박스 num num의 바로 윗행 박스 숫자와의 관계는 num을 w로 나눈 나머지 값의 두 배에 + 1을 한 값이다.nu..

[Linux/CentOS] SSHFS 마운트

가정 A 서버에 있는 데이터를 B 서버에서 참조하기 Install 데이터를 마운트할 A 서버에 설치 필요 $ sudo apt install sshfs$ yum install epel-release -y $ yum install fuse sshfs -yMount할 폴더 생성 B 서버에 마운트 할 폴더 생성 SSHFS로 Mount $ sshfs [B 서버 username]@[B 서버 IP]:/[마운트할_B서버_PATH] [A서버_DATA_FOLDER_PATH] Reference [Linux] sshfs로 다른 시스템 마운트(mount)하기 centos sshfs 사용법

리눅스 2020.11.02