Twowinn

작성 목적알파 프로젝트에서 국민대학교 소프트웨어융합대학 신입생을 위한 RAG 기반 챗봇의 답변 성능을 고도화하기 위해, LLM의 파인튜닝(Fine-tuning) 전략을 고민하게 되었다. 하지만 수십억 개의 파라미터를 가진 거대 모델을 우리만의 데이터로 전체 학습시키는 것은 하드웨어 리소스와 비용 면에서 엄청난 진입장벽이었다. 이에 대한 해답으로, 모델 가중치는 그대로 둔 채 아주 적은 파라미터만으로 효율적인 학습을 가능케 하는 LoRA의 핵심 원리와 Low-Rank의 철학을 우리 프로젝트에 녹여내기 위해 이 논문을 정리해 보았다.Abstract원문 핵심 문장“ We propose Low-Rank Adaptation, or LoRA, which freezes the pre-trained model weig..

작성 목적알파 프로젝트에서 국민대학교 소프트웨어융합대학 신입생을 위한 RAG 기반 챗봇을 개발하며, 생성형 AI의 답변 품질을 결정짓는 가장 큰 변수가 바로 '정확한 문서를 찾아오는 검색(Retrieval) 능력'임을 체감했다. 딥러닝 기초 수업에서 배운 Transformer와 Attention Mechanism이 실제 검색 엔진에서 어떻게 dense representation으로 구현되는지 파헤쳐 보고, 기존 BM25의 한계를 극복한 DPR의 핵심 아키텍처와 In-batch Negatives 전략을 우리 프로젝트의 검색 모듈에 녹여내기 위해 이 논문을 정리해 보았다.Abstract원문 핵심 문장“ In this work, we show that retrieval can be practically imp..

작성 목적딥러닝기초 수업에서 'Attention Mechanism'에 대해 배우면서 근간이 되. 핵심 아키텍처인 'Transformer'가 처음 제시된 아주 유명한 논문이고 Q, K, V의 기본 개념을 정립하기 위해 정리해 보았다.Abstract원문 핵심 문장 “ We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. ”Part 01. Introduction [기존 RNN의 치명적인 한계 : 순차적 연산의 늪]언어 모델이나 기계 번역 같은 Sequence 모델링 분야에서는 오랫동안 RN..

1주차: ROS2의 뼈대와 통신 (입문편)학습 내용: ROS2 Humble 설치, Turtlesim 제어, Topic/Service/Action CLI 명령어, Python Class(상속/Super).목표: "ROS1의 roscore가 없는데 어떻게 통신이 되지?"라는 의문을 DDS 개념으로 해결하기.블로깅 제안: ROS1 vs ROS2 통신 구조 차이점 정리.2주차: 내 패키지와 메시지 만들기 (응용편 1~2장)학습 내용: colcon build, 패키지 생성, 커스텀 Msg/Srv 정의, 한 노드에서 다중 토픽 처리.목표: CMake 기반이 아닌 Python Setup 중심의 빌드 방식에 익숙해지기.블로깅 제안: package.xml과 setup.py의 역할 정리.3주차: 관리와 최적화 (응용편 3..

작성 목적YOLOv1 원논문을 핵심 문장과 수식 위주로 정리하고, 실무(자율주행)에서 쓰는 최신 YOLO 계열과 연결한다. Abstract원문 핵심 문장 “We present YOLO, a new approach to object detection… a single neural network predicts bounding boxes and class probabilities directly from full images in one evaluation…” 1. 새로운 접근법 YOLO는 객체 탐지(object detection)를 완전히 새롭게 정의했다.기존 탐지 방식(R-CNN 등)은 분류기(classifier)를 재활용하여 객체를 탐지하는 구조였다.YOLO는 이 대신, 탐지를 회귀(regressi..

KOSS X FOSCAR 연합 인공지능 스터디로 진행됨에 따라 매주 블로깅을 통해 학습 내용을 정리할 예정입니다.이를 통해 기본적인 머신러닝-딥러닝을 이해하며 관련된 논문을 학습함에 목적이 있습니다.1. 인공신경망의 기본 구조Perceptron퍼셉트론은 크게 보면 inputs - weights - transfer function - activation function으로 이루어진다.input은 n차원으로 이루어진 입력값이고 weight의 개수 또한 n이다. 각 변수마다 연결되어 표현한 것이 transfer function이다.예를 들어 2개의 입력변수 X1,X2가 존재한다고 할 때, transfer function은 아래의 형태와 같다.여기서 w0 는 그냥 또 하나의 weight가 아니라, 보통 bias..