티스토리

콩스버그

검색하기

블로그 홈

콩스버그

kongsberg.tistory.com/m

kongsberg 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

Instruction Pre-Training:Language Models are Supervised Multitask Learners 논문 리뷰 논문 핵심기존 "줄글"만 학습시키던 Pre training 대신, "줄글" + "질문&답변"(instruction)을 학습함으로써, 성능 upgrade"줄글"로부터 "질문&답변"(instruction)을 생성하는 LLM(Instruction synthesizer) 학습(Mistral 7B)한 후, inference해서 pre training data 생성Domain Specific에서도 좋은 성능을 보여줌 모델 process1. instruct synthesizer🚩 instruct synthesizer 학습- {본문 + QA}형식 instruction task dataset를 사용하여 raw text(줄글)로부터 instruction(질문+답변)을 생성하는 것을 학습 Mistral-7B로 학습Loss.. 공감수 2 댓글수 0 2024. 9. 12.
[Transformer 쉽게 이해하기] - self-attention, multi-haed attention, cross-attention, causal attention 설명과 코드 설명 GPT4와 Llama같은 large language models (LLMs)는 모두 transformer 구조를 차용하고 그 안에서 self-attention을 사용합니다. self-attention과 LLMs의 핵심 구성요소를 보도록 하겠습니다. 설명도 있지만, 코드도 함께 설명하도록 하겠습니다. LLM을 만드는 과정 이 글을 읽기에 앞서, 기본적으로 LLM, attention mechanism에 대해 대충이라도 어느정도는 이해하시는 수준이면 좋을것 같습니다. Self-Attention 소개 self-attention은 transformers(Attention is all you need)로부터 나온 개념인데, 요즘엔 어디에서나 쓰이고, 특히 NLP에서는 SoTA로써 여전히 사용되고 있는 모듈입니다. .. 공감수 1 댓글수 0 2024. 1. 19.
Polyglot-Ko (한국어 LLM) 논문 리뷰 배경: ‘EleutherAI’라는 연구소에서 GPT-NeoX-20B라는 모델을 먼저 만들고, non-english open LLM을 만드려고 하는데, 때, Korean을 먼저 만들어보기로 함. ‘Tunib’ 한국어 데이터를 제공하고 GPT-NeoX기반으로 Polyglot-Ko가 만들어짐. 한국어를 선택하게 된 이유는 창립멤버가 한국인들이 많고, 한국어 데이터 평가셋이 용이했기 때문 모델 크기 종류: 1.3B, 3.8B, 5.8B, 12.8B Datasets Preprocessing Empty text: text가 없는 Instance들 제거 Unnecessary spaces: 불필요한 긴 스페이스 제거 De-identification: 개인 식별 정보 제거 Uncleaned HTML tags: HTML .. 공감수 0 댓글수 1 2024. 1. 9.
EcomGPT: Ecommerce LLM Instruct tuning paper 리뷰 EcomGPT (arxiv, alibaba, 2023.08) Abstract 2.5M 짜리 EcomInstruct에 LLM(BLOOMZ)을 학습시킴 Ecommerce의 기본 데이터 타입인 상품 정보, 사용자 리뷰등을 이용해서 “atomic task”를 만들어서 data size, diversity를 키움 Atomic Task: Final task 해결에 의미적 연관성이 있는 task Atomic Task ~ Final task의 연관성을 Chain-of-Task라고 함 이를 통해 EcomGPT는 훌륭한 zero-shot generalization capability를 가짐 atomic task로 부터 배운 근본적인 이해 능력이 다른 unseen task를 해결하는데 도움을 줌 Instroduction E.. 공감수 0 댓글수 1 2023. 10. 11.
UniversalNER UniversalNER 2023.08 UniversalNER: Targeted Distillation from Large Language Models for Open Named Entity Recognition entity(엔터티)란? : "Entity"는 텍스트에서 특정한 타입의 단어를 의미함. ex) 텍스트에서 사람 이름, 장소, 조직, 날짜 등 이 논문의 목적: 한가지 task(NER)에 집중적으로 instruction tuning을 시켜서 teacher LLM(GPT3.5)보다 성능이 좋거나 비슷한 sLLM을 만들어보자 —> targeted distillation with mission-focused instruction tuning instruction tuning을 학습시킨 후, 그 sLLM을.. 공감수 0 댓글수 0 2023. 8. 29.
mac m1, m2에서 갑자기 tmux down되는 현상 해결 ssh를 연결할때 TERM 환경변수를 받는 과정에서 생기는 오류입니다. 로컬 터미널에서 ~/ .ssh/config 창을 엽니다. Host * SetEnv TERM=screen-256color 추가해줍니다. 공감수 0 댓글수 0 2023. 8. 3.
llama2 간단 요약 Framework: 일반적인 LLM 학습법임 Pretraining Ugrade 된 점 data cleaning 1.4T → 2T tokens 사용 grouped-query attention (GQA) 사용 (병목현상 줄임) Context length 2048 → 4096 변화 표 Pretraining 학습 그래프: 2T token을 한 번씩 다 학습했는데 아직 수렴이 안되는것을 확인할 수 있다. Finetuning Instruction tuning은 양 > 질임 실험결과: 아주 신경써서 만든 Instruction dataset에 training을 할 경우 수 만개의 sample 가지고도 high-quality의 결과가 나왔음. (27,540개의 annotations를 하였음) details epoch수:.. 공감수 0 댓글수 0 2023. 8. 1.
LLama1 review - LLmam란: OpenAI의 GPT-3, Chinchilla, PaLM과 같은 “Foundation Model” 또는 “LLM” - 다른 점: 다른 LLM들과는 달리 publicly available한 dataset으로 학습되었고, publicly model using이 가능함 - 강점: Parameter 13Billion짜리 모델이 175B 짜리 GPT-3보다 성능이 좋음 - 한정된 예산에서의 Best performance는 “large model”이 아닌 “small model의 더 많은 data학습” 이라고 주장함 - Llama-7B는 1T tokens에 학습 - GPT-3-175B는 0.4T tokens에 학습 - llama중 작은 모델(6B, 13B)은 Single Gpu(A100)에서 돌아.. 공감수 0 댓글수 0 2023. 7. 31.
부자아빠 가난한아빠 로버트 기요사키가 쓴 책으로 "부자아빠, 가난한아빠"는 자산 관리와 재정 계획에 관한 책입니다. 이 책은 재정 계획과 자산 관리에 관한 일반적인 지식과 개인의 재정 상황에 맞는 적절한 재정 계획 방법에 대해 설명합니다. 이 책은 재정을 관리하는 방법에 대한 기본적인 지식을 제공하기 위해 쓰여졌습니다. "부자아빠, 가난한아빠" 책은 재정 계획과 자산 관리를 위해 필요한 일반적인 지식과 기본적인 원리를 설명합니다. 이 책은 재정 상황에 맞는 적절한 재정 계획 방법을 제공하고, 자산 관리에 관한 일반적인 지식과 기본 원리를 설명합니다. 또한 이 책은 재정을 관리하는 방법에 관한 기본적인 지식을 제공하기 위해 쓰여졌습니다. 공감수 0 댓글수 0 2023. 1. 7.
GPU란? AI와 가상화폐 GPU란? GPU는 컴퓨터에서 사용할 수 있는 전용 그래픽 카드를 의미합니다. 컴퓨터의 CPU는 여러 가지 작업을 수행할 수 있지만, GPU는 주로 3D 그래픽과 비디오 처리를 위해 사용됩니다. GPU는 CPU에 비해 이러한 작업을 수행하는 것에 적합한 구조로 되어 있기 때문에, 3D 그래픽과 비디오 처리에서 CPU보다 훨씬 높은 성능을 발휘할 수 있습니다. GPU와 AI 관계 AI(Artificial Intelligence) 연구에서 GPU(Graphics Processing Unit)는 일반적으로 기계 학습 알고리즘의 성능을 극대화하기 위해 사용됩니다. 기계 학습 알고리즘은 많은 수의 수치 연산을 수행해야 하며, 이러한 연산을 수행할 때 GPU가 CPU에 비해 훨씬 높은 처리 속도를 제공합니다. 따라.. 공감수 0 댓글수 1 2023. 1. 7.
db에서 pk_col 이란? "pk_col"은 가능한 기본 키 컬럼(primary key column)을 의미합니다. 기본 키는 테이블에서 각 행을 유일하게 식별하는 컬럼 또는 컬럼의 집합입니다. 기본 키는 주로 외래 키와 같이 외부 테이블과 연결하기 위해 사용됩니다. 기본 키는 NULL 값을 허용하지 않고, 각 행에 유일한 값을 가져야 합니다. 공감수 0 댓글수 0 2023. 1. 5.
pytorch에서 num_workers의 역할과 적절한 수 num_workers는 PyTorch의 DataLoader에서 사용되는 인자로, 이를 지정하면 데이터를 읽고 처리할 때 컬렉션을 병렬적으로 처리할 수 있도록 지원해줍니다. 일반적으로 num_workers는 컴퓨터의 코어 수와 비슷하게 설정하는 것이 좋습니다. 그러나 적절한 값은 실제 사용 상황에 따라 달라질 수 있습니다. 일반적으로는 작은 값을 설정할수록 좋은 성능을 낼 수 있지만, 작은 값을 설정하면 컴퓨터의 자원을 적게 사용하기 때문에 더 많은 작업을 처리할 수 있습니다. 반대로, 큰 값을 설정할수록 성능은 떨어지지만 컴퓨터의 자원을 더 많이 사용할 수 있어 더 많은 작업을 처리할 수 있습니다. 공감수 0 댓글수 0 2023. 1. 5.
anaconda3 / miniconda3 가상환경 설정 Conda는 파이썬 기반의 개발 환경을 구축할 수 있는 오픈 소스 관리 프로그램입니다. Conda를 이용하면 가상환경을 생성하여 각 가상환경마다 다른 버전의 패키지를 설치하거나 관리할 수 있습니다. Conda 가상환경 설정 메뉴얼은 아래와 같습니다. 1. 가상환경 생성하기 Conda를 이용해 가상환경을 생성하기 위해서는 아래 명령어를 입력합니다. conda create --name [python=] : 생성할 가상환경의 이름을 지정합니다. python=: 생성할 가상환경에 설치할 파이썬 버전을 지정합니다. 지정하지 않으면 기본적으로 시스템에 설치된 파이썬 버전이 설치됩니다. 2. 가상환경 전환하기 가상환경을 생성했다면, 가상환경을 전환하기 위해서는 아래 명령어를 입력합니다. conda activate :.. 공감수 0 댓글수 1 2023. 1. 1.
VTI ETF란 (Vanguard Total World Stock Index Fund) 인덱스 펀드 창시자 존 보글이 창립한 뱅가드 그룹에서 2001년 거래소에 발행한 주식형 ETF입니다. 표본 추출 방법을 사용하여 FTSE Global All Cap Net TR US RIC의 성과를 추적합니다. 이를 위해 전 세계 주식을 시가 총액 비율에 따라 투자합니다. 하지만 미국의 비중이 압도적으로 높아서 미국 시장에 영향을 많이 받으며, 주요 보유 섹터에서도 미국 시장의 특징이 반영됩니다. 현재 약 9,461개의 자산으로 포트폴리오를 구성하고 있고, 포트폴리오의 약 15% 담당하고 있는 상위 보유 10 종목은 애플, 마이크로소프트, 아마존, 테슬라, 알파벳, 유나이티드헬스, 존슨 앤 존스, 버크셔 해서웨이, 엑손모바일입니다. 향후 정규 포트폴리오로 전환된다면, 해당 부분의 투자 비중은 보다 다양한.. 공감수 0 댓글수 0 2022. 12. 31.
SPTL이란 (Portfolio Long Term Treasury ETF) - 간단한 설명 세계 최대 규모인 SPY ETF를 운용하는 SPDR(STATE STREET GLOBAL ADVISORS)에서 2007년 거래소에 발행한 국고채형 ETF입니다. Bloomberg Barclays Long U.S. Treasury Index의 성과를 추적합니다. 이를 위해 최소 10년 이상의 미 재무부 발행 국채를 77가지를 편입하여 포트폴리오를 구축하고 있습니다. 압축형 혹은 소액용 포트폴리오 운용을 위해 장기 듀레이션을 가지고 달러 표시의 국채의 역할을 기대하면서 편입되었습니다. 향후 정규 포트폴리오로 전환된다면, 해당 부분의 투자 비중은 보다 다양한 채권형 자산에 맞추어서 재구성됩니다. 운용 보수는 0.06%, 운용 자산은 약 7조 원이며, 배당은 월마다 배분하고 있습니다. - 긴 설명.. 공감수 1 댓글수 0 2022. 12. 31.
채권이자 계산하는 법 채권 이자는 채권을 소유한 사람이 채권의 일정 기간 동안 상환하지 않고 있을 경우 채권의 일정 이자를 지급하는 금액입니다. 채권 이자를 계산하려면 아래의 정보가 필요합니다. - 채권 금액: 채권의 총 금액 - 이자율: 채권에 적용되는 이자율 - 상환기간: 채권 상환기간 채권 이자를 계산하기 위해서는 위의 정보를 이용해 아래의 공식을 적용합니다. 채권 이자 = 채권 금액 x 이자율 x 상환기간 예를 들어, 채권 금액이 1,000,000원, 이자율이 5%, 상환기간이 1년일 경우 채권 이자는 아래와 같이 계산할 수 있습니다. 채권 이자 = 1,000,000 x 5% x 1 = 50,000원 공감수 0 댓글수 0 2022. 12. 30.
html, css, js로 글자 크기 조절하기 글자 크기를 조절하는 일반적인 방법입니다. 1. 웹 페이지의 요소에 style 속성을 추가하고 font-size 속성을 적용합니다. 예를 들어, 웹 페이지 전체의 글자 크기를 16px로 설정하려면 아래와 같이 작성할 수 있습니다. ... 2. 웹 페이지의 요소를 사용해 전체 스타일을 지정합니다. 이를 위해서는 3. 웹 페이지의 글자 크기를 조절할 수 있는 자바스크립트 코드를 추가할 수도 있습니다. 예를 들어, 웹 페이지 전체의 글자 크기를 16px로 설정하려면 아래와 같이 작성할 수 있습니다. ... 4. 또는 외부 자바스크립트 파일을 추가할 수도 있습니다. 이를 위해서는 공감수 0 댓글수 0 2022. 12. 30.
사용자의 화면 크기에 따라 글자 크기 조절하기 (html, css, js) 먼저 글자 크기를 조절하는 일반적인 방법입니다. 1. 웹 페이지의 요소에 style 속성을 추가하고 font-size 속성을 적용합니다. 예를 들어, 웹 페이지 전체의 글자 크기를 16px로 설정하려면 아래와 같이 작성할 수 있습니다. ... 2. 웹 페이지의 요소를 사용해 전체 스타일을 지정합니다. 이를 위해서는 3. 웹 페이지의 글자 크기를 조절할 수 있는 자바스크립트 코드를 추가할 수도 있습니다. 예를 들어, 웹 페이지 전체의 글자 크기를 16px로 설정하려면 아래와 같이 작성할 수 있습니다. ... 4. 또는 외부 자바스크립트 파일을 추가할 수도 있습니다. 이를 위해서는 사용자의 화면 크기에 따라 글자 크기 조절하는 방법입니다. 1. 웹 페이지의 글자 크기를 조절할 수 있는 CSS 미디어 쿼리.. 공감수 2 댓글수 0 2022. 12. 30.
Pytorch vs Tensorflow 비교 PyTorch와 TensorFlow는 두 개의 오픈 소스 딥 러닝 프레임워크입니다. 이 두 개의 프레임워크는 사용자가 수학적 모델을 구현하고 학습할 수 있도록 지원합니다. 가장 큰 차이점 중 하나는 PyTorch가 인터페이스가 더 친숙하고 쉽게 사용할 수 있다는 것입니다. PyTorch는 인터페이스가 유연하고 쉽게 사용할 수 있기 때문에 새로운 사용자들에게 적합합니다.. 또한 PyTorch는 선전했던 연구들을 구현하기 위한 고급 기능들을 제공합니다. TensorFlow는 조금 더 진보한 기능을 제공합니다. TensorFlow는 자동 미분, 컴파일된 코드 실행, 장기 실행 상태 유지, 자동 그래프 생성과 같은 기능을 제공합니다. 또한 TensorFlow는 다양한 기기들과 플랫폼들과 연동할 수 있기 때문에 .. 공감수 0 댓글수 0 2022. 12. 30.
AWS gpu 서버 상품 종류 / 대여 비용 Q1. aws로 gpu가 있는 서버를 빌리려면 어떤 종류의 서버 상품을 선택해야 하나요? A1. AWS에서 GPU가 장착된 서버를 대여하려면 Amazon Elastic Compute Cloud (EC2)의 P2 인스턴스나 P3 인스턴스를 사용할 수 있습니다. P2 인스턴스는 NVIDIA K80 GPU가 장착된 서버를 제공하고, P3 인스턴스는 NVIDIA V100 GPU가 장착된 서버를 제공합니다. P2 인스턴스는 일반적으로 작은 서비스용 서버에 적합할 수 있습니다. 이 인스턴스의 최소 요금은 월 $0.9 per GPU hour 이며, 일반적으로 GPU $200~$300 정도가 될 수 있습니다. P3 인스턴스는 더 강력한 GPU를 제공하지만, 일반적으로 작은 서비스용 서버에는 적합하지 않을 수 있습니다... 공감수 0 댓글수 0 2022. 12. 29.
tmux 최신판 (tmux 3.3a) 설치 방법 yum install tmux 를 하게 되면 1.8버전이 다운됩니다. 밑에는 tmux 3.3a 설치 방법입니다. wget https://github.com/tmux/tmux/releases/download/3.3a/tmux-3.3a.tar.gz tar -zxf tmux-*.tar.gz cd tmux-*/ ./configure make && sudo make install 하면 설치완료입니다. 공감수 0 댓글수 0 2022. 11. 11.
WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! 해결법 ## 해결법 ssh-keygen -R {해당IP} 공감수 0 댓글수 0 2022. 11. 11.
Faiss.indexIVFFlat 설명 및 코드,실험 결과 IndexIVFFlatquantizer가 quantization index (cluster)를 생성한 후,각 query vector와 가까운 vector를 전부 search하는 게 아니라가까운 몇몇 quantization index (cluster) 내의 vectors들에 대해서만 search하여 Knn을 찾는 방법.TopK에 속하는 vector임에도 search하는 cluster에 없을 경우 데이터가 누락될 여지가 있음.cluster를 생성해야 하기 때문에 train 과정이 필요함 nprobe (index.nprobe)best cluster외에도 근방의 cluster 몇 개를 search할지를 설정, nprobe가 높을수록 exact 방법의 결과와 비슷해짐 voronoi cell diagram (빨간 .. 공감수 0 댓글수 1 2022. 11. 3.
Euclidean(L2 distance) to Cosine similarity Conversion 유클리디안을 코사인으로 전환하는 방법 scikit-learn의 라이브러리엔 k-means의 경우 euclidean(L2 distance)로 clustering 하는 방식은 있지만, cosine similarity를 기준으로 하는 경우는 없는데요, Face recognition과 같이 코사인 유사도를 사용하는 embedding들을 처리하기가 불편합니다. 하지만! 이것을 전환시켜주는 방법이 있습니다. 바로 pf1) pf2) 공감수 0 댓글수 0 2022. 11. 2.
비지니스 메일 쓰는 법 1. 수신인 확인 (받는사람 / 참조(본 업무를 보고받거나, tracking해야 하는 사람) 받는 사람 : 물류1팀 대리 박보검 참조 : 물류1팀 2. 제목은 내용을 함축하기 제목: [A사 물품 취급보호포장 요청] 3. 인사&소개로 가벼운 인사말하기 안녕하세요 박보검 님, CS 담당 이병헌입니다. 4. 간결하고 핵심을 담는 문장으로 시작 A사에서 이번 물류 건부터는 전 제품을 취급보호포장을 해달라고 부탁을 해서, 현재 물류1팀에서 담당하고 계시는 A사 전 제품에 대해 취급보호포장을 요청드리고 싶어 메일 드립니다. 5. 본문 덩어리 단위로 할말하기 파손된 A사 물품을 받으신 몇몇 고객의 불만 요청때문에, A사에서 앞으로 전 제품에 대해 취급보호포장을 한다고 합니다. 내년 1월부터는 A사에서 직접 취급보호포.. 공감수 0 댓글수 0 2022. 11. 2.
G.O.D CMA 네이버 통장 - 10.14일 기준네이버통장은 10.14 이후로 3.05%나 줍니다… 천만원 넣어놓으면 한달에 2만 5천원이상 돌려주네요!토스는 고작 2.3%…! 네이버 CMA로 갈아타시는 걸 추천합니다! Uploaded by N2T 공감수 0 댓글수 0 2022. 10. 31.
PEP 8 - Python 코드 스타일 가이드 참고한 링크 : https://peps.python.org/pep-0008/ Indentation (띄어쓰기) # Correct: # 괄호 정렬을 해야함 foo = long_function_name(var_one, var_two, var_three, var_four) # indentation은 다음 단계로 넘어갈 때마다 4칸씩 space 해줘야 함 def long_function_name( var_one, var_two, var_three, var_four): print(var_one) # 이런식으로 해도 됨 foo = long_function_name( var_one, var_two, var_three, var_four) # Wrong: # 괄호 정렬 안됨 foo = long_function_name(.. 공감수 0 댓글수 1 2022. 10. 31.
Hardcluster (On Mitigating Hard Clusters for Face Clustering) 리뷰 AbstractFace clustering은 Face recognition의 large-scale unlabeled dataset을 해결하기 위한 분야이다.하지만 Face clustering에는 Challenge가 있다. 바로 ‘hard cluster’이다.Hard cluster란 cluster의 high Sparsity와 high variation 때문에 발생한다.이 논문은 이 문제를 해결하기 위해 NeighborhoodDiffusion-based Density (NDDe)와 Transition-Probability-based Distance (TPDi) 방법을 제안한다.Introduction위 figure (a),(b)를 보면 cluster size와 sparsity가 다양하고 끝 쪽에 있는것을 ha.. 공감수 0 댓글수 0 2022. 10. 28.
python code 자동정렬 windows: alt + shift + f mac: shift + option + f autopep8을 install하라고 뜨는데요, 설치하면 자동정렬되고 좀 과하다 싶은 정렬(ex: 줄 내림 등)은 직접 수정하시면 됩니다. python 정렬 규칙(필수는 아니지만 지키면 좋은) : https://peps.python.org/pep-0008/ 공감수 0 댓글수 0 2022. 10. 27.
역류성 식도염 방지 베개 올해 2월부터 사용하고 있는데, 너무 좋습니다. 역류성 식도염이 가끔씩 도져서, 평소에 잠자기 3시간전에는 음식을 안먹는데요, 그에 더한 식도염 방지법으로 이 베개를 사용합니다. 어떤 논문에서 식도염 베개는 상체 전체를 기울게 해야 효과가 있다고 하더군요. 효과 만점입니다. 야식 자주 드시는분, 밤새는 개발자 분들에게 추천드립니다. 가격은 6만원대 후반이네요. https://www.drshinmall.com/goods/goods_view.php?inflow=naverPay&goodsNo=1000002138&NaPm=ct%3Dl9qkydnq%7Cci%3Dcheckout%7Ctr%3Dppc%7Ctrx%3D%7Chk%3Dd93709f6fd31fbf7a6b2ef7f4195b86538e0357a 공감수 0 댓글수 0 2022. 10. 27.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.