SummerMute

인기 글

• 

  [모델 성능 평가 지표] - FLOPs vs MACs, FLOPS 📌 요약모델 성능 평가 지표  - FLOPs: 부동소수점 연산(사칙연산, log, 지수 연산 등)의 개수  - MAC: 곱셈 후 덧셈 연산의 개수하드웨어 성능 평가 지표  - FLOPS: 초당 수행할 수 있는 부동소수점 연산의 횟수  논문을 읽다보면 제안하는 모델의 심플함을 주장하면서 모델의 연산량을 보여주는 경우가 많은데,오늘은 이 연산량 측정에 사용되는 지표인 FLOPs 와 MAC에 대해 알아보고,FLOPs와 거의 같은 이름을 가지고 있는 FLOPS에 대해서도 알아보도록 하겠습니다. 1. FLOPs FLOPs는 FLoating point OPerations 즉 부동소수점 연산의 약자로,사칙연산, log, 지수 연산 등을 각각 1회 연산으로 계산하는 방법입니다.예를 들어 $ax+b$ 의 FLOPs를 .. 댓글 2 2024.05.13

• 

  [SQLP 자격증] 시험 범위 및 합격 조건 잡설대학원에 다닐 때 까지는 그래도 열심히 공부를 했던 것 같은데,,,회사에 다니다 보니 점점 자기개발 의지를 잃어가는 것 같아서 2025년은 자격증 취득을 목표로 열심히 살아보려고해요!!순전히 취미로 SQLP, ADP, 정처기, 빅분기 같은 자격증을 따보려고 하는데 일단 현업에 제일 도움이 될 것 같은 SQLP부터 공부해보려고 합니다!이번 포스팅에서는 SQLP 응시 자격과, 뭘 공부해야하는지 알아보도록 할게요😊  SQLP 자격증은?SQLP 자격증은 데이터베이스 및 SQL 전문가로서의 자격을 검증하는 자격증입니다.SQLP는 SQLD보다 고급 과정으로, 데이터베이스 관리, SQL 고급 활용 및 튜닝 능력까지 검증하는 시험이에요.SQLP는 총 3과목으로 이루어져 있는데 그 중에 두 과목이 SQLD와 동일합.. 댓글 9 2024.11.14

• 

  [Python] Python은 난수를 어떻게 생성할까? 🧐 파이썬에서 나오는 난수는 어떻게 고른 수 일까요?Python 에서는 아래와 같은 코드로 여러 난수를 생성할 수 있습니다.이 때 난수는 어떤 방식으로 생성되는 것일까요?결론부터 말하자면 파이썬은 메르센 트위스터 (Mersenne Twister)를 사용해 난수를 생성합니다!   🤨 그렇다면 메르센 트위스터란 무엇일까요?컴퓨터는 사람과 달리 진짜 난수를 생성할 수 없습니다.하지만, 개발을 하다보면 랜덤한 수가 필요할 때가 있습니다.각종 개발 언어는 이런 상황에 개발자에게 난수를 제공하기 위해랜덤해 보이지만 사실은 규칙이 있는 의사 난수 생성기 (pseudorandom number generator)를 사용합니다.Python, C++, 더 나아가 엑셀,  MATLAB등에서 사용하는 의사 난수 생성기가 바.. 댓글 6 2024.10.29

• 

  [Bayesian] MLE와 MAP 1. 베이즈 확률론이란?베이즈 확률론이란 고전적인 빈도 주의 확률론과 달리 확률을 믿음의 정도로 해석하는 확률론입니다.예를 들어 동전의 앞면이 나올 확률이 0.5라고 할 때빈도주의 확률론은 동전을 1000번 던졌을 때 앞면이 나오는 횟수가 500번이 될 것이라고 해석하고,베이즈 확률론은 동전을 한 번 던졌을 때 앞면이 나왔다는 주장의 신뢰도가 50%라고 해석합니다.  2. 베이즈 정리란?베이즈 정리란 사전확률(prior)과, 사후 확률(poesterior)의 관계를 나타내는 정리로, 이를 활용하면 데이터가 주어지기 전의 사전확률이데이터가 주어짐에 따라 어떻게 변하는지 계산할 수 있습니다 이를 베이즈 확률론의 관점에서 해석하자면어떤 가설을 상정했을 때, 관찰한 데이터를 기반으로 가설에 대한 신뢰도를 업데이.. 댓글 2 2024.10.29

• 

  DPO란? - RLHF를 개선한 모델 학습 방법론 DPO란?오늘은 지난번에 알아본 RLHF(Reinforcement Learning with Human Feedback)의 효율화된 버전인 DPO(Direct Preference Optimization)에 대해 알아보겠습니다.RLHF와 그 한계점에 알고싶으신 분들은 해당 포스팅을 참고해보시면 좋을 것 같습니다!DPO는 RLHF와 마찬가지로 사람의 피드백을 활용하여 언어 모델을 개선하는 방법론입니다.다만 RLHF의 비용적 한계를 개선하기 위해 좀 더 간단한 접근법을 제시합니다. DPO는 아래와 측면에서 비용적 한계를 개선했습니다.직접적인 선호도 최적화: 사용자의 선호도 데이터를 직접 활용하여 언어 모델을 최적화합니다.리워드 모델 불필요: RLHF와 달리 별도의 리워드 모델을 학습할 필요가 없습니다.간소화된 .. 댓글 3 2024.11.18

• 

  [논문 리뷰] Segment Anything(SAM) 들어가며지난 4월 Meta에서 Segment Anything(SAM)이라는 논문이 나왔습니다.CLIP처럼 확장성이 좋은 것 같아 곧 SAM을 활용한 논문이 우후죽순 나올 것 같아읽어봐야지 읽어봐야지 하다가 이제서야 정리해봅니다 :)  ⛳️ Image Segmentation 분야의 foundation model최근 자연어 처리(NLP)분야에서는 매우 큰 데이터 셋으로 학습한 대용량 언어 모델 (Large Language Model)의 일반화 (generalization)성능이 우수하여 프롬프트 튜닝을 통해 zero-shot, few-shot downstrem task에서도 좋은 성능을 보여주고 있다고 합니다.이러한 LLM은 다른 하위 태스크 수행의 기반이 되는 foundation 모델이라고도 부르는데, .. 댓글 3 2024.10.29

개발 분야 최신 글

• 

  [논문 리뷰] RS-DPO(Rejection Sampling DPO) 최근에 RLHF, DPO 같은 모델을 학습하는 방법론에 대해 공부해보는 중인데요,오늘은 올해 초 아마존에서 제안한 RS-DPO(Rejection Sampling Direct Preference Optimization)에 대해 소개해드리려고 합니다. RLHF와 DPO 관련 내용이 궁금하시다면 해당 포스팅 1(RLHF), 2(DPO)를 참고 해보시면 좋을 것 같습니다! RS-DPO란?RLHF와 DPO 둘 모두 사람의 선호도를 기반으로 언어 모델을 튜닝해서 조금 더 "사람처럼 답변하는" 또는 "사람이 선호하는 답변을 생성하는" Alignment 과정을 위한 학습방법론입니다.RLHF는 데이터 수집 및 학습에 비용이 많이 들고, 강화학습 방법론의 일종이다 보니 학습이 불안정 할 수 있다는 단점이 있었습니다.이 한.. 댓글 5 2024.11.19

• 

  DPO란? - RLHF를 개선한 모델 학습 방법론 DPO란?오늘은 지난번에 알아본 RLHF(Reinforcement Learning with Human Feedback)의 효율화된 버전인 DPO(Direct Preference Optimization)에 대해 알아보겠습니다.RLHF와 그 한계점에 알고싶으신 분들은 해당 포스팅을 참고해보시면 좋을 것 같습니다!DPO는 RLHF와 마찬가지로 사람의 피드백을 활용하여 언어 모델을 개선하는 방법론입니다.다만 RLHF의 비용적 한계를 개선하기 위해 좀 더 간단한 접근법을 제시합니다. DPO는 아래와 측면에서 비용적 한계를 개선했습니다.직접적인 선호도 최적화: 사용자의 선호도 데이터를 직접 활용하여 언어 모델을 최적화합니다.리워드 모델 불필요: RLHF와 달리 별도의 리워드 모델을 학습할 필요가 없습니다.간소화된 .. 댓글 3 2024.11.18

• 

  RLHF란? - ChatGPT가 사용한 언어모델 학습 방법론 RLHF란?RLHF(Reinforcement Learning with Human Feedback)는 강화 학습의 한 종류로,사람의 피드백을 활용해서 모델을 개선하는 방법론입니다.강화 학습에서는 주어진 환경에서 얻을 수 있는 보상을 최대화하는 방향으로 학습을 하는데,RLHF는 이 보상이 사람의 선호도라고 생각하면 이해하기 쉽습니다 :) 1+2는 뭐야? 라고 물어봤을 때 아래 답변들 모두 올바른 답변을 했다고 평가할 수 있습니다.정답은 3입니다. 너무 쉬운 문제네요.3입니다.1과 2를 더하면 3이기 때문에 정답은 3입니다.이러한 상황에서는 뭘 기준으로 더 학습을 진행해야 모델이 개선될지 정하기 어려울 수 있는데요,이럴 때 RLHF로 사람의 선호도를 반영하도록 학습을 한다면, 언어 모델은 더 자연스럽고 일관성.. 댓글 2 2024.11.16

• 

  [SQLP 자격증] 1과목 이론 정리 - 데이터 모델링의 이해, 엔티티, 속성 오늘은 SQLP의 1과목 - 데이터 모델링의 이해에 포함되는 내용 중에서도데이터 모델의 이해, 엔티티, 속성, 식별자에 대해 정리해보겠습니다. 데이터 모델의 이해데이터 모델: 일정한 표기법에 따라 표현한 모형데이터 모델링: 모델을 만들어 가는 일 자체 데이터 모델링의 특징데이터 모델링은 아래 세 가지 특징을 가지고 있습니다.추상화: 현실 세계를 일정한 형식에 맞춰 표현단순화: 약속된 규약을 따라 간결하게 표현명확화: 애매모호함을 제거하고 정확하게 기술 데이터 모델링의 3단계하위로 갈수록 데이터베이스는 점점 구체화 됩니다.개념적 데이터 모델링가장 업무 중심적이고 포괄적, 추상적인 단계입니다.핵심 엔티티와 그들 간의 관계를 발견하고 표현하기 위해 ERD(Entity Relationship Diagram)를 .. 댓글 12 2024.11.15

• 

  [SQLP 자격증] 시험 범위 및 합격 조건 잡설대학원에 다닐 때 까지는 그래도 열심히 공부를 했던 것 같은데,,,회사에 다니다 보니 점점 자기개발 의지를 잃어가는 것 같아서 2025년은 자격증 취득을 목표로 열심히 살아보려고해요!!순전히 취미로 SQLP, ADP, 정처기, 빅분기 같은 자격증을 따보려고 하는데 일단 현업에 제일 도움이 될 것 같은 SQLP부터 공부해보려고 합니다!이번 포스팅에서는 SQLP 응시 자격과, 뭘 공부해야하는지 알아보도록 할게요😊  SQLP 자격증은?SQLP 자격증은 데이터베이스 및 SQL 전문가로서의 자격을 검증하는 자격증입니다.SQLP는 SQLD보다 고급 과정으로, 데이터베이스 관리, SQL 고급 활용 및 튜닝 능력까지 검증하는 시험이에요.SQLP는 총 3과목으로 이루어져 있는데 그 중에 두 과목이 SQLD와 동일합.. 댓글 9 2024.11.14

• 

  [Python] re 모듈로 문자열 처리하기 Python에서 re 모듈은 문자열을 처리할 때 특정 패턴을 가진 문자열을 검색하고, 변형하는 데 매우 유용합니다. 정규 표현식은 복잡해 보일 수 있지만, 한 번 익혀두면 매우 유용하게 쓸 수 있습니다. 이번 포스팅에서는 re 모듈의 대표적 함수 사용법을 예제와 함께 알아보겠습니다! re 모듈 시작하기Python에서 아래와 같이 re 모듈을 불러오면 사용할 준비는 끝입니다ㅎ import re re 모듈의 주요 함수re.match(): 문자열의 시작에서 패턴 찾기match 함수는 문자열의 첫 부분이 지정한 패턴과 일치하는지 확인합니다. 일치하면 Match 객체를 반환하고, 그렇지 않으면 None을 반환합니다.import retext = "Hello, world!"pattern = r"Hello"match .. 댓글 9 2024.11.13

• 

  [Python] try 구문 모든 예외 처리하기 파이썬을 사용하다 보면 예상하지 못한 예외가 발생할 수 있습니다. 특히 외부 입력을 받거나 다양한 라이브러리를 사용할 때, 프로그램이 갑작스럽게 종료되지 않도록 모든 예외를 처리하고 싶은 경우가 있습니다. 이런 상황에서는 try-except 문을 활용해 모든 예외를 한 번에 처리할 수 있습니다. 이번 글에서는 Python에서 모든 예외를 잡는 방법과 그 예제 코드를 알아보겠습니다. 모든 예외를 처리할 수 있는 try-except 구문try-except 문을 사용하면 특정 에러가 아닌 모든 에러를 잡을 수 있습니다.방법도 아주 간단한데, 바로 except 구문에 Exception을 사용하시면 됩니다.예외가 발생하면 Exception 클래스가 이를 캐치하고, 개발자는 발생한 예외의 메시지를 확인하거나 추가적.. 댓글 6 2024.11.07

• 

  [Basics] Object Detection이란? - 2Stage 모델 Object Detection이란?Object detection이란 컴퓨터 비전 task 중에서도 여러 객체에 대해 classification과 localization을 모두 수행하는 task로, 이미지에 등장하는 객체들의 위치와 클래스를 알아내는 작업입니다. 2-Stage vs 1-StageObject detection 모델들은 크게 2-stage 기반과 1-stage 기반의 방법으로 분류할 수 있습니다. 2-stage 기반의 방법들은 객체가 있을만한 후보 영역을 먼저 추려내고(localization), 해당 영역에 있는 객체의 종류가 무엇인지 알아내는(classification) 순차적인 방법으로 object detection을 수행합니다.반면 1-stage 기반의 방법들은 2-stage 방법이 느리.. 댓글 1 2024.10.29

• 

  [Python] Python은 난수를 어떻게 생성할까? 🧐 파이썬에서 나오는 난수는 어떻게 고른 수 일까요?Python 에서는 아래와 같은 코드로 여러 난수를 생성할 수 있습니다.이 때 난수는 어떤 방식으로 생성되는 것일까요?결론부터 말하자면 파이썬은 메르센 트위스터 (Mersenne Twister)를 사용해 난수를 생성합니다!   🤨 그렇다면 메르센 트위스터란 무엇일까요?컴퓨터는 사람과 달리 진짜 난수를 생성할 수 없습니다.하지만, 개발을 하다보면 랜덤한 수가 필요할 때가 있습니다.각종 개발 언어는 이런 상황에 개발자에게 난수를 제공하기 위해랜덤해 보이지만 사실은 규칙이 있는 의사 난수 생성기 (pseudorandom number generator)를 사용합니다.Python, C++, 더 나아가 엑셀,  MATLAB등에서 사용하는 의사 난수 생성기가 바.. 댓글 6 2024.10.29

• 

  [Bayesian] MLE와 MAP 1. 베이즈 확률론이란?베이즈 확률론이란 고전적인 빈도 주의 확률론과 달리 확률을 믿음의 정도로 해석하는 확률론입니다.예를 들어 동전의 앞면이 나올 확률이 0.5라고 할 때빈도주의 확률론은 동전을 1000번 던졌을 때 앞면이 나오는 횟수가 500번이 될 것이라고 해석하고,베이즈 확률론은 동전을 한 번 던졌을 때 앞면이 나왔다는 주장의 신뢰도가 50%라고 해석합니다.  2. 베이즈 정리란?베이즈 정리란 사전확률(prior)과, 사후 확률(poesterior)의 관계를 나타내는 정리로, 이를 활용하면 데이터가 주어지기 전의 사전확률이데이터가 주어짐에 따라 어떻게 변하는지 계산할 수 있습니다 이를 베이즈 확률론의 관점에서 해석하자면어떤 가설을 상정했을 때, 관찰한 데이터를 기반으로 가설에 대한 신뢰도를 업데이.. 댓글 2 2024.10.29

• 

  [Python] 파이썬 GIL - Multiprocess vs Multithread torch.nn.DataParallel(DP) 과 torch.nn.DataDistributedParallel(DDP)의 차이점을 살펴보던 중GIL 관련 이야기가 나와서 작성해봅니다. 😄 Python에서는 multi-processing을 써라?아래 글은 pytorch 공식 문서에서 발췌한 글입니다.It is recommended to use DistributedDataParallel, instead of DataParallel to do multi-GPU training, even if there is only a single node.The difference between DistributedDataParallel and DataParallel is: DistributedDataParallel use.. 댓글 6 2024.10.29

• 

  [논문 리뷰] Segment Anything(SAM) 들어가며지난 4월 Meta에서 Segment Anything(SAM)이라는 논문이 나왔습니다.CLIP처럼 확장성이 좋은 것 같아 곧 SAM을 활용한 논문이 우후죽순 나올 것 같아읽어봐야지 읽어봐야지 하다가 이제서야 정리해봅니다 :)  ⛳️ Image Segmentation 분야의 foundation model최근 자연어 처리(NLP)분야에서는 매우 큰 데이터 셋으로 학습한 대용량 언어 모델 (Large Language Model)의 일반화 (generalization)성능이 우수하여 프롬프트 튜닝을 통해 zero-shot, few-shot downstrem task에서도 좋은 성능을 보여주고 있다고 합니다.이러한 LLM은 다른 하위 태스크 수행의 기반이 되는 foundation 모델이라고도 부르는데, .. 댓글 3 2024.10.29

금융 분야 최신 글

• 

  워렌버핏의 투자원칙 워렌 버핏은 오마하 출신이라 '오마하의 현인'으로도 불립니다!가장 유명한 명언으로는 "잠자는 동안에도 돈이 들어오는 방법을 찾지 못한다면 당신은 죽을 때까지 일을 해야만 할 것이다" 라는 말이 있죠 :)오늘은 현재까지도 많은 이들의 투자 방식에 영감을 주고 있는 버핏의 명언을 살펴보겠습니다 :) 투자의 황금률"규칙 1: 절대 돈을 잃지 마라. 규칙 2: 규칙 1을 절대 잊지 마라."버핏은 손실을 피하는 것이 투자에서 가장 중요하다고 강조합니다. 예를 들어, 친구가 추천한 주식에 무작정 투자했다가 큰 손실을 본 경험이 있다면, 이 명언이 더욱 와닿을 것입니다. 투자 전에 철저한 분석과 신중한 판단이 필요함을 일깨워줍니다. 시간의 가치"10년 이상을 투자할 것이 아니면 10분도 그 주식을 가지고 있지 말아.. 댓글 10 2024.11.12

• 

  국내 상장 ETF와 해외 상장 ETF의 세금차이 국내 상장 ETF와 해외 상장 ETF는 각각의 시장과 상품의 성격에 따라 장점과 단점이 있으므로, 본인의 목표와 투자 환경에 맞는 상품을 선택하는 것이 중요합니다. 오늘은 현명한 투자를 위해 특히 세금 측면에서!! 국내 상장 ETF와 해외 상장 ETF의 차이점을 알아보겠습니다. 국내 상장 ETF와 해외 상장 ETF의 개념국내 상장 ETF: 한국 거래소(KRX)에 상장된 ETF로, 국내 시장에서 원화로 거래되는 상품입니다. 국내 주식시장, 채권, 원자재 지수 등을 기반으로 한 ETF 상품들이 포함됩니다.해외 상장 ETF: 미국, 유럽 등 해외 거래소에 상장된 ETF로, 해당 국가의 화폐(주로 달러)로 거래되는 상품입니다. 주로 미국, 유럽, 아시아 등 전 세계 다양한 지수와 자산에 투자할 수 있습니다. 국.. 댓글 7 2024.11.11

• 

  채권이란? 채권은 많은 분들이 이름은 들어봤지만, 정확히 무엇인지 잘 모르는 경우가 많습니다. 그래서 오늘은 채권의 개념부터 종류, 그리고 실제 투자에 필요한 기본 지식까지 쉽게 풀어보겠습니다. 채권이란?간단히 말해, 채권은 정부나 기업이 자금을 조달하기 위해 발행하는 ‘빚’이라고 할 수 있습니다. 투자자가 채권을 사는 행위는 채권을 발행한 정부나 기업에 돈을 빌려주는 것과 같습니다. 이 때, 채권의 발행자는 투자자에게 이자를 약속하고, 일정 기간 후에는 원금을 돌려줍니다. 채권의 기본 구조채권의 기본 요소는 크게 액면가 (Face Value), 표면 이자율 (Coupon Rate), 그리고 만기일 (Maturity Date)로 나눌 수 있습니다.액면가는 채권 발행자가 만기일에 투자자에게 돌려줘야 하는 금액을 말합.. 댓글 10 2024.11.10

• 

  ETF란? ETF 란?ETF(Exchange-Traded Fund, 상장지수펀드)는 주식시장에 상장된 펀드로, 쉽게 말해 특정 지수(예: KOSPI, S&P 500)나 테마(예: 기술주, 친환경 에너지)를 따라가는 '묶음' 주식 상품이라고 할 수 있습니다. ETF는 여러 종목에 분산 투자할 수 있어 위험을 낮추는 효과가 있으며, 주식처럼 매매가 가능해 유동성이 높다는 장점이 있습니다. ETF의 주요 특징과 장점다양한 종목에 분산 투자개별 주식 한 종목에 투자하면 그 종목의 주가 변동에 직접적인 영향을 받지만, ETF는 여러 종목으로 구성되어 있어 특정 종목의 주가가 하락해도 다른 종목이 이를 상쇄할 가능성이 있습니다. 따라서 상대적으로 위험 분산이 가능하죠. 예를 들어, KOSPI200 ETF는 한국의 주요 200.. 댓글 5 2024.11.09

• 

  주가지수란? 들어가며주가지수는 주식 시장의 전반적인 흐름을 파악하고 현재 시장 상황을 한눈에 보여주는 중요한 지표입니다. 주가지수를 이해하면 시장의 전체적인 방향성과 각 기업들의 상대적 위치를 파악하는 데 큰 도움이 되는데요, 이를 통해 투자 전략을 세우는 데 유용하게 활용할 수 있습니다. 오늘 포스팅에서는 주가지수가 무엇인지, 어떻게 계산되는지, 그리고 실제로 우리 주변에서 어떤 식으로 활용되는지 알아보겠습니다. 주가지수란 무엇인가요?주가지수는 여러 주식의 가격을 하나의 숫자로 종합하여 나타낸 값으로, 특정 시장 또는 산업군의 주식 가치 변동을 나타냅니다. 이 수치는 시장의 평균적인 움직임을 확인하는데 매우 유용합니다. 즉, 개별 주식이 아닌 전체 시장의 ‘건강 상태’를 간략히 파악할 수 있는 도구라고 생각하시면 .. 댓글 8 2024.11.08