leejeong6 님의 블로그

  • 홈
  • 태그
  • 방명록

scratch 1

Karpathy - Let's build GPT 실습하기 (1)

https://www.youtube.com/watch?v=kCc8FmEb1nY&t=5065s Karpathy-BUILD GPT 이번 글은 이 영상을 따라하는 글이며, 제 생각과 추가 실습 가능한 부분을 같이 써보는 식으로 진행해보려합니다 먼저 tokenizer를 만드는 걸 소개하는데셰익스피어 글을 다운받아서 커스텀 tokenizer를 만듭니다chars = sorted(list(set(text)))vocab_size = len(chars)string_to_idx = {ch:i for i,ch in enumerate(chars)}idx_to_string = {i:ch for i,ch in enumerate(chars)}sti = string_to_idxits = idx_to_stringencode = lam..

Karpathy-GPT만들기 2025.04.24
이전
1
다음
더보기
프로필사진

leejeong6 님의 블로그

leejeong6 님의 블로그 입니다.

  • 분류 전체보기 (12)
    • TEPS공부-서울대 공식 기출문제집 (4)
      • TEST1 (4)
    • 논문리뷰 (4)
    • Karpathy-GPT만들기 (2)

Tag

model collapse, efficient transformer, GPT, 검색증강기법, LLM, mmed-, colpali, tiktokenizer, Transformer, scratch, RAG, Embedding, tokenizer, mmed, MOE, med-rag, Colbert, paligemma, MEDICAL, gating network,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/05   »
일 월 화 수 목 금 토
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바