GitHub nielsrogge/transformers-tutorials ★ 11,661 This repository contains demos I made with the Transformers library by HuggingFace. https://github.com/NielsRogge/Transformers-Tutorials[GitHub AI 스킬 #0150] Transformers-Tutorials: AI 모델을 직접 돌려보는 실습 노트북 모음안녕하세요! 오늘 소개할 건 AI를 글로만 배우다 지친 분들을 위한 보물창고입니다. 이름은 Transformers-Tutorials. GitHub에서 별 11,661개를 받은 인기 저장소예요. 네덜란드 출신 AI 엔지니어 Niels Rogge가 만든, 실..

GitHub huggingface/tokenizers ★ 10,820 💥 Fast State-of-the-Art Tokenizers optimized for Research and Production https://github.com/huggingface/tokenizers ChatGPT에 "안녕"이라고 입력하면 AI는 그 글자를 그대로 읽지 못합니다. 컴퓨터는 숫자만 이해하니까요. 그래서 "안녕"을 [12, 4837] 같은 숫자 덩어리로 쪼개야 합니다. 이 쪼개는 작업을 하는 도구가 바로 오늘 소개할 tokenizers입니다.이런 분들께 추천합니다AI가 한국어 문장을 어떻게 "이해"하는지 궁금했던 분나만의 챗봇이나 번역기를 만들어보고 싶은데 첫 단계부터 막혔던 분허깅페이스(Hugging Face)..