All about Machine-Learning/NLP (6) 썸네일형 리스트형 트랜스포머 모델 구현 ※ 이 글은 chatGPT를 기반으로 작성한 글입니다. 어텐션 메커니즘과 트랜스포머 모델 ※ 이 글은 chatGPT를 기반으로 작성한 글입니다. 어텐션 메커니즘(Attention Mechanism)의 원리 ※ 이 글은 chatGPT를 기반으로 작성한 글입니다. 어텐션 메커니즘 ① 어텐션 메커니즘(attention mechanism)은 입력 시퀀스의 각 단어의 출력 시퀀스의 각 단어에 얼마나 연관이 있는지 계산하는 방법이다. ② 주로 Seq2Seq 모델에서 사용되며, 입력 시퀀스에서 중요한 부분에 집중하여 모델이 더 효과적으로 정보를 처리하도록 돕는다. Seq2Seq 모델의 이해 ※ 이 글은 chatGPT를 기반으로 작성한 글입니다. Seq2Seq 모델 ① Seq2Seq(Sequence-to-sequence) 모델은 주로 자연어 처리 분야에서 사용되는 딥 러닝 아키텍처다. ㉠ 이 모델은 한 시퀀스를 다른 시퀀스로 hemahero.tistory.com ㉠ 이는 인간이 정보를 처리할 때 특정 부분에 집중하는 방.. Seq2Seq 모델의 이해 ※ 이 글은 chatGPT를 기반으로 작성한 글입니다. Seq2Seq 모델 ① Seq2Seq(Sequence-to-sequence) 모델은 주로 자연어 처리 분야에서 사용되는 딥 러닝 아키텍처다. ㉠ 이 모델은 한 시퀀스를 다른 시퀀스로 변환하는 데 사용된다. ② Seq2Seq 모델은 크게 두 부분, 인코더(encoder)와 디코더(decoder)로 구성된다. 인코더 ㉠ 일반적인 인코더의 역할은 입력 시퀀스(문장)의 각 요소(단어)를 벡터들로 변환하는 것이다. ㉡ 입력 데이터를 처리하는 단계는 크게 세 부분으로 나뉘며, ⓐ 토큰화(tokenization), ⓑ 벡터 변환(vectorization), ⓒ 컨텍스트 벡터 생성(context vector generation)으로 구분된다. ⓐ 토큰화(Token.. 워드 벡터(Word Vector) -CBOW, Skip-gram ※ 이 글은 chatGPT를 기반으로 작성한 글입니다. ① 워드 벡터(word vector)는 단어들을 벡터 공간에 표현함으로써 수치화된 벡터로 변환해 컴퓨터가 단어의 의미를 이해하고 처리할 수 있도록 도와준다. ㉠ 예를 들어 "사과", "바나나", "토마토", "트럭"이라는 네 개의 단어들을 수학적인 벡터로 나타내는 것이다. ② 워드 벡터의 대표적인 임베딩 기법으로 Word2Vec과 GloVe가 존재한다. ㉠ Word2Vec에는 Continuous Bag of Word(CBOW)와 Skip Gram이라는 두 가지 기본 모델이 있다. ⓐ CBOW는 주변 단어들을 통해 중심 단어를 예측하는 방식이다. ⓑ Skip Gram은 중심 단어를 통해 주변 단어를 예측하는 방식이다. ② CBOW 모델을 훈련시키는 코.. 허깅 페이스(Hugging Face) ※ 이 글은 chatGPT를 기반으로 작성한 글입니다. ① 허깅 페이스(Hugging Face)는 인공 지능 연구 및 개발에 중점을 둔 회사이며, 자연어 처리와 관련된 다양한 오픈 소스 도구와 라이브러리를 제공한다. ② 허깅 페이스는 다양한 언어 모델들을 쉽게 사용할 수 있게 해주는 트랜스포머(Transformers) 라이브러리를 제공한다. ③ 이 라이브러리를 통해 BERT, GPT, T5 등과 같은 고급 언어 모델을 활용하여 텍스트 분석, 번역, 요약 등 NLP 작업을 수행할 수 있다. ④ 허깅 페이스의 트랜스포머 라이브러리 PIP(Package Installer for Python)을 사용하여 설치할 수 있다. HTML 삽입 미리보기할 수 없는 소스 ⑤ import transformers를 사용해 트.. 이전 1 다음
