#18 GPT-3로 챗봇 만들기

✅출처: https://www.lennysnewsletter.com/p/i-built-a-lenny-chatbot-using-gpt

I built a Lenny chatbot using GPT-3. Here’s how to build your own.

 

📌 Summary

  Dan이 최근에 만든휴버맨 랩 팟캐스트를 훈련한 챗봇을 만든걸 보고 여러분과 어떻게 만드는지 공유해보기로 했어요!

다가오는 미래를 준비하는 최고의 방법은 여기에 뛰어들어서 손을 더럽히는 겁니다! 해보시죠!

 

Lenny의 뉴스레터를 모두 학습한 챗봇과 대화할 수 있다면 어떨까요? 제가 Lenny의 뉴스레터를 모두 학습시킨 챗봇을 만드는 법을 하나씩 알려드리겠습니다.

 

Preamble(서문); GPT-3 vs chat GPT

 이 둘은 모두 Large Language model로 머신러닝으로 자연스러운 텍스트,코드 등을 만들어 질문에 대답하거나, 마케팅 카피를 만들거나, 대화를 유지하도록 하는데 능숙합니다.

 GPT-3는 공용목적으로 만들어진 모델로 어떤 토픽에 대해서든 자연스럽게 대화를 하고, 코드를 쓰고 블로그 포스트를 작성하는 등이 가능합니다.

chat GPT는 GPT-3의 조금 더 친숙한 버전으로 덜 공격적이고 외향적입니다. 기본적으로 기본적으로 대화를 잘합니다. Open AI는 좋은 대답에 상을 주고 나쁜 대답에는 벌을 주는 강화방식으로 모델을 훈련시킵니다.

chat GPT로 챗봇을 만들것 같지만 OpenAI는 아직 chat GPT와 직접 상호작용할 수 있는 도구는 주지않아서 GPT-3를 쓸거에요.

 

두가지 방법으로 할겁니다: OpenAI의 플레이그라운드에서 시작해서 코드를 조금 더할 거에요. 플레이그라운드는 GPT-3프롬프트를 직접 사용하고 반응을 받을수 있는 실험하기좋은 환경입니다.

 

GPT-3기본기

GPT-3를 설명하는 가장 기본적인 방법은 당신의 문장을 완성해주는 것을 좋아한다는 겁니다. 단어 몇개를 던져주면 그걸로 최대한 문장을 만들어 내려고하죠. 어떤 단어들이든지 다 던져보세요, 아주 유연해서 어떤 주제던지 대답합니다.

이렇게 주는 단어들을 프롬프트라고하고 당신이 받는 대답을 completion이라고 부릅니다.

언뜻보면 이걸 이해하고 답을 만드는 것 같지만 그건아니고 그냥 프롬프트가 주어지면 맞는 단어들을 찾는 엔진이 아주 잘 작동합니다.

 인터넷전체에서 그냥 모든 문장의 통계적인 가능성들을 다 분석하도록 훈련했기 때문에 되는거죠.

 

GPT-3로 챗봇 만들기

 자 이제 우리 질문에 대답을 하는데 우리랑 대화는 어떻게 하게 만들죠? 이왕이면 대답할 때 인격이 있어서 우리가 아는 Lenny처럼 대답하면 더 재밌을거에요. 프롬프트에 그렇게 행동하라고 지시하면 됩니다!

이런식으로 진행할 때 이전에 나온 대답을 전부 프롬프트로 같이 넣어주세요. 그런데 문제는 GPT-3가 Lenny의 뉴스레터 내용대로만

대답하는게 아니라 자기마음대로 데이터에서 긁어온 정보로 대답하는데..

1. GPT-3는 hallucinate하려고 하기 때문에 그래요. 환각은 모델의 성향자체가 잘못된 completion을 질문에 따라 대답하기도 하기 때문에 그래요. 기본적으로 모델은 아주 똑똑하고 한6살정도 지능입니다. 몰라도 대답하려고 해요! 

2. GPT-3에게 알맞은 데이터가 없을 지도몰라요. 모든 기억이 2021년에 멈춰있기 때문에 지식이 끊겨있죠. 

어떻게 이 문제를 풀수 있을까요? 

 

프롬프트에 문맥채우기

오픈북테스트에서 중요한 것은 생각하는 능력이지 그 공식자체를 외우는게 아니게 되는 것처럼, 시험이 더 당신의 기억과 얼마나 당신이 해당 토픽을 잘 이해하느냐에 초점이 맞춰지게 됩니다. GPT-3도 그렇습니다. 프롬프트에서 당신이 대답에 필요한 문맥을 좀 채워주면 되요.

 

Lenny의 아티클 노트를 조금 넣어주고 대답을 잘 하는지 봅시다. 공평하게 하기위해서, 답만 주는게 아니라 아티클을 전체적으로 주고 대답을 하도록 할거에요. 이렇게하면 우리가 원하는 답을 레니의 뉴스레터에서 찾아서 줄수가 있습니다. 하지만 이러면 또 다른 문제가 있죠.

"공간 제한"... 

 프롬프트에는 약 4,000개의 토큰(각 토큰은 단어의 ¾에 해당)이 있습니다. 따라서 모든 질문에 대해 레니의 전체 아카이브를 제공할 수는 없습니다. 그래서 어떤 내용을 넣을지 매우 신중하게 선택해야 합니다.

 

Lenny의 아카이브를 임베딩하기

GPT-3의 매뉴얼 상호작용에서 벗어나서 약간의 코드를 GPT-3 API와 사용할 때가 됬군요.

1. 레니의 아카이브를 다운받아서 우리의 봇이 쉽게 검색할 수 있게 해줄거에요

2. 관련있는 단어들을 아카이브에서 찾을수 있도록 도와주는 코드를 제공할 꺼에요.

3. 사용자가 질문을 하면 우리는 알맞은 답이 있는 문맥을 찾는 코드를 사용하도록 해서 프롬프트에 넣어서 gpt-3에 보낼거에요

4. 결과가 되는 답을 사용자에게 제공합니다.

 

GPT index라는 인덱스를 사용하면 아주 쉬워집니다. 

1. 아티클들의 색인을 만들고

2. 가장 관련있는 아티클들을 찾고

3. gpt-3에게 관련있는 아티클들을 사용해서 대답하라고 해요

 

인덱스 만들기

인덱스는 데이터베이스같은건데 텍스트조각들의 집합을 저장해서 찾기쉽게 하는거에요.

인덱스를 만들려면 레니의 모든 뉴스레터들을 모아서 폴더에 저장하고 GPT index에게 이 모든 파일들을 작은 조각들로 분해하라고 해서

찾을 수 있는 형태로 저장합니다.

위도와 경도로 지도상에서 얼마나 두 도시가 가까운지를 알려줄 수 있듯이 임베딩이 텍스트들에게 비듯한 역할을 합니다. 두개의 텍스트가

얼마나 비슷한지를 알려면 임베딩을 해서 비교하면되요. 비슷하다는게 가깝다는 뜻입니다.

(1000토큰당 0.0004달러니까 문서가 크다면 주의하세요!)

 

질문하기

 인덱스를 쿼리하려면 질문을 GPT 인덱스에 붙여넣기하면 되요

 - 우리 인덱스에서 질문과 가장 관련있는 내용을 찾아줘

- 그 텍스트들과 질문을 프롬프트에 붙여서 GPT-3에 보내줘

- 결과값을 보여줘

 

이 모든 것의 의미!

진짜 중요한 것은: 가능성의 수평성은 이미 매일매일 이런 기술들과 함께 변화하고 있다는 거에요. 오늘 어려운 게 몇달뒤엔 엄청 쉬운일이 되기도 합니다. 이기술의 가능성을 점쳐보자면

- 콘텐츠 제작자들이 새로운 포맷을 얻게 됩니다. ~ 뉴스레터, 책, 블로그, 팟캐스트.. 챗봇으로 리패키지 해서 청중에게 다가갈 수 있어요.

- 노트정리는 이제 끝났다. ~ 챗봇한테 맞는 질문을 물어볼 수 있게될겁니다. 이런 종류의 챗봇은 개인 리서쳐 도우미처럼 당신의 토픽을 이해하고 정보를 모아서 쓰는 것 까지 도와줄겁니다!

- 기업의 지식관리는 영원히 바뀔겁니다. ~ 기업내에서 공유되어야할 지식에 답변하는 챗봇만 관리하면 맞는 정보를 맞는 사람에게 찾을 수 있도록 도와줘서 이런 지식관리 방법이 훨씬 효율적이 될겁니다.

 

결론

이건 결국 시작일 뿐, 궁극적으로 이러한 기술들의 한계는 우리의 상상과 이것들을 향상시키려는 욕구에 달려있죠. 

 제가 보여드린 레니챗봇도 아주 멋지지만 아직 완벽하지는 않아요. 개인과 이런 종류의 경험을 배우려는 사람들에게는 엄청나게 많이 돌아올게 있을 거에요! 

 

📌 Comments

-예전에 병원에서 근무하면서 수많은 메뉴얼들이 색인이라도 잘되어 있어야만 원하는 정보를 찾을 수 있었는데 그런 부분에 이 챗봇을 적용하면 굉장히 유용할 것 같다. 일하면서 많은 메뉴얼을 찾아봐야하는 작업자들에게 굉장히 유용할 것 같다. 이런 메뉴얼도 이해를 돕기위해서 사실 여기저기 정보가 다양한 형태(동영상,글,책,팜플렛)등으로 흩어져있는데 챗봇이 가장 최신의 정보를 제공한다면 정말 좋겠다.

Uptodate 같은 clinical information forum에 붙여놓으면 가장 최신 정보를 rational과 함께 답변해줄수 있어서 굉장히 유용할 것 같다.