로컬 컴퓨터에 "ChatGPT"를 설치하세요: LLaMA & 알파카 :: ChatGPT 정리

> English Summary

> English Full Text

 

[ 요약 ]

로컬 컴퓨터에서 강력한 대규모 언어 모델인 LLaMA와 알파카 모델을 실행하는 방법을 설명합니다.
이 모델들은 충분히 모든 쿼리에 응답할 수 있고, 설치 및 활용 방법에 대한 단계별 지침을 제공합니다.
이 모델들은 ChatGPT에 비해 작은 매개변수 수를 가지지만, 다양한 벤치마크에서 성능이 우수한 것으로 알려져 있습니다.
언어 모델은 단어나 문자의 확률 분포를 예측하는 모델로, ChatGPT도 이와 같은 방식으로 작동합니다.
이 비디오를 보고 로컬 컴퓨터에서 이러한 모델을 실행해 보시기를 권합니다.

페이스북 AI는 쿼리를 기반으로 가장 적절한 텍스트를 생성하기 위해 7가지 모델을 대규모 텍스트 코퍼스에서 훈련했습니다.
모델은 일부 개방되어 있지만 모델 가중치를 공개한 사람만 사용할 수 있습니다.
GitHub 저장소를 통해 누구나 LLaMA 모델을 실행할 수 있으며, 강력한 GPU가 필요하지 않습니다.
LLaMA 7B 모델에서 25,000 명령어 추출 데모에 따라 알파카 7B 모델이 만들어졌으며, 이 모델은 LLaMA 70억 파라미터 모델을 가져와서 52,000 명령어만으로 미세 조정한 것입니다.
이제 지금 바로 저장소에서 모델을 다운로드하고 실행해 보세요!누구나 데이터를 수집하고 모델을 훈련시킬 수 있다는 것을 이해할 수 있습니다.

LLaMA 모델과 알파카 모델을 설치하고 웹 UI를 실행하는 서버를 실행하는 방법이 제공되었습니다.
최소 4GB의 RAM이 필요하며, 70억 매개 변수 모델을 실행하려면 약 4GB의 하드 디스크 공간이 필요합니다.
읽는 이들은 알파카 모델과 ChatGPT 모델의 차이와 모델을 실행하는 방법에 대해 이해하고, 로컬에서 실행할 수 있도록 지침을 따를 것을 권장합니다.Microsoft Visual Studio를 이용해 알파카 모델을 설치하는 방법에 대한 설명합니다.
설치 방법과 주의사항, 명령어 등이 나와 있습니다.

설치 후 로컬 호스트에서 액세스할 수 있는 인터페이스가 제공되며, LLaMA 모델을 사용할 경우 다른 매개변수도 설정할 수 있습니다.
마지막으로, 인간이 만든 가장 중요한 혁신에 대한 질문을 알파카 모델에 물어보는 예시가 나와 있습니다.
설치와 관련된 명령어는 패키지로 비트 지연 인 npx와 7B를 설치하는 것입니다.

설치 전에 Powershell이 아닌 명령줄에서 설치를 실행해야 하며, C++용 데스크톱 개발 플러스는 선택 취소할 수 있습니다.
이제 설치가 완료되었으므로, 로컬 호스트에서 해당 주소를 실행하여 인터페이스에 액세스할 수 있습니다.

 

 

반응형

 

Install "ChatGPT" ON Your LOCAL Computer: LLaMA & Alpaca
https://www.youtube.com/watch?v=BKb_AnREvvY 

 

 

 

[ 한글 전체 ]

이 비디오에서는 로컬 컴퓨터에서 채팅 GPT만큼 강력한 대규모 언어 모델을 실행하는 방법을 보여드리고, 완전히 제한되지 않으므로 이러한 모델을 실행하는 방법을 보여드리겠습니다.
이 모델은 충분히 모든 올바른 쿼리에 응답할 수 있으며, 우리의 지침을 따를 수 있으므로 두 가지 모델 세트를 살펴볼 것입니다.
첫 번째 모델은 LLaMA 모델이라고 하며, 이전에 Facebook 연구로 알려진 문제 연구 그룹의 일부입니다.
두 번째 모델은 알파카 모델로 스탠포드에서 만들어졌으므로, 설치 방법과 활용 방법에 대한 단계별 지침을 안내해 드리겠습니다.
이 큰 언어 모델이 무엇이며 칩을 먹는 것과 어떻게 비교되는지 살펴보겠습니다.
우리가 보고 있는 첫 번째 모델은 이전에 Facebook AI로 알려진 메타 AI의 LLaMA 모델입니다.
초록에 따르면, LLaMA는 다음과 같은 범위의 기초 언어 모델 모음이라고 소개했습니다.
70억에서 650억 개의 매개변수로 구성되어 있으므로, 하나의 모델이 아니라 매개변수 수가 다른 네 가지 모델이 있습니다.
비교에서 ChatGPT에는 1750억 개의 매개변수가 있지만, 비교를 수행할 때 특히 라마 130억 매개변수가 ChatGPT 및 GPT-3 대부분의 벤치마크에서 본질적으로 ChatGPT 모델인 LLaMA 65는 최고의 모델이며, 친칠라 700억과 팜 540억 매개변수인 Google에서 모델링한 것으로 계산된다고 말했습니다.
이제 이것이 언어 모델이라는 것을 알았지만, 언어 모델이 정확히 무엇인지 물어볼 수 있습니다.
언어 모델에 따르면, 언어 모델은 확률 분포 또는 단어 토큰 또는 문자의 순서입니다.
다음 토큰 예측으로 자주 구성되는 이 작업은 오랫동안 자연어 처리의 핵심 문제로 간주되어 왔으므로, 기본적으로 언어 모델은 단어 또는 문자 집합 (예: 문장)을 가져온 다음, 이전에 본 모든 단어를 기반으로 해당 문장의 다음 단어를 예측하기만 하면 됩니다.
이것이 바로 ChatGPT가 작동하는 방식입니다.
쿼리를 제공하고, 쿼리를 기반으로 가장 적절하다고 생각되는 텍스트를 생성하기 때문에, 이것이 바로 페이스북 AI가 한 일입니다.
그들은 대규모 텍스트 코퍼스에서 서로 다른 수의 매개 변수로 7 가지 모델을 훈련하여, 다음 단어 또는 다음 문장을 예측하기 위해 개방형 AI와는 달리 실제로 부분적으로 개방했지만, 내 말은 실제로 이것을 실험하기 위해 연구원 그룹에 개방했다는 의미입니다.
인터넷상의 누군가가 실제로 모델의 가중치를 공개했기 때문에, 본질적으로 모든 사람이 모델에 액세스할 수는 없으며, 자신의 컴퓨터에서 이것을 사용할 수 있습니다.
내 컴퓨터에서 실행하려면 어떻게 해야할까요?
더 간단한 대답이 있습니다.
누군가가 지연이라는 GitHub 저장소를 게시하여 공개적으로 사용할 수 있도록 하여, 실제로 이 구성을 다운로드하면, 딜레마 모델을 실행할 수 있으며, 가장 큰 부분은 실제로 강력한 GPU가 필요하지 않다는 것입니다.
우리가 당신의 컴퓨터에 라마 모델을 설치하기 전에, 지금 이것을 실행하기 전에 두 번째 모델 그룹에 대해 이야기합시다.
알파카 모델이죠.
그리고 우리가 소개하는 페이지의 설명에서 왜 그렇게 중요한지 확인합시다.
알파카 7B 모델 미세 조정은 라마 7B 모델에서 25,000 명령어 추출 데모에 따라, 그들이 한 일은 라마 70억 파라미터 모델을 가져와서 52,000 명령어만으로 미세 조정한 것입니다.
그리고 그들은 말합니다.
"단일 턴 명령의 예비 관계"에 따라 다음과 같습니다.
알파카는 오픈AI의 텍스트 다빈치 3 모델과 질적으로 유사하게 작동합니다.
실제로 ChatGPT 모델인 다빈치 3 모델은 놀랍도록 작고 재현하기 쉬운 슬래시가 저렴하므로 600 달러 미만이므로, 의자 GPT는 INS는 수십억 개의 명령어 다음 쌍에 대해 훈련되었으므로 수십억 개의 명령을 내린 다음이 경우 모델을 훈련합니다.
알파카 7p 모델은 채팅 GPT와 동작이 매우 유사하며 52,000 개의 명령어에 대해서만 훈련되었습니다.
이에 대해 생각하면, 누구나 말 그대로 데이터를 수집하고 채팅 GPT와 같은 모델을 훈련시킬 수 있다는 것을 의미하며, 가장 작은 딜레마 모델을 사용하므로 65 억 개의 매개 변수 모델을 사용하는 것이 아니라, 70 억 개의 매개 변수 모델을 사용하므로 65 개의 매개 변수로 훈련하면 훨씬 더 강력해지고, 이 모든 과정이 600 달러 미만이 소요되므로, 이를 이해하기 위해 이 트윗을 살펴보겠습니다.
어, 이것은 ARK Investment Group의 누군가입니다.
이 트윗은 2022년 12월 3일에 올라온 트윗입니다.
그래서 AI 훈련 비용은 매년 60 유로로 감소하고 있습니다.
2022년에 채팅 GPT 3을 훈련하는 데 약 500만 달러가 들었습니다.
2030년에는 동일한 수준의 성능으로 모델을 훈련하는 데 약 500달러가 들 것입니다.
그래서 그는 단순히 7년 밖에 걸리지 않았습니다.
어, 2023년 초, 스탠포드 그룹은 600달러로 이것을 할 수 있었기 때문에, 이것은 우리가 짧은 시간에 얼마나 멀리 왔는지 보여줍니다.
이제 모든 사람들이 관심을 갖는 비디오 부분으로 넘어가 보겠습니다.이제 로컬에서 실행하는 방법.
이제 로컬에서 실행하려면 이 세 가지 지침만 있으면 됩니다.
첫 번째는 라마 모델을 설치하고, 실제로 70억 및 130억 매개 변수 모델을 모두 설치합니다.
두 번째 명령은 알파카 모델을 설치하고, 단순히 알파카 모델이 필요하고 라마 모델을 설치하고 싶지 않은 경우, 실제로 첫 번째 명령을 실행할 필요가 없습니다.
세 번째 명령은 이 웹 UI를 실행하는 서버를 실행하는 것입니다.
이제 Linux와 Mac에서 이 작업을 수행할 수 있습니다.메모리 요구 사항에 주의해야 합니다.
먼저, 70억 매개 변수를 실행하려면 최소 4GB의 RAM이 필요합니다.
70개 검토 중 13개는 8GB가 필요하고, 64개는 32GB가 필요합니다.
리 프레임 디스크 요구 사항 측면에서, 70억 모델의 경우, 알파카 모델은 하드 디스크에 약 4 기가 바이트의 공간이 필요하고, 라마 모델의 경우, 여러 모델이 있기 때문에 7B의 경우 전체 모델의 경우 약 31 기가 바이트가 필요하고, 정량화 된 모델을 보면 약 4 기가 바이트가 필요합니다.
그리고 더 높은 모델의 경우 디스크 공간 사용량이 변경되므로, 예를 들어 650억 개의 매개 변수의 경우, 전체 모델의 경우 거의 절반 테라 바이트를 실행해야 하고, 정량화 된 경우 약 145기가 바이트가 필요합니다.
하지만, 단순히 최신 모델에 관심이 있다면, 알파카 모델을 실행하고, 라마 모델에 대해 생각조차 하지 않는 것이 좋습니다.
따라서, 운영 체제에 따라 해당 지침에 따라 Windows 시스템에서 실행할 수 있습니다.
이 지침을 따랐으므로, 먼저 다운로드해야 합니다.
어, 이것은 Microsoft Visual Studio이므로 비주얼 코드 스튜디오가 아니라는 점을 명심하십시오.
이것은 다른 것이므로, 이 링크를 클릭하면 바로 이 커뮤니티 에디션이 있습니다.
무료이므로, 무료 다운로드를 클릭한 다음 지침에 따라 설치하십시오.
이미 설치했으므로, 이 부분은 지금 하지 않겠습니다.
설치를 시작하면, 파이썬 개발과 node.js 개발을 선택했는지 확인하십시오.
그리고 C++용 데스크톱 개발 플러스는 약 12GB의 공간을 추가할 것이기 때문에, 나머지는 선택 취소할 수 있습니다.
하지만, 지금은 설치를 완료한 후에도 node.js가 작동하지 않아서, 실제로 가서 노드를 다운로드해야 하는 동안 발견한 한 가지는 필요하지 않습니다.웹 사이트에서 링크를 넣을 것이므로, 가상 스튜디오를 설치한 후에도 여전히 문제가 발생하면 node.js 웹 사이트에서 다운로드하십시오.
특히 Windows 11의 경우, 특히 명심해야 할 한 가지 사항이 있습니다.
명령 줄 인터페이스인 CMD가 있고 Powershell이 있으므로, Powershell이 아닌 명령 줄에서 이러한 지침을 실행해야 하므로 매우 주의해야합니다.
좋아, 일단 비주얼 코드 스튜디오와 node.js가 알파카 모델을 설치하려는 경우, 설치해야 할 일은 패커로 비트 지연 인 npx이고 7B를 설치하는 것입니다.
이미 설치했으므로, 이 명령을 실행하지 않겠지만, 실행하면 오류가 발생하면, 이 명령을 다시 실행하면 설치가 완료되면 정상적으로 작동하므로, 모든 준비가 완료되었으므로 이 npx 지연을 실행하기만 하면됩니다.
처음 실행하면 실제로 몇 가지를 설치하지만, 서버가 표시될 뿐입니다.
어 3000 포트 번호의 글로벌 호스트에서 실행 중이므로 이것을 복사하고 웹 브라우저로 와서 이것을 실행하겠습니다.
그래서 저는 실제로 해당 주소의 로컬 호스트에 액세스했고, 여기에 간단한 인터페이스가 표시될 것입니다.
지금은 알파카 모델만 있으므로 라마 모델도 가지고 있다면 여기에서 액세스할 수 있으며, 여기에 설정할 수 있는 다른 매개 변수가 상단에 있습니다.
다른 비디오에서 더 자세히 살펴보겠습니다.
처음으로 이 경우와 같이 단순히 경로를 확인하고, 이 경로에서 알파카 모델을 찾았으므로, 아무것도 설치하지 않았기 때문에 라마 모델용 s7b가 있으므로 빈 문자열이 될 것입니다.
그래서 이것에 몇 가지 질문을 하고, 어떻게 반응하는지 봅시다.
그래서 제가 물어볼 첫 번째 질문은 인간이 만든 가장 중요한 혁신이 무엇인지이고, 반응이 괜찮은지 보겠습니다.
그래서 불의 발명은 우리가 음식을 요리할 수 있는 도구였다고 말합니다.
항상 밤에 따뜻함과 빛을 만들 수 있습니다.시간 나는 그것이 실제로 사실이라고 생각합니다.
나는 그것에 동의할 것입니다.
이제 비교를 위해 채팅 GPT에서도 동일한 질문을 하고, 채팅이 대답이 무엇인지 보자.
그래서, 그것은 개인적인 의견과 PDS를 보유하지 않는 언어 모델로 전형적인 것으로 시작하지만, 나는 인간이 만든 가장 중요한 혁신은 실제로 사실인 문자 언어의 개발이라고 주장할 것입니다.
음, 나는 둘 다에 동의할 것이라고 생각합니다.
좋아요, 그것이 알고 있는지 보자.알파카와 라마의 차이점은, 나는 그들이 이 언어 모델의 차이를 알지 못할 것이라고 생각하지만, 알파카와 라마는 실제로 두 종은 다른 종이므로 함께 왔기 때문에 에나멜과 관련이 있지만, 밀접하게 유전적으로 말해서, 볼리비아와 페루에서 수천 년 동안 길들여졌지만, 오늘날에도 여전히 주로 프리미어 리그에 사용되지만, 둘 다이므로, 알파카에 대해 먼저 이야기하고 라마에 대해 이야기합니다.
그것은 그들이 관련이 있다는 것을 의미합니다.후원자이지만, 그가 말한 그 옷에서 유전적으로 그들은 DNA의 절반 정도를 공유합니다.
그래서 그것은 실제로 교회에서 똑같은 것을 묻는 꽤 좋은 대답을 주었습니다.
DPD 오른쪽은 확실히 응답을 내놓는 데 시간이 걸리고, 무료 버전을 사용하고 있기 때문에 약간 느린 이유입니다.
세 번째 TPD가 너무 오래 걸리므로, 다음 질문으로 넘어가겠습니다.
이것은 스탠포드 웹사이트의 예입니다.
의회에 이메일을 작성하는 새로운 기준을 인정하고 언급했습니다.
당신이 그들 모두를 직접 만나는 것에 대해 흥분하고 있다는 것을 알파카가 좋은 이메일을 만들 수 있는지 봅시다.
나는 이것을 몇 번 실행해야 했기 때문에, 몇 가지 특이한 출력을 제공하지만 여기에 새로운 입학을 승인한 이메일이 있습니다.
나는 당신을 위해 너무 행복합니다.
제외하고 명문 대학에 보낸 이것은 실제로, 나는 스탠포드에서 여러분을 만나고 곧 여러분과 친해지기를 고대했습니다.
그리고 우리 모두에게 앞으로의 흥미로운 여정이 실제로 꽤 깔끔하기를 기원합니다.저는 그것이 좋다고 말하고 싶습니다.
전혀 나쁘지 않습니다.
이것과 채팅 칩 시티를 비교하고 싶었지만, 어떤 이유로 오늘 테드 투비디가 오늘 제가 아무것도 할 수 없게해서 이 사람들에게 미안해서, 이 비디오에서 알파카 및 라모 모델을 로컬로 설치하고 로컬 컴퓨터에서 실행하는 방법을 살펴보았습니다.
채널을 구독하는 것을 잊지 마시고, 이 비디오가 알고리즘에 정말 도움이 되고 제가 보여줄 다음 비디오에서 동기를 유지한다면, 이 비디오가 유용했으면 좋겠습니다.자신의 데이터 세트에서 이러한 모델을 실제로 미세 조정하는 방법을 보여드리겠습니다.
즉, 자신의 데이터 세트에 채팅 GPT와 같은 모델을 갖게 될 것이므로 매우 흥미로울 것이라고 생각하므로 해당 비디오를 계속 지켜봐 주셔서 감사합니다.
다음 비디오에서 뵙겠습니다.

 

 

SMALL

[ English Summary ]

Describes how to run the LLaMA and Alpaca models, two powerful large-scale language models, on your local machine.
These models are large enough to answer any query, and we provide step-by-step instructions on how to install and utilize them.
These models have a small number of parameters compared to ChatGPT, but are known to perform well on a variety of benchmarks.
Linguistic models are models that predict the probability distribution of words or characters, and ChatGPT works in the same way.
We encourage you to watch this video and try running these models on your local machine.

Facebook AI trained the seven models on a large corpus of text to generate the most appropriate text based on a query.
The models are partially open, but only available to those who have published their model weights.
The GitHub repository allows anyone to run LLaMA models, and you don't need a powerful GPU.
The alpaca 7B model was created based on the 25,000 instruction extraction demo from the LLaMA 7B model, which took the LLaMA 7 billion parameter model and fine-tuned it to only 52,000 instructions.
Now you can download the model from the repository and run it today!You can understand that anyone can collect data and train a model.

We've provided instructions on how to install the LLaMA model and the alpaca model and run the server that runs the web UI.
A minimum of 4GB of RAM is required, and about 4GB of hard disk space is needed to run the 7 billion parameter model.
We recommend that readers understand the difference between the alpaca model and the ChatGPT model and how to run the model, and follow the instructions so that they can run it locally.This article describes how to install the alpaca model using Microsoft Visual Studio.
It includes installation instructions, caveats, and commands.

After installation, you will be given an interface that you can access from your local host, and if you are using the LLaMA model, you can also set other parameters.
Finally, an example of asking the alpaca model a question about the most important innovation made by humans is given.
The commands involved in the installation are to install npx and 7B, a bitdelay as a package.

Before installing, you need to run the installation from the command line, not Powershell, and you can uncheck Desktop Development Plus for C++.
Now that the installation is complete, you can access the interface by running it from your localhost.

 

 

 

[ English Full Text ]

In this video, I'm going to show you how to run a large language model on your local machine that is as powerful as the Chat GPT, and since it's completely unrestricted, I'll show you how to run such a model.
These models are certainly capable of answering all the right queries, and they can follow our instructions, so we're going to look at two sets of models.
The first model is called the LLaMA model and is part of the Problem Research Group, formerly known as the Facebook Study.
The second model is called the Alpaca model, and it was created at Stanford, so we'll walk you through step-by-step instructions on how to install it and how to utilize it.
Let's take a look at what these big language models are and how they compare to eating chips.
The first model we're looking at is the LLaMA model from Meta AI, formerly known as Facebook AI.
According to the abstract, LLaMA is described as a collection of foundational language models ranging from
7 billion to 65 billion parameters, so there is not one model, but four models with different numbers of parameters.
In the comparison, he said that ChatGPT has 175 billion parameters, but in doing the comparison, LLaMA 65, which is essentially the ChatGPT model in most of the benchmarks, with 13 billion parameters, is the best model, and it's modeled by Google, which has 70 billion parameters for chinchilla and 54 billion for palm.
Now we know that this is a language model, but you may ask what exactly is a language model?
According to the language model, a language model is a probability distribution or sequence of word tokens or letters.
This task, which often consists of predicting the next token, has long been considered a key problem in natural language processing, so basically, a language model simply takes a set of words or characters (such as a sentence) and then predicts the next word in that sentence based on all the words it has seen before.
This is exactly how ChatGPT works.
You give it a query, it generates the text it thinks is most appropriate based on the query, and that's exactly what Facebook's AI did.
They trained seven different models with different numbers of parameters on a large corpus of text to predict the next word or the next sentence, and they actually partially opened it up, as opposed to open AI, but I mean they actually opened it up to a group of researchers to experiment with this.
Someone on the internet actually released the weights of the models, so essentially not everyone has access to the models, and they can use this on their own computer.
So how do I run it on my own computer?
There's an even simpler answer.
Someone has published a GitHub repository called lazy and made it publicly available, so if you actually download this configuration, you can run the dilemma model, and the best part is that you don't actually need a powerful GPU.
Before we install the llama model on your computer, before we run this now, let's talk about the second group of models.
This is the alpaca model.
And let's see why they're so important from the description on the page where we're introducing them.
The alpaca 7B model refinement is based on the 25,000 instruction extraction demo from the llama 7B model, and what they've done is they've taken the llama 7 billion parameter model and refined it down to just 52,000 instructions.
And they say
Based on "preliminary relations of single-turn commands," it looks like this
The alpaca behaves qualitatively similar to OpenAI's textual da Vinci 3 model.
The da Vinci 3 model, which is actually a ChatGPT model, is surprisingly small and easy to reproduce slash cheap, so it costs less than $600, so the chair GPT is INS trained on billions of command next pairs, so you give billions of commands and then train the model in this case.
The alpaca 7p model is very similar in behavior to the chat GPT and was trained on only 52,000 commands.
If you think about this, it means that literally anyone can collect data and train a model like chat GPT, and you're not using the smallest dilemma model, so you're not using a 6.5 billion parameter model, you're using a 7 billion parameter model, so if you train it with 65 parameters, it's going to be much more robust, and this whole process costs less than $600, so to understand this, let's look at this tweet.
Uh, this is someone from ARK Investment Group.
This tweet is from December 3, 2022.
So the cost of AI training is decreasing every year to 60 euros.
In 2022, it cost about $5 million to train a chat GPT 3.
In 2030, it will cost about $500 to train a model with the same level of performance.
So he simply took seven years.
Uh, in early 2023, the Stanford group was able to do this for $600, so this shows how far we've come in a short time.
Now let's move on to the part of the video that everyone is interested in, which is how to run it locally.
Now to run it locally, all you need are these three instructions.
The first one installs the llama model, actually both the 7 billion and 13 billion parameter models.
The second instruction installs the alpaca model, and if you simply need the alpaca model and don't want to install the llama model, you don't actually need to run the first instruction.
The third command is to run the server that runs this web UI.
Now, you can do this on Linux and Mac.You need to pay attention to the memory requirements.
First, you need at least 4GB of RAM to run the 7 billion parameters.
Of the 70 reviews, 13 require 8GB, and 64 require 32GB.
In terms of reframed disk requirements, for the 7 billion model, the alpaca model requires about 4 gigabytes of space on the hard disk, and for the llama model, because there are multiple models, 7B requires about 31 gigabytes for the full model, and if you look at the quantized model, it requires about 4 gigabytes.
And then for the higher models, the disk space usage changes, so for example, for 65 billion parameters, you would need to run almost half a terabyte for the full model, and for the quantized, you would need about 145 gigabytes.
However, if you are simply interested in the latest models, it is better to run the alpaca model and not even think about the llama model.
So, depending on your operating system, you can run it on a Windows system by following these instructions.
Now that we've followed those instructions, we need to download it first.
Uh, keep in mind that this is Microsoft Visual Studio, so it's not Visual Code Studio.
This is something else, so if you click on this link, it's the community edition.
It's free, so click on the free download and then follow the instructions to install it.
Since we've already installed it, we're not going to do this part now.
Once you start the installation, make sure you've selected Python development and node.js development.
And Desktop Development Plus for C++ will add about 12 GB of space, so you can uncheck the rest.
Now, one thing that I discovered while I was doing this that node.js wasn't working after I finished the installation, so I actually had to go and download it, but it's not necessary.I'm going to put a link on the website, so if you're still having problems after installing the virtual studio, go download it from the node.js website.
There is one thing to keep in mind, especially for Windows 11.
You have CMD, which is the command line interface, and you have Powershell, so you have to be very careful to run these instructions from the command line, not from Powershell.
Okay, so once we have visual code studio and node.js wanting to install the alpaca model, what we need to do is install the packer, which is npx, which is bitdelay, and 7B.
Since we've already installed it, we're not going to run this command, but if we do and we get an error, we can run this command again and it will work fine once it's installed, so we're all set, we just need to run this npx delay.
The first time you run it, it's actually going to install some stuff, but it's just going to show you the server.
It's running on a global host on a uh 3000 port number, so I'm going to copy this and come to a web browser and run this.
So I've actually accessed the local host at that address, and you should see a simple interface here.
Right now I only have the alpaca model, so if you have the llama model as well, you can access it here, and there are other parameters up here that you can set.
We'll go over these in more detail in another video.
The first time, as in this case, we simply checked the path, and we found the alpaca model in this path, so it's going to be an empty string because we haven't installed anything, we have S7B for the llama model.
So let's ask it a couple questions and see how it responds.
So the first question I'm going to ask is what is the most important innovation that humans have made, and let's see if it reacts okay.
So they say that the invention of fire was a tool that allowed us to cook food.
It could create warmth and light at night, all the time. I think that's actually true.
I would agree with that.
Now, for comparison, let's ask the same question in chat GPT, and let's see what the chat answers.
So, it starts with a personal opinion and a language model that doesn't hold PDS, which is typical, but I would argue that the most important innovation made by humans is the development of written language, which is actually true.
Well, I think you'll agree with both.
The difference between alpacas and llamas, I don't think they'll know the difference between these language models, but alpacas and llamas are actually two different species, so they came together, so they're related to enamel, but closely genetically speaking, they've been domesticated for thousands of years in Bolivia and Peru, and even today they're still used mainly for the Premier League, but they're both, so we'll talk about alpacas first, and then we'll talk about llamas.
That means they're related, sponsors, but genetically in that outfit he was talking about, they share about half of their DNA.
So that was actually a pretty good answer to asking the same thing in church.
The DPD right is definitely taking a while to come up with a response, and I'm using the free version, so that's why it's a little bit slow.
The third TPD is taking too long, so let's move on to the next question.
This is an example from the Stanford website.
You've recognized and mentioned the new standards for writing emails to Congress.
Let's see if the alpaca can make a good email that you are excited about meeting them all in person.
I had to run this a few times, so it gives some unusual output, but here's the email that approved the new admissions.
I am so happy for you.
Except this one, sent to a prestigious university, actually, I was looking forward to meeting you at Stanford and getting to know you soon.
And I wish us both an exciting journey ahead, which is actually pretty neat.I'd say it's good.
It's not bad at all.
I wanted to compare this to Chat Chip City, but for some reason Ted Tubidi wouldn't let me do anything today, so I apologize to these people.In this video, I showed you how to install the alpaca and llamo models locally and run them on your local machine.
Don't forget to subscribe to the channel, and if this video really helps you with your algorithms and keeps you motivated for the next video that I'm going to show you, I hope you found this video useful.I'm going to show you how to actually fine-tune these models on your own dataset.
In other words, you're going to have a model like chat GPT on your own dataset, so I think that's going to be very interesting, so stay tuned for that video, and thank you.
I'll see you in the next video.