[요약] 댓글로 투자 질문 주시면 AI가 답해드립니다 (ChatGPT) :: with AI

> English Summary

 

[ 요약 ]

이번에 구글이 새로운 챗봇 Bard 클로즈 베타를 발표하면서, GPT4와 비교해보았다.
Bard는 최신 데이터까지 업데이트가 가능하지만 GPT4는 최신 정보를 온라인 검색으로 병행해서 얻는 것이 가능하다.
또한, GPT4는 이미지 인풋도 지원한다.
두 챗봇의 언어 지원 및 입력 가능한 텍스트 길이도 차이가 있다.
GPT4의 언어 추론 능력은 우수하다는 결과가 나왔다.
이번에 발표된 GPT4 자료 중 예시로, '신데렐라' 이야기를 알파벳 순서대로 사용하여 요약하는 문제가 있었다.
이 글은 GPT와 Bard 언어 툴에 대한 비교와 사용 예시에 대한 내용을 다룬다.
GPT가 Bard에 비해 더 나은 정확도와 추론 능력을 보여주며, 고등 교육 기관에서도 시험 성적이 높은 결과를 냈다.
하지만 여전히 오답을 제공하는 경우가 있고, 기술 리포트에서도 단점을 보인다.
이러한 단점은 GPT만의 것이 아니라 언어 모델 전반적으로 발생하는 것으로 추측된다.
이 글을 통해 GPT와 Bard가 각각 어떤 상황에서 사용되고, 어떤 장단점이 있는지 알 수 있다.
이 글은 인공지능 언어 생성 모델인 GPT와 그 발전 과정에 대한 이야기이다.
GPT는 다음 단어 예측을 통해 학습되며, 해당 모델을 활용해 올바른 답변을 생성하는 방법도 있다.
하지만 GPT의 답변이 부적절할 경우, 안티 GPT와 같은 보완 모델도 사용되곤 한다.
GPT4와 바디의 사용에 대해선 논쟁이 있으며, 내부적으로는 더 발전된 모델들이 개발되고 있는 상황이다.
이러한 언어 생성 모델들의 동작 원리는 간단해 보이지만, 해당 모델들을 학습시키는 방법은 여전히 과학적이고 복잡하다.
이 문제들은 우리가 생각하기에 쉬울 수 있겠지만, 수능 모의고사에서 가져온 영어 짜임새 공백 채우기 같은 문제들은 더 어려울 것입니다.
그러나 이런 복잡한 텍스트에서 빈칸 채우기를 잘하는 모델이 생성될 경우, 이 모델은 텍스트에 대한 이해 능력이 뛰어나다는 의미가 됩니다.
GPT는 이런 빈칸 채우기 문제를 해결할 수 있는 언어 모델을 개발하고 훈련시킬 수 있습니다.
이 모델의 동작 원리는 간단한 모델을 예시로 들어 설명됩니다.
훈련은 입력과 출력을 맞추도록 파라미터를 조절하는 것이며, 이것은 미분 값을 계산하여 구할 수 있습니다.
바로 이 미분 값을 구하는 수식이 복잡하며, 정교한 모델인 Transformer가 사용됩니다.
구글이 2017년도에 발표한 Attention 논문도 참고할 수 있습니다.
인형도 거의 7만 번 가까이 팔렸습니다.
이번에 개발된 트랜스포머 모델은 기존 모델보다 성능이 우수해져서, 이후 개발된 초과대 언어 모델들에 거의 하나도 빠짐없이 사용되었습니다.
이런 모델을 훈련시키기 위해서는 미분을 할 수 있어야 하기 때문에, 파이토치나 텐서플로우와 같은 빅테크 합계가 만들어진 것입니다.
이 모델들은 일반적인 미분 계산기에 불과하지만, 이 복잡한 식들도 미분이 가능하게 해줍니다.
이 모델을 훈련시키기 위해서는 텍스트 데이터셋이 필요한데, 그 중에서도 가장 큰 비중을 차지하는 것은 커먼 크라운이라는 비영리단체가 수집 및 저장한 데이터셋입니다.
이 데이터셋을 사용하여 모델을 훈련시키면 파인튜닝을 더욱 적은 시간에 할 수 있습니다.
최근에는 프리트레이닝이 대세이며, 이를 위해서는 대화형 데이터를 수집해야 합니다.
이를 위해 미국에서는 수십 명의 인력을 고용하여 데이터를 수집하는 일이 일어나고 있습니다.
오픈 AI는 수많은 프리랜서를 고용하여 음식 레시피와 쇼핑 리스트와 같은 질문에 대한 답변을 작성했다.
그 결과, 13,000개의 데이터 예시가 나왔고, 이를 사용하여 챗봇을 만들 수 있게끔 파인튜닝을 시켰다.
이 모델은 자동 채점 모델과 함께 사용되어, 질문에 대한 대답을 여러 번 뽑아내고 가장 적절한 답변을 선택한다.
작업 도중, 프리랜서들이 베스트 답변을 선택하기 위해 필요한 데이터셋 3만3천 개를 만들었다.
이를 위해 오픈 AI는 마이크로소프트와 계약하여 슈퍼컴퓨터를 만들었다.
이 과정에서 비싼 비용과 버그가 발생하기도 했다.
하지만 이러한 모델은 현재 많은 분야에서 사용되고 있다.
더 강력한 언어 모델을 만들기 위해서는 기존 모델보다 몇 백배, 몇 천배 더 큰 모델이 필요하다.
이에 따라 훈련하는 데 거의 어마어마한 비용과 슈퍼컴퓨터가 필요하다.
언어 모델의 파라미터 수가 많으면 많을수록 똑똑해지지만, 훈련이 굉장히 잘 되어 있어야 한다.
2018년도에서 2021년도까지 구글 오픈 AI 등이 만든 언어 모델들이 모델 규모가 크게 증가하였으며, 모델 크기의 증가와 성능 향상은 로그 스케일로 보았을 때 1억배 이상이다.
인류의 초고대 언어 모델은 뇌의 크기와 시냅스의 숫자로 비교하면 GPT1은 한 8이 팔이, GPT2는 한 벌(벌과 각지물의 뇌가 비슷함) 수준이었으며, 최근에 나온 언어 모델은 파라미터가 5,400억 개 이상이 되면서 각종 능력들이 더욱 발현된다.
이 글에서는 인공지능 언어 모델의 크기와 발전속도에 대한 정보가 제공됩니다.
GPT-3는 쥐보다 우리에게 더욱 유용하며, 현재 초거대 언어 모델의 크기는 몇천억 정도로 매년 10배 가까이 늘어나고 있습니다.
앞으로 20년 이내에는 사람 수준의 복잡한 모델이 나올 것으로 예상됩니다.
또한, 다양한 대가들도 이에 대해 자신의 의견을 제시하고 있습니다.
마이크로소프트, 딥마인드, 구글, 오픈AI 등 다양한 회사에서 초거대 언어 모델 연구를 진행하고 있으며 성능도 꾸준히 개선되고 있습니다.
또한, MMLU 벤치마크를 통해 GPT-4는 다른 모델들보다 뛰어난 성능을 나타내고 있습니다.
많은 트레이닝 데이터와 비용이 필요하므로, 현재로서는 아직 이를 활용하기에는 어려움이 있지만, 앞으로 인공지능 언어 모델이 더욱 발전해 인간의 탐구와 발견에 큰 도움을 줄 것으로 기대됩니다.
트랜드에 따라서 언어 모델들이 전부 트랜스포머 기반 구조를 가지고 있으며, 모델 크기 증가, 데이터양 증가, 데이터 품질 다양화 및 컴퓨팅 효율화 등 4가지 방법을 통해 모델의 성능을 향상시키는 것이 핵심적이라는 것을 정리할 수 있다.
언어 모델의 성능 향상에 따라 연구 분위기도 변화가 생겨나고 있으며, 공개적으로 연구결과를 공개하는 태도도 변화하고 있다.
이에 대한 대표적인 예시로 GPT-4의 공개 비공개 문제가 제기되고 있다.
언어 모델이 사람 수준의 똑똑함까지는 아니지만, 인공지능 모델이 사람이 할 수 있는 정도 이상의 복잡한 일을 할 수 있다는 가능성이 열린 것은 사실이다.
이와 관련해서 철학과 교수는 파라미터가 1750억 개인 GPT-3도 의식이 있다고 할 수 있지 않을까라는 생각을 제기하였다.

 

반응형

 

 

 

Ask an investment question in the comments and let AI answer (ChatGPT)

https://www.youtube.com/watch?v=BB-qv4dj_l4 

 

 

 

[ Summary ]

Google recently announced the closed beta of its new chatbot, Bard, and we compared it to GPT4.
While Bard can be updated with the most recent data, GPT4 can get the latest information by searching online in parallel.
GPT4 also supports image input.
The two chatbots also differ in terms of language support and text length.
GPT4's linguistic reasoning ability was found to be superior.
As an example, one of the GPT4 data published in this article was a problem of summarizing the story of "Cinderella" using alphabetical order.
This article provides a comparison of GPT and Bard linguistic tools and examples of their use.
GPT shows better accuracy and reasoning compared to Bard, and has been shown to perform better on tests in higher education.
However, it still gives incorrect answers and has shortcomings in technical reports.
These shortcomings are not specific to GPT, but rather to the language model as a whole.
In this article, you will learn about GPT and Bard, in what situations they are used, and what their strengths and weaknesses are.
This article is about GPT, an AI language generation model, and its evolution.
GPT is trained by predicting the next word, and there are ways to use the model to generate correct answers.
However, when GPT's answers are inadequate, complementary models such as anti-GPT are often used.
The use of GPT4 and BODY is controversial, and more advanced models are being developed internally.
While the principle of how these language generation models work seems simple, the science of how to train them is still very scientific and complex.
While these problems may be easy in our minds, problems like fill-in-the-blank in English text taken from SAT practice tests will be more difficult.
However, if a model can be created that is good at filling in gaps in such complex text, it means that the model has a good understanding of the text.
GPT can develop and train language models that can solve these fill-in-the-blank problems.
How this works is illustrated using a simple model as an example.
Training is about tuning the parameters to match the input and output, which can be done by calculating the derivative.
The math for this derivative is complex, and a more sophisticated model, Transformer, is used.
You can also refer to Google's Attention paper from 2017.
The doll was also sold nearly 70,000 times.
The Transformer model developed outperformed existing models and was used in almost all of the subsequent overlapping language models.
To train these models, you need to be able to do differentials, which is where big tech sums like Pytoch and TensorFlow come in.
These models are nothing more than regular differential calculators, but they can differentiate even these complex expressions.
To train these models, we need text datasets, the largest of which is collected and stored by a nonprofit called the Common Crown.
By using this dataset to train the model, fine-tuning can be done in less time.
Pre-training is all the rage these days, and it requires collecting interactive data.
In the US, this involves hiring dozens of people to collect data.
Open AI hired a number of freelancers to write answers to questions like food recipes and shopping lists.
This resulted in 13,000 data examples, which were then fine-tuned to create a chatbot.
This model is used in conjunction with an automatic scoring model, which pulls multiple answers to a question and selects the most appropriate one.
In the course of the work, the freelancers created 33,000 datasets to select the best answers.
To do this, Open AI contracted with Microsoft to build a supercomputer.
The process was expensive and buggy.
However, these models are now used in many fields.
To create more powerful language models, you need models that are hundreds or thousands of times larger than the existing ones.
This makes training them almost prohibitively expensive and requires supercomputers.
The more parameters a language model has, the smarter it gets, but it needs to be very well trained.
From 2018 to 2021, language models created by Google Open AI and others have seen a huge increase in model size, and the increase in model size and performance is more than 100 million times on a logarithmic scale.
Compared to the size of the human brain and the number of synapses, GPT1 was about the size of an 8, GPT2 was about the size of an arm, and GPT3 was about the size of a bee (the brains of bees and insects are similar), and the latest language models have more than 54 billion parameters, and various abilities are expressed.
This article provides information on the size and evolution of AI language models.
GPT-3 is more useful to us than it is to rats, and the size of the largest language models is now in the hundreds of billions, growing by a factor of 10 every year.
Within the next 20 years, we can expect to see models of human-level complexity.
The big names are also weighing in with their thoughts.
Companies as diverse as Microsoft, DeepMind, Google, and OpenAI are working on super-large language models, and their performance is steadily improving.
The MMLU benchmark also shows that GPT-4 outperforms other models.
Although it requires a lot of training data and cost, so it is still difficult to utilize it at the moment, it is expected that AI language models will be further developed in the future and will greatly help human exploration and discovery.
According to the trend, we can summarize that language models all have a transformer-based structure, and it is essential to improve the performance of the model through four methods: increasing the size of the model, increasing the amount of data, diversifying the quality of the data, and improving computing efficiency.
As the performance of language models improves, the research atmosphere is changing, and the attitude toward publicly disclosing research results is also changing.
A prime example of this is the public disclosure of GPT-4.
Although language models are not as smart as humans, it is true that it has opened up the possibility that artificial intelligence models can do complex things beyond what humans can do.
In this regard, a philosophy professor raised the idea that GPT-3, which has 175 billion parameters, could be considered conscious.