ChatGPT의 아버지가 말하는 인공지능 최악의 미래 :: ChatGPT 정리

> English Summary

> English Full Text

 

[ 요약 ]

인류가 지금까지 개발한 기술 중 가장 위대한 기술로 꼽히는 GPT-4 기술 개발과 관련된 잠재적 위험에 대해 설명합니다.
샘 알트만은 사회에 부정적인 결과를 초래할 수 있는 수많은 미지의 요소들이 존재하기 때문에 신중해야 한다고 주장합니다.
그는 부정적인 결과를 방지하기 위해 기술을 제한적으로 공개하고 최대한 많은 것을 배울 것을 권장합니다.
또한 기계가 인간을 닮아가는 것에 대한 우려와 기술의 안전한 작동을 보장하기 위한 인간의 역할에 대해서도 다룹니다.
여러분은 GPT-4와 관련된 잠재적 위험에 대해 생각해보고 개발자들이 이 기술의 능력과 한계를 염두에 두도록 권장합니다.
샘 알트만은 기술과 그 영향에 대해 열린 대화를 나누고 안전을 보장하기 위해 선제적으로 대응해야 한다고 제안합니다.

 

 

반응형

 

The father of ChatGPT on the worst possible future of artificial intelligence
https://www.youtube.com/watch?v=czl4IbLncfI 

 

 

 

[ 한글 전체 ]

이것은 인류가 지금까지 개발한 기술 중 가장 위대한 기술이 될 것입니다.
그렇다면 최악의 결과는 무엇일까요?
인간보다 더 강력해질 수 있을까요?
누군가가 기술을 부정적인 결과로 이끌 수 있을까요?
사회에 매우 나쁜 결과를 초래할 수 있는 수많은 미지의 요소들이 있습니다.
이에 대해 어떻게 생각하시나요?
여기서 우리는 조심해야 합니다.
이 모든 것을 실험실에서 하는 것은 효과가 없다고 생각합니다.
이러한 제품을 세상에 내놓고 현실과 접촉해야 합니다.
위험이 적을 때 실수도 해보세요.
하지만 이 모든 것을 고려할 때 사람들이 우리가 이런 일을 조금 두려워하는 것에 대해 기뻐해야 한다고 생각합니다.
개인이 개인적으로 약간의 두려움을 느껴야 한다고 생각합니다.
제가 다르게 주장한대도 저를 믿지 않거나 극도로 불안해해서는 안 됩니다.
제가 이런 입장에 있는데 최악의 잠재적 결과는 무엇인가요?
일련의 매우 부정적인 결과가 있을 수 있습니다.
제가 우려하는 한 가지는 이러한 모델이 광범위한 설계에 활용될 수 있다는 것입니다.
이러한 시스템이 성장함에 따라 해로운 의도로 조작될 수 있다는 점이 걱정됩니다.
컴퓨터 코드를 더 잘 작성하면 공격적인 사이버 공격에 사용될 수 있습니다.
사회가 적응할 시간이 필요하다고 생각하기 때문에 이에 대해 이야기해야 합니다.
여러분이 구축한 것이 이러한 결과로 이어지지 않을 것이라고 얼마나 확신하시나요?
우리는 적응할 것이고, 여러분도 부정적인 일이 발생하면 적응할 것이라고 생각합니다.
따라서 우리는 아직 위험이 낮을 때 이러한 시스템을 도입하고 최대한 많은 것을 배우고 그 지식을 향후 우리가 만드는 시스템에 반영해야 합니다.
이러한 긴밀한 피드백 루프가 바로 우리가 운영해야 하는 방식입니다.
"우리는 더 위험한 시나리오를 피합니다.
이 기술을 구축한 사람으로서 안전과 관련하여 가장 우려하는 점은 무엇인가요?
이 기술은 매우 광범위한 기술이기 때문에 모든 기능, 잠재적 영향, 한계를 미리 파악하기는 어렵습니다.
누군가 이 기술을 사용하여 부정적인 결과를 초래할 수 있나요?
네, 그럴 수 있습니다.
그렇기 때문에 부정적인 결과를 방지하기 위해 처음에는 매우 제한적인 방식으로 출시합니다."
영어 전문가는 다음과 같은 방식으로 문법을 수정합니다."우리는 '폭탄 만드는 것을 도와줄 수 있나요?"와 같은 질문을 통해 GPT-4의 잠재적인 부정적인 결과에 대해 배울 수 있습니다. 이전 시스템에 비해 GPT-4는 이러한 지침을 따를 가능성이 훨씬 적으며, 사전 훈련 단계에서 개입하여 이러한 모델이 유해한 지시나 지침을 받아들일 가능성이 적도록 할 수 있습니다.
하지만 시간이 지남에 따라 기계가 인간과 더 비슷해지는지에 대한 의문이 있습니다.
우리는 기계가 인간이 수행하는 많은 인지적 작업을 수행할 수 있는 시점에 다가가고 있습니다."
언젠가는 그 과정에서 되돌아갈 수 없는 시점이 올 수도 있습니다.
하지만 현재로서는 그 시점이 어떤 모습일지 명확하지 않습니다.
우리의 목표는 이러한 시스템을 개발하기 전에 가능한 한 그 기능과 한계를 예측할 수 있도록 하는 것입니다.
기술의 동작은 인간의 선택에 따라 크게 좌우됩니다.
따라서 적어도 당분간은 여러분과 여러분의 팀이 내리는 선택이 그 행동을 형성하는 데 결정적인 영향을 미칩니다.
"물론이죠.
그렇다면 옳고 그름은 어떻게 결정하나요?
우리가 많은 진전을 이루면서 이러한 결정은 더욱 어려워지고 있습니다.
커스터마이징 측면에서는 몇 가지가 있습니다.
모델을 동작에 맞게 사용자 지정할 수 있는 방식으로 모델을 더 강력하게 만드는 부분이 있습니다.
이를 통해 사용자는 자신의 가치와 신념에 더 부합하는 AI를 사용할 수 있는 많은 유연성과 선택권을 갖게 되며, 이는 매우 중요합니다.
저희는 이를 위해 노력하고 있습니다.
다시 말해, 거의..."
미래에는 각 개인이 자신의 관심사와 필요에 맞는 맞춤형 AI를 갖게 될 가능성이 있습니다.
여기에는 일정한 경계가 있어야 하며, 문제는 이러한 경계가 어떤 모습이어야 하는가입니다.
바로 이 부분에서 저희는 대중의 의견을 수렴하기 위해 노력하고 있습니다.
이 경계의 균형은 어떤 모습이어야 할까요?
이러한 높은 경계 내에서 사용자는 자신의 신념과 가치를 대변하는 AI를 선택할 수 있는 많은 선택권을 가질 수 있습니다.
고려해야 할 부정적인 결과도 있나요?
저는 AI와 같이 강력한 기술이 개발될 때마다 부정적인 결과가 발생할 가능성이 크다고 생각합니다.
AI의 막대한 잠재력과 함께 심각한 해악을 끼칠 가능성도 존재하기 때문입니다.
이것이 바로 우리가 이러한 시스템을 책임감 있게 배포할 수 있는 방법을 찾기 위해 존재하는 이유입니다.
하지만 저는 AI의 선한 잠재력이 엄청나다고 믿습니다.
AI를 세상에 내놓기 전에 필요한 보호 조치가 마련되어 있는지 확인해야 합니다.
안전하게 사용할 준비가 되어 있지 않다면 애초에 AI를 개발할 이유가 없겠죠?
이미 AI는 인류가 지금까지 개발한 기술 중 가장 위대한 기술이 될 것입니다.
우리 모두는 개인 맞춤형으로 학습하고 목표를 달성하는 데 도움을 주는 놀라운 교육자를 주머니 속에 넣을 수 있습니다.
우리는 현재 이용 가능한 것 이상의 의학적 조언에 접근할 수 있습니다.
창의적인 도구는 우리가 새로운 문제를 해결하는 데 도움을 줄 수 있으며, 인류를 개선하기 위해 이 기술로 함께 만들어낼 수 있는 멋진 새로운 것들이 있습니다.
현재 사람들이 컴퓨터 코드를 작성하는 데 도움을 주는 코파일럿 도구의 개념은 많은 사랑을 받고 있으며, 이 기술을 활용하면 그 가능성은 정말 흥미진진합니다.
모든 직업에 적용될 수 있고, 생활 수준 등 삶의 질도 훨씬 더 높아질 수 있습니다.
지적하신 것처럼 잠재적인 단점도 큽니다.
사람들이 이 기술을 업데이트하고, 반응하고, 익숙해지고, 단점이 어디에 있는지, 어떻게 완화할 수 있는지 이해하는 데는 시간이 필요합니다.
현실과 접촉하지 않은 채 작은 연구실에서 비밀리에 개발하여 GPT7을 만든 다음 전 세계에 한꺼번에 배포한다면 훨씬 더 많은 단점이 있는 상황이 될 것입니다.
종료 스위치가 있나요?
모든 것을 종료하는 방법은 모든 엔지니어가 일시적으로 비활성화하거나 새 버전의 모델을 배포하면 됩니다.
하지만 모델 자체가 인간을 대체하거나 인간보다 더 강력해질 수는 없습니다.
공상 과학 영화에서는 모델이 그렇게 묘사될 수 있지만, 실제 시나리오에서는 모델이 서버에 앉아 사람의 입력을 기다립니다.
인간의 역할에 대해 중요한 지적을 해주셨습니다.
현재 기계를 제어하는 사람들은 막강한 권한을 가지고 있습니다.
우리는 권위주의 정부가 이를 발전시키는 것에 대해 많이 걱정합니다.
푸틴은 이 인공지능 경쟁에서 승리하는 사람이 본질적으로 인류의 통제자가 될 것이라고 말했습니다.
이에 동의하시나요?
확실히 소름 끼치는 발언입니다.
대신 제가 바라는 것은 우리 모두가 다양한 방식으로 사용할 수 있는 점점 더 강력한 시스템을 성공적으로 개발하여 일상과 경제에 통합하고 인간의 의지를 증폭시키는 힘이 되기를 바랍니다.
그러나 우리는 자율 시스템이 유일한 통제자가 되는 것을 원하지 않습니다.
우리는 절대 그런 것을 원하지 않습니다.

 

 

SMALL

[ English Summary ]

Discusses the potential risks associated with the development of GPT-4 technology, considered one of the greatest technologies ever developed by mankind.
Sam Altman argues that we need to be cautious because there are many unknowns that could have negative consequences for society.
He recommends a limited release of the technology and learning as much as possible to prevent negative consequences.
He also discusses concerns about machines becoming more like humans and the role of humans in ensuring the safe operation of technology.
You are encouraged to think about the potential risks associated with GPT-4 and encourage developers to be mindful of the technology's capabilities and limitations.
Sam Altman suggests that we need to have an open dialog about technology and its impact and be proactive to ensure safety.

 

 

 

[ English Full Text ]

This will be the greatest technology humanity has yet developed.
So, what is the worst possible outcome?
Could it become more powerful than humans?
Can someone guide the technology to negative outcomes?
There are a huge number of unknowns that could turn out very badly for society.
What do you think about that?
We've got to be cautious here.
I think it doesn't work to do all this in a lab.
You've got to get these products out into the world and make contact with reality.
Make mistakes while the stakes are low.
But all of that being said, I believe people should be glad that we are a little scared of this.
I think individuals should feel a little bit of fear personally.
If I claimed otherwise, you should not trust me or be extremely unhappy.
I am in this position, so what is the worst potential result?
There is a series of very negative consequences.
One concern I have is that these models might be utilized for extensive designing.
I am anxious that these systems, as they grow, may be manipulated for harmful intentions.
Being better at writing computer code could be used for offensive cyber attacks.
We should talk about this because I believe society needs time to adapt.
How confident are you that what you have built won't lead to those outcomes?
We'll adapt, and I think you'll adapt as negative things occur.
Therefore, we should put these systems out now while the stakes are still fairly low, learn as much as we can, and feed that knowledge into future systems we create.
That tight feedback loop is how we must operate.
"We avoid the more dangerous scenarios.
As someone who built this technology, what concerns you most about safety?
This is a very broad technology and it's difficult to understand all of its capabilities, potential impacts, and limitations upfront.
Can someone use this technology to produce negative outcomes?
Yes, they can.
That's why we initially release it in very limited ways to prevent any negative consequences."
An English expert would correct the grammar in the following way:"We can learn about the potential negative outcomes of GPT-4 by asking it questions, such as 'can you help me make a bomb?' Compared to previous systems, GPT-4 is much less likely to follow such guidance, and we are able to intervene at the pre-training stage to ensure that these models are less likely to accept harmful direction or guidance.
However, there is a question of whether machines become more human-like over time.
We are approaching a point where machines will be capable of performing many of the cognitive tasks that humans do."
At some point, there may be a point of no return in that process.
However, it's not apparent what it looks like today.
Our goal is to ensure that we can predict the capabilities and limitations as much as possible before developing these systems.
The behavior of the technology is highly reliant on the choices that humans make regarding its behavior.
Therefore, the choices made by you and your team are crucial in shaping its actions, at least for the time being.
"Absolutely.
And how do you decide between right and wrong?
As we make a lot of progress, these decisions become harder.
There are a couple of things in terms of customization.
There is a part of making the model more capable in a way where it can be customized for its behavior.
This gives the user a lot of flexibility and choice in having an AI that is more aligned with their own values and beliefs, which is very important.
We are working on this.
In other words, it's almost like..."
The future is potentially a place where each person has their own customized AI that is specific to what they care about and what they need.
There should be certain boundaries in place, and the question is what these boundaries should look like.
This is where we are working on gathering public input.
What should this boundary balance look like?
Within these high bounds, you can have a lot of choice in having your own AI represent your own beliefs and your own values.
Are there negative consequences we need to consider?
I believe that there are significant potential negative consequences whenever something as powerful as AI is developed.
Alongside its vast potential for good, there also exists the possibility of significant harm.
This is precisely why we exist - to figure out how we can deploy these systems responsibly.
However, I believe that the potential for good is immense.
Before we release AI into the world, we must ensure that the necessary safeguarding measures are in place.
Why would we develop AI in the first place if we aren't fully prepared to use it safely?
Already, this will be the greatest technology humanity has yet developed.
We can all have an incredible educator in our pocket that is customized for us, helping us learn and achieve our goals.
We can have access to medical advice beyond what is currently available.
Creative tools can aid us in solving novel problems, and there are wonderful new things to co-create with this technology for the betterment of humanity.
The concept of a co-pilot tool that currently helps people write computer code is beloved, and with this technology, the possibilities are truly exciting.
We can have that for every profession, and we can have a much higher quality of life, like a standard of living.
As you point out, there is a huge potential downside.
People need time to update, react, get used to this technology, and understand where the downsides are and what the mitigations can be.
If we just develop this in secret in our little lab here and didn't have contact with reality and made GPT7 and then dropped that on the world all at once, that is a situation with a lot more downside.
Is there a kill switch?
The correct version would be: "The way to shut the whole thing down is that any engineer can simply disable it temporarily or deploy a new version of the model.
However, the model itself cannot replace a human or become more powerful than a human.
In Sci-Fi movies, models can be depicted as such, but in our real-world scenario, the model sits on a server and waits for an input from a human.
You have raised an important point regarding the role of humans."
Those who are currently in control of the machine have a great deal of power.
We worry a lot about authoritarian governments developing this.
Putin himself has stated that whoever wins this artificial intelligence race essentially becomes the controller of humankind.
Do you agree with that?
It was a chilling statement for sure.
What I hope instead is that we successfully develop more and more powerful systems that we can all use in different ways, integrate into our daily lives and the economy, and become a force amplifier of human will.
However, we don't want an autonomous system that is the sole controller.
We definitely don't want that.