DeepSeek-R1 모델에 대한 정리

주말 사이에 큰 뉴스가 나왔다.

미국 빅테크가 LLM에 쏟아붇는 돈의 1%만 가지고 LLM의 선두주자인 OpenAI와 견줄만한 LLM 성능을 만들어냈다는 것

 

중국의 DeepSeek라는 회사의 DeepSeek-R1이라는 모델인데 비용을 크게 줄이면서 좋은 성능을 내는 모델이라고 한다.

DeepSeek vs OpenAI

LLM의 선두주자 OpenAI o1의 모델과 성능을 비교한 것이다.

대부분의 추론능력면에서  OpenAI에 뒤지지 않는 결과를 보여줬다.

 

이 밖에도 영어, 코딩, 수학, 중국어 등 추론능력이 필요한 분야 뿐 아니라 비추론 능력부분까지도 OpenAI의 chat gpt와 비슷한 퍼포먼스를 냈다.

Code부분의 Codeforces가 있는데 전 세계 컴공생들 사이에서 유명한 알고리즘 문제풀이 사이트이다.

Codeforces 레이팅이 OpenAI가 2061, DeepSeek-R1이 2029인데 퍼플에 해당하는 레이팅으로 두 모델 모두 상당히 수준높은 사고를 할 수 있다는게 보인다.

---

결론적으로 투자자들의 반응은 이렇다.

 

미국은 강력한 컴퓨팅 파워를 기반으로 LLM을 발전시키는데 중국은 상대적으로 낮은 컴퓨팅 파워로 강화 학습 알고리즘을 적절히 활용하여 적은 비용으로 비슷한 수준의 LLM을 만들어냄.

(강화학습은 10년 전에도 있던 방식)

컴퓨팅 파워 의존도 하락에 따른 엔비디아 그래픽카드 영향력 축소

 

반면에 과연 미국 빅테크 기업들이 이 사실을 몰랐을까? 라는 의문도 함께 있다.

이 사실을 알면서도 천문학적인 돈을 투자했기 때문에 DeepSeek방식에 한계가 있을 것

or

컴퓨팅 파워와 강화학습 방법을 같이 활용하면 더 인간같은 LLM을 만들 수 있을 것, 투자는 줄어들지 않을 것

 

이제 막 뜬 뉴스라서 아직은 정말 혁신적인 방법인건지 기존의 투자가 필요 없어지는 건지 잘 모르겠다.

개인적으로는 정말 미국의 빅테크들이 이 사실을 몰랐을까 라는 생각이 더 많이 들긴 한다.

 

---

DeepSeek 모델에 대한 간단한 소개

 

BaseModel: DeepSeek-V3-Base

BaseModel에서 SFT(지도학습)을 하지 않고 바로 RL(강화학습)을 적용한 모델: DeepSeek-R1-zero

→ 추론능력이 상당히 발달됐지만 가독성이 떨어지고 언어 혼합과 같은 문제 발생

RL이전에 Cold-start데이터를 포함시킨 모델: DeepSeek-R1

 

성능

DeepSeek-V3-Base < DeepSeek-R1-zero < DeepSeek-R1

또한 Cold-start 데이터와 RL을 통해 만든 DeepSeek-R1모델의 증류 모델이 RL을 적용했을 때보다 더 나은 성능을 보임

 

 

강화학습을 하면서 RM(보상 모델)을 통해 최적의 방향을 결정할 수 있도록 함

RL이 진행될 수록 모델은 더 많은 추론시간을 들여 복잡한 문제를 해결함

 

Cold-start데이터는 명확하고 일관된 Chain of thought를 생성할 수 있도록 다음의 과정을 포함함

 

1. long CoT 예제를 포함한 소량 샷 프롬프트 사용 (Chain of thought의 예시를 넣고)
2. 반성 및 검증 과정을 포함한 상세한 응답을 생성하도록 모델에 프롬프트 제공 (검증을 통해 상세히 응답하도록 하고)
3. DeepSeek-R1-Zero의 출력을 가독성 높은 형식으로 처리 (가독성이 좋게 출력하도록 하고)
4. 인간 검토자에 의해 후처리된 데이터 사용 (인간이 검토한 데이터를 사용)

 

Chain of thought: 사람이 추론적 문제를 사고할 때 생각하는 것 처럼 문제의 로직 하나 하나 분석해나가는 과정을 프롬프트에 포함시키는 것

 

특히 사고가 필요한 수학, 논리학, 코딩 등 명확한 답이 있는 문제를 해결하도록 초점을 맞췄다고 함

 

프롬프트 엔지니어가 참 중요하겠다 라는 생각도 든다. 사실상 프롬프트를 어떻게 넣느냐로 인공지능이 학습하니..