[월텍남] 딥시크, 실리콘밸리에서 끔찍한 000확인..."진짜 난리났습니다"

딥시크 발표.

딥시크의 허와 실.

성능은 좋은데 가격은 저렴 = 가성비.

량원펑 딥시크 대표.

'지난 30년 동안 중국은 돈 버는 것만 강조하고 혁신을 소홀히 했습니다.'

'혁신은 전적으로 사업성에 의해 주도되는 것이 아니라

호기심과 창의성도 필요합니다, 저희는 과거의 관성에 묶여있을 뿐입니다'

 

좋은 AI를 만들기 위한 3가지 요소.

1. 데이터 센터(GPU) 2. 데이터 3. 알고리즘(인력).

3가지를 모두 아우를 수 있는 기업들은 '빅테크'.

딥시크는 그래픽 카드도 없고 데이트는 더 없으며 직원들은 수십 명의 현지인임.

그런데 세계 최고의 성능을 싸게?

'알고리즘이 전부다!'

(새로운 물결)

지도학습 < 강화학습(기계가 만든 데이터로 기계를 학습)

알고리즘 혁신.

한정된 컴퓨팅 자원 속에서 가장 효율적인 방법.

'필요는 발명의 어머니다!'

획기적인 혁신 방법을 '오픈 소스'로 풀어버림.

 

'커다란 모델'을 '작은 모델'로 바꾸는 '증류'.

큰 모델을 조금 더 퀄리티가 높은 작은 모델로.

(싸게 공급할 수 있는 이유)

거대 언어 모델은?

다만, 원본 소스 모델이 어느 정도 사이즈가 있어야 함.

 

'우리가 직면한 문제는 결코 돈이 아니라 첨단 칩을 구매하지 못하는 제한조치입니다'

'엔비디아의 GPU는 이론적으로는 기술적인 비밀이 없기에 카피도 쉽습니다.'

'하지만 경쟁자들은 재정비하고 차세대 기술을 따라잡는데 시간이 걸리기 때문에

실제 엔비디아의 해자는 아직 매우 넓게 유지되고 있습니다!'

 

가성비 좋은 모델이 계속해서 발전하는 것은 당연한 이치.

 

테스트-타임 컴퓨팅(생각을 많이 할수록 성능이 좋아진)의 스케일링 법칙은 계속됨.

'추론에서의 컴퓨팅 파워가 AI의 성능을 결정한다!'

기계적인 지능에서 '인간적인 추론(지능의 창발에 이은)'으로.

 

패러다임 : 그래픽 카드가 많아질수록 정비례해서 성능은 좋아짐.