[슈카월드] 주식 시장을 충격에 빠트린 '터보 퀀트'는 무엇인가

터보퀀트 : 극강의 압축률로 AI 효율성을 재정의.

구글의 최신 기술 터보 퀀트는 무엇일까?

대규모 언어 모델 및 벡터 검색 엔진을 위한 대규모 압축을

가능하게 하는 이론적으로 근거 있는 고급 양자화 알고리즘 세트.

AI 모델은 고차원 벡터(AI 모델이 정보를 이해하고 처리하는 기본적인 방식)로 이루어짐.

AI 모델은 글자를 이해하는 것이 아니라, 숫자로 인식.

(단어를 수천 개의 축이 교차하는 공간의 한 점으로 인식)

 

시간 단축을 위해 KV 캐시라는 디지털 요약 시트를 사용.

(자주 사용되는 정보를 간단한 레이블 아래에 저장, 즉시 검색 디지털 차트 시트)

대화가 길어질 수록 KV 캐시를 불러오는데, 시간을 다 소모함.

각 축을 따라 거리를 나타내는 표준 좌표를 메모리로 사용.

막대한 양의 메모리를 소비하고 KV캐시(장소 기억하는 공간)에서 병목 현상을 일으킴.

 

이번 구글의 기술은 성능 저하 없이 메모리 효율성을 높여줌.

AI 모델의 KV 저장소에서 발생하는 메모리 오버헤드 문제를 정확도 손실 없이 해결하는 압축 알고리즘.

고품질 압축 방법은? 데이터를 무작위로 회전시켜 정규분포로 만듦.

(어디에 무엇이 있는지 수학적으로 예측 가능 / 모든 범위를 다 찾을 필요 없이 확률 높은 곳 집중)

정규분포화 된 데이터는 일정 범위 안에 위치, 각도만 정확하게 입력하면 쉽게 찾을 수 있음.

ex) (x3, y4, z5)를 (37도 각도로 5걸음)으로 바꿈.

예외적인 값이 있으면 오류? 보정을 사용해서 데이터로 보다 가까운 값을 얻을 수 있음.

 

결과적으로 고효율(키-값 메모리 크기를 최소 6배 줄임) 압축이 가능함.

기존 16비트 데이터를 터보퀀트 3.5비트로 압축했는데 성능을 같았음.

32비트를 4비트로 압축해도 속도가 최대 8배 빨라짐.

(속도가 빨라지고 처리해야할 양이 증가하면 효율이 더 좋아지고 경쟁 기술 대비 정답률이 높음)

 

결국 메모리를 6배 덜 써도(압축) 속도도 빠르고 정답률도 높은 기술.

 

이러한 방식을 활용하면 AI 데이터 센터 전체의 메모리 수요가 완화되나?

일명 구글판 딥시크 충격.

그런데 메모리 효율이 좋아지면 메모리를 덜 쓰게 될까?

(병목 현상이 해결되면 성능이 좋아지는데 덜 쓰게 도리까?)

= AI로 생산성이 줄어들면 내 일은 줄어드는가?

포춘지 : AI 생산성의 역설 : 일은 줄어드는 게 아니라, 오히려 늘어난다!

(기업들은 더 많은 업무량을 요구)

 

영국 경제학자 제본스가 주창한 역설 : 석탄 생산에 관해 제시한 개념으로,

기술이 더욱 효율적이 될수록 수요가 증가한다는 것.

(기술의 효율화가 이어질수록 수요는 증가)

 

AI 수요는 더 폭등하고 메모리는 더 늘어날 것.

더 많은 애플리케이션을 활용할 수 있고 더 많은 모델 등장.

(클라우드가 필요한 모델을 로컬 라드웨어로 실행)

 

월 스트리트 저널 : 우리 삶 전체를 자동화하기 위한 수조 달러 규모의 경쟁이 시작되었다!

그런데 비즈니스 모델은?

앤트로픽을 보니까 AI 에이전트로 돈이 됨.

 

AI 비서 (개인 작업 처리)가 2단계 AI 붐을 주도하고 있음.

소프트웨어를 코딩하고 디버깅하면서 막대한 새로운 수익원 창출.

일하는 방식을 바꿀 수 있다면 수조 달러의 기회가 열릴 것.

- 메타버스는 일하는 방식을 바꾸지 못해서 실패.

 

사람의 개입 없이 반 자율 AI 봇의 등장.

(무엇인가 하기 시작)

 

AI 에이전트를 기반으로 AGI를 향해 나아가는 기업들.

(모든 것을 처리해주는 개인 비서)

 

젠슨황 : 우리는 이미 AGI를 달성했다고 생각합니다.