Google AI, LLM의 컨텍스트 창 확장 기술 개발

출처 : https://chatgptai.mobi 

ChatGPTAI

Google AI, LLM의 컨텍스트 창 확장 기술 개발

Google AI 연구원들은 대규모 언어 모델 ( LLM )이 이전보다 최대 250배 더 ​​큰 컨텍스트 창을 처리하고 학습할 수 있도록 하는 "Ring Attention"이라는 새로운 기술을 개발했습니다 .

 

LLM은 인간의 언어를 생성하고 이해할 수 있는 AI 모델 의 한 유형입니다 . 이를 위해서는 방대한 양의 텍스트 데이터로부터 학습할 수 있어야 합니다. 이 데이터는 일반적으로 LLM이 텍스트를 학습하고 생성하는 데 사용하는 컨텍스트 창이라는 작은 덩어리로 나뉩니다 .

 

컨텍스트 창이 클수록 LLM이 더 많은 정보에 액세스할 수 있어 성과가 향상될 수 있습니다 . 그러나 더 큰 컨텍스트 창에는 더 많은 메모리 와 계산 리소스가 필요합니다.

 

Ring Attention은 LLM이 동일한 메모리 및 계산 오버헤드를 발생시키지 않고 대규모 컨텍스트 창을 처리할 수 있도록 하는 새로운 기술입니다. 이는 컨텍스트 창을 더 작은 덩어리로 분할한 다음 특별한 주의 메커니즘을 사용하여 주어진 시간에 가장 중요한 덩어리에 집중하는 방식으로 작동합니다.

 

이 새로운 기술은 LLM 개발 에 있어 획기적인 발전 입니다 . LLM은 더욱 유익하고 창의적 이며 매력적인 텍스트를 학습하고 생성할 수 있는 잠재력을 가지고 있습니다 .

Ring Attention의 잠재적 이점은 다음과 같습니다.

• 질의 응답 , 요약 , 번역 등 후속 작업의 성능이 향상되었습니다.
• 보다 창의적이고 유익한 텍스트 생성
• 더 크고 복잡한 데이터 세트에서 학습할 수 있는 능력

참고자료:

• 비즈니스 내부자 기사
• arXiv 논문

Ring Attention은 아직 개발 중이며 상용 LLM 제품에 언제 통합될지는 아직 확실하지 않습니다. 그러나 이 기술의 잠재적 이점 은 상당하며 AI 분야에서 흥미로운 발전입니다.