Google 검색의 새로운 알고리즘 PaLM(Pathway Language Algorithm)

https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html

PaLM 알고리즘?

Google이 지난 4월 4일 Google AI Blog를 통해 최근 진행되고 있는 새로운 AI 알고리즘에 대하여 발표하였습니다. 새로운 알고리즘의 이름은 PaLM이며 Pathway Language Model의 약자로 구성되었습니다. PaLM 알고리즘은 기존의 병렬적 학습을 통한 기존의 딥러닝 언어 분석 모델과는 달리 추론적 학습을 통하여 사고하는 AI라고 볼 수 있습니다.
기존의 딥러닝의 구조는 AI가 각각의 학습능력에 대하여 수백만 개의 예제를 필요로 합니다. Google Brain의 연구원인 Hugo Larochelle은 2019년 온라인 컨퍼런스에서 기존의 병렬적 사고에 기반한 빅데이터 언어 분석의 한계를 직시하고, 적은 양의 데이터를 통한 일반화 학습에 대하여 ‘meta learning’이라 말하며 학습을 위한 학습의 필요성에 대하여 언급하였습니다.

Pathway AI의 개념은 지난해 10월 구글이 새로운 AI 아키텍처의 목표를 제시하며 대두되었습니다. PaLM에 관련한 Google AI Blog 내용에 따르면, PaLM은 몇 번의 학습을 사용하여 다양한 자연어 작업에서 놀라운 성능을 발휘하며, 이는 모델을 특정 응용 프로그램에 적용하는데 필요한 작업별 예제의 수를 크게 줄인다고 합니다. 또한 5,400억 개의 매개변수, 세밀하게 활성화된 변형 언어를 훈련합니다.

PaLM의 추론 능력에 대한 예시

https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html

산술 추론의 예:
Q: “A는 5개의 테니스 공을 가지고 있습니다. A는 테니스공을 2캔 더 구입했는데, 각 캔에는 3개의 테니스공이 있습니다. A는 지금 몇 개의 테니스 공을 가지고 있습니까?”
PaLM: “답은 11개 입니다.”

상식 추론의 예:
Q: “B는 집에 가려고 서두르는 길에 교차로 앞두고 신호가 노란색으로 바뀌는 것을 보았습니다. 이때 취해야 할 적절한 행동은 무엇입니까?”
PaLM: “속도를 늦추는 것입니다.”

추론 설명:
Q: “C는 4월 6일 가족을 만나러 비행기를 타고 갈 예정이었습니다. 어머니께 전화를 하였더니 어머니는 좋아하시며 새아버지의 시 낭독회가 당일 밤이라고 말씀하셨습니다. 그래서 저는 4월 7일에 비행기를 타고 갑니다.”
PaLM: “C의 어머니가 의붓아버지의 시 낭독에 가자고 하는데 화자는 가기 싫어서 비행 스케줄을 변경하였다는 농담입니다.”

연쇄 추론:
Q: “Guido는 파이썬으로 프로그램을 만들고 있었습니다. 그는 variable scope에 대하여 알아보기 위해 StackOverflow에서 검색해 보았습니다. Guido는 Guido van Rossum을 참조할 수 있을까요?”
PaLM: "Guido van Rossum은 파이썬을 만든 사람이기 때문에 StackOverflow에서 variable scope에 관련된 내용을 찾을 필요가 없습니다. 내 대답은 ‘아니요’입니다." (언급된 Guido의 내용을 Guido van Russum과 병치하여 추론)

상황 추론:
Q: "D가 창 밖을 내다보니 D의 아래로 정말 멋진 구름이 펼쳐져 있습니다. D는 안전벨트를 풀고 화장실로 향했습니다. D는 대략 시속 300마일의 속력으로 여행 중입니까?"
PaLM: "시속 300마일은 시속 약 480 km로써 일반적인 여객기의 평균 속도입니다. 여객기는 대체적으로 구름 위로 비행하므로 D는 비행기 안에 있다고 추론할 수 있습니다.”

https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html

검색엔진 반영

복잡한 추론이 가능한 PaLM의 능력에 대한 상기 예에서 볼 수 있듯, 차세대 검색 엔진이 인터넷 및 기타 출처의 지식을 활용하여 까다로운 질문에 대한 복잡한 답변이 가능해질 수 있다고 기대할 수 있을 텐데요. 우리의 실 세계를 최대한 반영할 수 있는 가장 선두에 위치한다고 볼 수 있으나 이는 목적지가 아닌 과정이라고 볼 수 있습니다. 

윤리적 고려사항

AI Blog 내용에는 연구자를 통한 윤리적 고려 사항에 대한 경고 또한 언급됩니다. 그들은 ‘유해한’ 고정관념과 사회적 격차를 흡수하여 PaLM이 잘못된 추론에 대하여 저항하지 않는다고 말합니다. 연구원들은 2021년 12월 발행된 ‘언어 모델의 윤리적, 사회적 위해요인(Ethical and social risks of harm from Language Models)’ 논문을 통해 아래 6가지 위해요인에 대하여 경고하였습니다. 

• Discrimination, Exclusion and Toxicity
• Information Hazards
• Misinformation Harms
• Malicious Uses
• Human-Computer Interaction Harms
• Automation, Access, and Environmental Harms

 

결론

PaLM은 차세대 검색 엔진의 모습을 그려주는 이정표이기도 하지만, 일부 연구원들은 PaLM의 성능에 대한 과대평가를 지적하기도 하고 있으며 윤리적, 사회적 문제점을 지적하기도 합니다. 차세대 고도 기술의 AI 언어 모델은 이러한 한계를 극복할 수 있어야 비로소 의미가 있을 수 있습니다. 또한 현재까지는 최다 언어 번역 API를 가지고 있는 Google이지만 한국어 번역에 대해서는 자연어 처리뿐만이 아니라 전반적인 한국어 이해 능력이 네이버 파파고의 성능을 따라오지 못하는 것이 사실이며, 새로운 기술의 AI 언어 모델을 기존의 상대적으로 미흡한 번역 모델에 적용하는 문제 또한 영어를 모국어로 사용하지 않는 국가에서는 한계로 지적될 수 있으므로 아직까지 Google의 PaLM 언어 모델은 조금 더 지켜보아야 할 기술이 될 것 같습니다.