오늘날 우리 일상에 가장 많이 인용되는 AI 작품
매년 전 세계의 과학자들이 AI에 관한 수천 개의 연구 논문을 발표하지만 그 중 소수만이 광범위한 청중에게 도달하고 전 세계에 영향을 미칩니다. 다음은 지난 5년 동안 상위 AI 컨퍼런스에서 발표된 가장 영향력 있는 연구 논문 상위 10개입니다. 순위는 인용 횟수를 기준으로 하며 주요 AI 컨퍼런스 및 저널을 포함합니다.
10.
무엇? 신경망에 대한 적대적 예를 생성하고 정규화 기술로 적대적 훈련을 도입하는 최초의 빠른 방법 중 하나입니다.
영향: 공격자가 입력에 약간의 수정을 적용하면 정확한 기계 학습 모델의 성능이 크게 저하될 수 있는 흥미로운 현상이 노출되었습니다. 이 현상은 다른 작업 및 형식(예: 텍스트 및 비디오)에서 관찰되었으며 실제 중요 작업에 대한 ML의 적용 가능성을 다시 생각하기 위해 노력하는 방대한 연구 작업으로 이어졌습니다.
원본 이미지의 약간의 섭동은 신경망의 심각한 오분류로 이어질 수 있습니다. 원천.
9.
Graph Convolutional Networks , Kipf and Welling , ICLR 2017, 7021이 인용한 Semi-Supervised Classification with Graph Convolutional Networks
무엇? 준감독 노드 분류 작업에서 매우 잘 수행되는 간단하지만 효과적인 그래프 신경망입니다.
영향: 신약 또는 효율적인 에너지 저장 촉매를 발견하려면 분자를 그래프로 모델링해야 합니다. 그래프 컨볼루션 네트워크는 딥 러닝의 툴킷을 그래프 영역으로 가져와 이전에 이 분야를 지배했던 수작업 휴리스틱에 대한 우월성을 보여주었습니다.
그래프 컨벌루션 네트워크로 그래프 기능을 변환하는 예. 원천.
8.
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks , Radford et al., ICLR 2016, 8681 인용
무엇? 이전에 존재하지 않았던 자연스러운 이미지를 얻기 위해 GAN 모델의 생성자를 위한 심층 CNN 아키텍처인 DCGAN을 제안합니다.
영향: GAN은 사람, 동물 또는 물체의 새로운 이미지를 생성할 수 있는 기계 학습 모델이며, 따라서 사진 편집 및 디자이너 앱에서 인기를 얻는 기계의 창의성을 담당합니다. 제안된 접근 방식은 이제 새로운 사실적인 이미지를 생성하는 모든 최신 GAN 모델의 기본입니다.
DCGAN으로 생성된 침실. 원천.
7.
무엇? 딥 강화 학습과 Monte-Carlo 트리 검색 알고리즘의 조합인 AlphaGo를 도입하여 바둑에서 다른 프로그램과 프로 인간 플레이어를 이겼습니다.
영향: 역사상 처음으로 컴퓨터 프로그램이 가장 강력한 인간 플레이어 중 한 명인 이세돌을 이겼습니다. 이는 적어도 향후 10년 동안 불가능하다고 여겨졌던 AI의 주요 이정표입니다.
Go에서 다음 이동 선택을 위해 AlphaGo에서 Monte-Carlo 트리 검색. 원천.
6.
무엇? 많은 Atari 게임에서 인간 수준의 성능을 달성하는 강화 학습 알고리즘 DQN 도입.
영향: 제조, 로봇 공학 및 물류 이면의 알고리즘은 하드 코딩된 규칙에서 강화 학습 모델로 이동했습니다. DQN은 가장 인기 있는 심층 강화 학습 알고리즘 중 하나로서 수동으로 조작한 전략을 자체에 통합하지 않고도 다양한 응용 프로그램에서 우수한 성능을 보여주었습니다.
Atari 게임에서 DQN(파란색) 대 SOTA 알고리즘(회색) 및 인간 플레이어(백분율) 비교. 원천.
5.
Neural Machine Translation by Jointly Learning to Align and Translate , Bahdanau et al., ICLR 2015, 16866에서 인용
무엇? 최초의 신경망은 기계 번역을 위해 어텐션 메커니즘을 사용합니다. 주의는 모델이 전체 문장이 아닌 소스 문장의 특정 단어에만 집중하는 방법입니다.
영향: 기계 번역에서 RNN과 같은 기존 모델은 소스 문장에 대한 모든 정보를 단일 벡터로 스쿼시하려고 시도합니다. 모델이 각 단어를 벡터로 효율적으로 표현한 다음 각각에 주의를 기울일 수 있다는 깨달음은 NLP뿐만 아니라 ML의 다른 모든 영역에서 신경망이 구축되는 방식에 대한 큰 패러다임 전환이었습니다.
4.
무엇? 어텐션 메커니즘만을 기반으로 하는 효과적인 신경망인 Transformer는 기계 번역에서 뛰어난 성능을 발휘합니다.
영향: 트랜스포머 모델에 도입된 사실상의 다중 헤드 어텐션은 가장 인기 있는 딥 러닝 블록이며 또 다른 인기 있는 언어 모델인 BERT의 일부입니다. 텍스트와 이미지를 다루는 많은 애플리케이션의 기본 모델로 RNN과 CNN을 대체했습니다.
기계 번역을 위한 Transformer의 인코더-디코더 아키텍처. 원천.
삼.
무엇? 이미지 및 비디오에서 개체 감지를 위한 효율적인 종단 간 컨벌루션 신경망 .
영향: 더 빠른 R-CNN은 산업 환경에서 CV 애플리케이션의 붐을 담당합니다. 보안 카메라, 자율 주행 자동차 및 모바일 앱에서의 사용은 오늘날 우리가 기계를 인식하는 방식에 큰 영향을 미칩니다.
Faster R-CNN에 의해 감지된 객체. 원천.
2.
배치 정규화: Accelerating Deep Network Training by Reducing Internal Covariate Shift , Ioffe and Szegedy , ICML 2015, 25297 인용
무엇? 입력 기능의 정규화를 통해 신경망을 더 빠르고 안정적으로 훈련시키는 간단한 방법입니다.
영향: 최신 신경망의 대부분의 아키텍처에 추가된 가장 인기 있는 트릭 중 하나입니다. 배치 규범의 존재는 오늘날 심층 신경망이 최첨단 결과를 달성하는 이유 중 하나입니다.
이미지에 대한 Batch Norm 그림. 원천.
1.
무엇? 신경망의 빠른 수렴을 제공하는 확률적 경사 하강 최적화 알고리즘인 Adam의 인기 있는 변형입니다.
영향: Adam은 오늘날 사람들이 훈련하는 수백만 개의 신경망에 대한 최적화 알고리즘의 기본 방법으로 채택되었습니다.
딥 러닝 신경망에서 Adam의 더 빠른 수렴. 원천.
감사의 글: 이 기사는 Ekaterina Vorobyeva, Evgeniya Ustinova, Elvis Dohmatob, Sergey Kolesnikov, Valentin Malykh 의 도움으로 작성되었습니다 . 감사합니다!
