안드레이 카르파티

발언은 출처 원문에 있는 문장 그대로예요. 한국어는 저희가 옮겼고, 원문 보기를 누르면 영어 원문이 나와요.

• 기존 아이디어의 확장

  “컴퓨터 비전 분야에서 2012년의 AlexNet은 대부분 1990년대 컨브넷(ConvNets)의 규모를 키운 버전이었어요.”

  원문 보기원문 접기

  In Computer Vision, the 2012 AlexNet was mostly a scaled up (deeper and wider) version of 1990's ConvNets.

  저희 풀이AI의 발전이 완전히 새로운 알고리즘보다는 규모 확장에서 오는 경우가 많다는 점을 논의해요.

• 놀라운 현실

  “이게 작동하면 안 될 것 같은데, 재미있게도 우리가 사는 우주에서는 실제로 작동해요.”

  원문 보기원문 접기

  It shouldn't work, but amusingly we live in a universe where it does.

  저희 풀이복잡한 신경망 학습이 직관에 반하며 성공하는 현상에 대해 고찰해요.

• 제약 조건에서의 학습

  “하이퍼파라미터를 많이 튜닝하지 않고 제 (느린) 맥북에서 실험을 돌렸지만, 3일 밤 동안 학습시킨 후에 AI 플레이어보다 약간 더 나은 정책을 얻어냈어요.”

  원문 보기원문 접기

  I did not tune the hyperparameters too much and ran the experiment on my (slow) Macbook, but after training for 3 nights I ended up with a policy that is slightly better than the AI player.

  저희 풀이과도한 최적화 없이 일반 노트북에서 퐁 AI를 학습시킨 결과를 설명해요.

• 알고리즘 논리의 이해

  “결론적으로, 이 알고리즘들이 작동하는 '비결'을 이해하고 나면 그 강점과 약점을 논리적으로 파악할 수 있게 돼요.”

  원문 보기원문 접기

  In conclusion, once you understand the "trick" by which these algorithms work you can reason through their strengths and weaknesses.

  저희 풀이AI 도구의 유용성을 예측하기 위해 그것들이 실제로 어떻게 작동하는지 깊이 이해하도록 권장해요.

• 알고리즘의 제약 사항

  “현재의 공통된 의견은 정책 경사가 몇 가지 이산적인 선택지만 있는 환경에서만 잘 작동하며, 거대한 탐색 공간에서 무모하게 샘플링을 반복하지 않아도 되는 경우에 적합하다는 것이에요.”

  원문 보기원문 접기

  The current consensus is that PG works well only in settings where there are a few discrete choices so that one is not hopelessly sampling through huge search spaces.

  저희 풀이거대한 탐색 공간에서 정책 경사 알고리즘이 가지는 한계에 대해 논의해요.

• 실무적인 구현 조언

  “만약 문제 해결을 위해 정책 경사법을 꼭 써야겠다면, 논문의 트릭 섹션에 주의를 기울이고, 먼저 단순하게 시작하며, TRPO라는 변형 기법을 사용해 보세요.”

  원문 보기원문 접기

  And if you insist on trying out Policy Gradients for your problem make sure you pay close attention to the tricks section in papers, start simple first, and use a variation of PG called TRPO

  저희 풀이실제로 복잡한 강화 학습 알고리즘을 성공적으로 구현하는 방법에 대한 조언이에요.

• 모델 학습의 목표

  “모델의 목표는 데이터의 패턴을 학습한 다음, 그 안에 담긴 통계적 패턴을 공유하는 유사한 새 문서들을 생성하는 것이에요.”

  원문 보기원문 접기

  The goal of the model is to learn the patterns in the data and then generate similar new documents that share the statistical patterns within.

  저희 풀이생성 모델이 학습 데이터를 통해 실제로 달성하려는 것이 무엇인지 정의해요.

• AI 응답의 이해

  “여러분이 프롬프트로 문서를 시작하면, 모델의 관점에서 그 응답은 그저 통계적인 문서 완성일 뿐이에요.”

  원문 보기원문 접기

  When you initialize the document with your prompt, the model's response from its perspective is just a statistical document completion.

  저희 풀이ChatGPT의 응답이 본질적으로 문서의 통계적 완성이라는 점을 설명해요.

• 모델 파라미터의 정의

  “매개변수는 모델의 지식이에요. 이것들은 무작위로 시작해서 훈련 과정 중에 반복적으로 최적화되는 부동 소수점 숫자들의 거대한 집합(자동 미분을 위해 Value로 감싸진 형태)이에요.”

  원문 보기원문 접기

  Parameters The parameters are the knowledge of the model. They are a large collection of floating point numbers (wrapped in Value for autograd) that start out random and are iteratively optimized during training.

  저희 풀이신경망 구조에서 매개변수가 무엇을 나타내는지 설명해요.

• 소프트웨어 3.0 패러다임

  “소프트웨어 3.0은 프롬프트를 통해 프로그래밍하는 것이에요. 컨텍스트 창에 있는 내용이 인터프리터를 조종하는 레버가 되고, 그 인터프리터가 바로 LLM이에요.”

  원문 보기원문 접기

  Software 3.0 is about programming through prompting. What's in the context window is your lever over the interpreter, and the interpreter is the LLM.

  저희 풀이코드를 작성하는 것에서 모델에 프롬프트를 입력하는 것으로의 전환을 설명해요.

• 최적화 잠재력

  “오늘날의 모델들은 최적으로 구성되어 있지 않아요. 모델의 세부 사항, 손실 함수, 데이터 증강 또는 최적화 도구만 바꿔도 오차를 절반으로 줄일 수 있어요.”

  원문 보기원문 접기

  Today's models are not optimally formulated, and just changing some of the details of the model, loss function, augmentation or the optimizer we can about halve the error.

  저희 풀이카파시는 기존 모델의 더 나은 엔지니어링을 통해 여전히 상당한 이득을 얻을 수 있다고 제안해요.

• 소프트웨어의 미래

  “코드는 갑자기 무료가 되었고, 일시적이며, 유연하고, 한 번 쓰고 버릴 수 있는 것이 되었어요. 바이브 코딩은 소프트웨어 지형을 완전히 바꾸고 직업의 정의를 변화시킬 거예요.”

  원문 보기원문 접기

  code is suddenly free, ephemeral, malleable, discardable after single use. Vibe coding will terraform software and alter job descriptions.

  저희 풀이AI가 생성한 코드가 소프트웨어 개발의 비용과 유용성을 어떻게 변화시키는지 성찰해요.

• 모델의 취약성

  “결론은 아주 미세하고 눈에 띄지 않는 노이즈 패턴을 추가함으로써 어떤 임의의 이미지라도 우리가 원하는 클래스로 분류되게 만들 수 있다는 거예요.”

  원문 보기원문 접기

  The conclusion seems to be that we can take any arbitrary image and classify it as whatever class we want by adding tiny, imperceptible noise patterns.

  저희 풀이적대적 노이즈가 최첨단 신경망을 어떻게 속일 수 있는지 설명해요.

• AI 결함 해결

  “사실 딥러닝은 해결책에 대한 실질적인 희망을 제시해요. 합성 함수의 유연성을 이용해 더 저항력 있는 구조나 목표를 설계할 수 있기 때문이죠.”

  원문 보기원문 접기

  In fact, Deep Learning offers tangible hope for a solution, since we can use all the wiggle of composed functions to design more resistant architectures or objectives.

  저희 풀이딥러닝의 유연성이 자체적인 취약점을 해결하는 데 도움이 될 수 있다는 낙관적인 견해를 밝혀요.

• 인간 성능 기준선

  “400개의 이미지에 대한 제 분류 정확도는 약 94%였어요. 왜 100%가 아니냐고요? 어떤 이미지들은 정말 불공평할 정도로 어렵거든요!”

  원문 보기원문 접기

  My classification accuracy ended up at about 94% on 400 images. Why not 100%? Because some images are really unfair!

  저희 풀이안드레 카파시는 CIFAR-10 데이터셋을 직접 분류하는 능력을 테스트한 후 그 결과를 설명해요.

• 아키텍처보다 데이터

  “그것들은 과거에서 온 불멸의 원시 유물이었고, 자신들이 겪은 엄청난 양의 데이터로 결점을 보완했어요.”

  원문 보기원문 접기

  They were immortal primitive relics from the past, who made up for their faults with the immense amount of data they had experienced.

  저희 풀이엄청난 양의 학습 데이터가 구식 기술을 어떻게 보완할 수 있는지 설명해요.

• 경제적인 인간 개입

  “이런 경우에는 이와 같은 셰이퍼의 개입이 상황을 바로잡는 가장 경제적인 방법이었어요.”

  원문 보기원문 접기

  In these cases, shaper interventions like this one were the most economical ways of rectifying the situation.

  저희 풀이AI의 오류를 수정할 때 자동화된 재학습보다 인간의 가이드를 사용하는 것이 더 효율적인 경우가 많아요.

• 인간 대 컴퓨터 학습

  “인간과 컴퓨터가 실제로 사용할 수 있는 데이터의 강점, 약점, 유형은 근본적으로 달라요. 따라서 직접 비교하는 것은 불공평하며 인간의 학습에서 영감을 얻을 때는 극도로 주의해야 해요.”

  원문 보기원문 접기

  The strengths, weaknesses and types of data practically available to humans and computers are fundamentally misaligned. Thus, it is unfair to draw direct comparisons and extreme caution should be taken when drawing inspiration from human learning.

  저희 풀이컴퓨터가 반드시 인간과 똑같은 방식으로 학습해야 한다고 가정하는 것에 대해 경고해요.

• 산업적 비용 최적화

  “산업계의 비용 중심적 과잉 최적화는 이 글의 범위를 훨씬 넘어서는 깊은 토끼굴과 같아요.”

  원문 보기원문 접기

  The cost-driven hyper-optimization of the industry is a deep rabbit hole way beyond the scope of this post.

  저희 풀이그는 산업계가 이윤을 위해 어떻게 품질과 건강을 희생하는지 설명해요.