암기보다 추론 우선하기
일하는 법완벽하게 암기하지 못하는 능력은 뇌가 일반화 가능한 패턴과 사고 알고리즘을 찾도록 강제해요.
근거 발언 3개는 멤버십 기록이에요.
대가의 홀
안드레이 카르파티
Andrej Karpathy
AI와 첨단 기술1986년생
AI 연구자, OpenAI 창립 멤버, 전 테슬라 AI 책임자
전체 기록 705개
- 원칙 250
- 사례 127
- 발언 328
이 대가의 말로 질문하기
가입 없이 하루 3번 무료예요.
원칙
전체 250개 가운데 기본 기록 38개
원칙은 대가의 공개 발언을 저희가 정리한 내용이에요.
고유한 가치 창출에 집중하기
커리어이미 결과가 결정된 것처럼 보이는 문제에 매달리기보다, 자신의 기여가 결과에 고유한 변화를 줄 수 있는 영역에 집중해야 해요.
기여도 할당 문제 파악하기
결정복잡한 시스템에서는 어떤 구체적인 행동이 지연된 보상으로 이어졌는지 판단하기 어려운데, 이를 파악하는 것이 개선의 핵심이에요.
근거가 된 발언
컴퓨터 비전 분야에서 2012년의 AlexNet은 대부분 1990년대 컨브넷(ConvNets)의 규모를 키운 버전이었어요.
원문 보기원문 접기
In Computer Vision, the 2012 AlexNet was mostly a scaled up (deeper and wider) version of 1990's ConvNets.
출처 안드레이 카르파티 Deep Reinforcement Learning: Pong from Pixels, 2016 (새 창에서 열려요)
근거 발언 2개는 멤버십 기록이에요.
더 나은 학습을 위한 피드백 표준화
일하는 법보상이나 결과를 표준화해서 긍정적 피드백과 부정적 피드백이 균형 있게 전달되도록 하면 학습 과정이 더 안정적으로 변해요.
근거가 된 발언
이게 작동하면 안 될 것 같은데, 재미있게도 우리가 사는 우주에서는 실제로 작동해요.
원문 보기원문 접기
It shouldn't work, but amusingly we live in a universe where it does.
출처 안드레이 카르파티 Deep Reinforcement Learning: Pong from Pixels, 2016 (새 창에서 열려요)
근거 발언 2개는 멤버십 기록이에요.
비비탄 총의 원칙
전략복잡하고 자원이 많이 드는 기술을 도입하기 전에 항상 간단하고 비용이 적게 드는 해결책과 기준점을 먼저 테스트해야 해요.
근거가 된 발언
만약 문제 해결을 위해 정책 경사법을 꼭 써야겠다면, 논문의 트릭 섹션에 주의를 기울이고, 먼저 단순하게 시작하며, TRPO라는 변형 기법을 사용해 보세요.
원문 보기원문 접기
And if you insist on trying out Policy Gradients for your problem make sure you pay close attention to the tricks section in papers, start simple first, and use a variation of PG called TRPO
출처 안드레이 카르파티 Deep Reinforcement Learning: Pong from Pixels, 2016 (새 창에서 열려요)
근거 발언 2개는 멤버십 기록이에요.
전문가 감독 활용하기
기술인간 전문가의 데이터나 알려진 물리 모델을 통합해서 탐색이나 학습 과정의 난이도를 낮춰야 해요.
근거가 된 발언
만약 문제 해결을 위해 정책 경사법을 꼭 써야겠다면, 논문의 트릭 섹션에 주의를 기울이고, 먼저 단순하게 시작하며, TRPO라는 변형 기법을 사용해 보세요.
원문 보기원문 접기
And if you insist on trying out Policy Gradients for your problem make sure you pay close attention to the tricks section in papers, start simple first, and use a variation of PG called TRPO
출처 안드레이 카르파티 Deep Reinforcement Learning: Pong from Pixels, 2016 (새 창에서 열려요)
근거 발언 2개는 멤버십 기록이에요.
피드백을 통한 반복적 개선
배움모델은 반복적으로 예측하고, 손실을 통해 놀라움의 정도를 측정하며, 그 놀라움을 줄이기 위해 파라미터를 조정하면서 개선돼요.
근거 발언 3개는 멤버십 기록이에요.
소프트웨어 3.0을 위한 구축
제품단순히 기존 앱의 속도를 높이는 데 그치지 말고, 전통적인 구조 없이 모델이 입력을 출력으로 직접 변환하는, 이전에는 불가능했던 변화를 찾아내야 해요.
근거 발언 3개는 멤버십 기록이에요.
발전을 이해하기 위해 고전을 재현해요
배움기초적인 연구를 다시 구현해 보면 현대의 어떤 혁신이 성능 향상에 가장 큰 기여를 했는지 정확히 파악할 수 있어요.
근거 발언 3개는 멤버십 기록이에요.
선형적 특성의 결함 이해하기
위험적대적 취약성은 모델의 복잡성보다는 선형적인 특성에서 기인하는 경우가 많아요. 이를 인식하면 음성이나 이미지 인식 등 다양한 분야의 리스크를 파악하는 데 도움이 돼요.
근거가 된 발언
결론은 아주 미세하고 눈에 띄지 않는 노이즈 패턴을 추가함으로써 어떤 임의의 이미지라도 우리가 원하는 클래스로 분류되게 만들 수 있다는 거예요.
원문 보기원문 접기
The conclusion seems to be that we can take any arbitrary image and classify it as whatever class we want by adding tiny, imperceptible noise patterns.
출처 안드레이 카르파티 Breaking Linear Classifiers on ImageNet, 2015 (새 창에서 열려요)
근거 발언 2개는 멤버십 기록이에요.
회복탄력성을 위한 모델 유연성 활용
버티는 힘조작에 강한 시스템을 설계하기 위해 딥러닝 구조 고유의 유연성을 활용하세요. 학습을 가능하게 하는 바로 그 특성이 방어 체계를 구축하는 데에도 쓰일 수 있어요.
근거가 된 발언
결론은 아주 미세하고 눈에 띄지 않는 노이즈 패턴을 추가함으로써 어떤 임의의 이미지라도 우리가 원하는 클래스로 분류되게 만들 수 있다는 거예요.
원문 보기원문 접기
The conclusion seems to be that we can take any arbitrary image and classify it as whatever class we want by adding tiny, imperceptible noise patterns.
출처 안드레이 카르파티 Breaking Linear Classifiers on ImageNet, 2015 (새 창에서 열려요)
근거 발언 2개는 멤버십 기록이에요.
시그니처 특징으로 즐거움 주기
제품제품에 독특하고 인간적인 성격적 특성을 추가하면, 기능적인 완벽함만으로는 달성할 수 없는 정서적 공감과 고객 충성도를 만들 수 있어요.
근거가 된 발언
이런 경우에는 이와 같은 셰이퍼의 개입이 상황을 바로잡는 가장 경제적인 방법이었어요.
원문 보기원문 접기
In these cases, shaper interventions like this one were the most economical ways of rectifying the situation.
출처 안드레이 카르파티 Short Story on AI: A Cognitive Discontinuity., 2015 (새 창에서 열려요)
근거 발언 2개는 멤버십 기록이에요.
예외 상황을 위한 인간 개입
전략자동화된 시스템이 장기적인 계획이나 새로운 상황에서 실패할 때, 직접적인 인간의 개입이 행동을 교정하는 가장 비용 효율적인 방법인 경우가 많아요.
근거가 된 발언
이런 경우에는 이와 같은 셰이퍼의 개입이 상황을 바로잡는 가장 경제적인 방법이었어요.
원문 보기원문 접기
In these cases, shaper interventions like this one were the most economical ways of rectifying the situation.
출처 안드레이 카르파티 Short Story on AI: A Cognitive Discontinuity., 2015 (새 창에서 열려요)
근거 발언 2개는 멤버십 기록이에요.
자연스러운 상호작용 데이터의 가치
고객사회적 뉘앙스와 예기치 않은 행동을 포함한 실제 데이터는 종종 정제된 시뮬레이션 데이터보다 고객에게 더 가치 있어요.
근거 발언 3개는 멤버십 기록이에요.
콜드 스타트 문제 해결하기
전략모든 것을 처음부터 배우려 하기보다, 정보 밀도가 높은 데이터를 사용해 복잡한 시스템에 강력한 초기 상태를 제공하는 것이 효율적이에요.
근거 발언 3개는 멤버십 기록이에요.
복잡성이 낳는 창발적 특성
기술충분히 복잡한 최적화 목표를 추구하다 보면 의식이나 깊은 내부 표현 같은 창발적인 현상이 나타날 수 있어요.
건강 관리에 80/20 법칙 적용하기
집중어려운 생활 습관 교정에 매달리기 전에 물과 공기 정화처럼 가장 영향력이 큰 변화에 먼저 집중해야 해요.
근거가 된 발언
산업계의 비용 중심적 과잉 최적화는 이 글의 범위를 훨씬 넘어서는 깊은 토끼굴과 같아요.
원문 보기원문 접기
The cost-driven hyper-optimization of the industry is a deep rabbit hole way beyond the scope of this post.
출처 안드레이 카르파티 Chemical hygiene, 2025 (새 창에서 열려요)
근거 발언 2개는 멤버십 기록이에요.
복잡성의 격차를 인정하세요
집중특정하고 단절된 과제를 해결하는 것을 지능의 핵심 문제를 해결하는 것으로 착각해서는 안 돼요.
근거 발언 3개는 멤버십 기록이에요.
기본 기록 106개를 보고 있어요. 멤버십은 이 대가의 전체 기록 705개에서 답해요.
멤버십 알아보기같은 분야의 다른 대가
분야 전체 보기AI와 첨단 기술
공개 자료를 바탕으로 저희가 정리한 기록이에요. 안드레이 카르파티 본인이나 관계사와 제휴 · 후원 관계가 없어요. 내려야 할 내용이 있으면 알려 주세요. 내림 요청 창구