자동 평가와 인간의 직접 테스트를 병행하세요
제품자동화된 지표도 필요하지만 그것만으론 부족해요. 내부 팀과 외부 계약자들이 직접 제품을 망가뜨려 보면서 미묘한 결함을 찾아내야 해요.
근거가 된 발언
모델과 상호작용하는 방식에서 바꿀 수 있는 온갖 미묘한 것들이 결과에 매우 큰 차이를 줄 수 있어요.
원문 보기원문 접기
there are all kinds of subtle things that you can change about the way you interact with the model that can give you very different results.
한 가지를 밀어붙이면 미처 알아차리거나 측정하지 못한 다른 부분들이 함께 움직여버리는 두더지 잡기 같은 측면이 있어요.
원문 보기원문 접기
There's this whack- a-mole aspect where you push on one thing and these other things start to move as well that you may not even notice or measure.
출처 다리오 아모데이 Transcript for Dario Amodei: Anthropic CEO on Claude, AGI & the Future of AI & Humanity | Lex Fridman Podcast #452 - Lex Fridman, 2024 (새 창에서 열려요)
근거 발언 1개는 멤버십 기록이에요.
