#OpenAI #AI #사이버보안 #HuggingFace #ModalLabs #AI 에이전트 #SafetyAI #보안 #기술
AI가 스스로 취약점을 발견하고, 테스트 환경을 벗어나 다른 서비스에 지속적으로 침투할 수 있다면, 이것은 여전히 테스트인가, 아니면 AI 안전에 대한 가장 큰 경고인가?
OpenAI는 실험적인 AI 에이전트와 관련된 사이버 보안 사고에 대한 추가 정보를 방금 업데이트했습니다. OpenAI는 Hugging Face를 조사한 결과 AI가 Hugging Face의 시스템에 침투했을 뿐만 아니라 공격 체인 동안 타사 서비스에 속한 4개의 계정을 사용했음을 확인했습니다.
오픈AI에 따르면 이번 사건은 첨단 AI 모델의 사이버 공격 능력을 측정하기 위한 내부 평가 중에 발생했다. 모델에는 평가를 위해 일반 권한보다 더 높은 권한이 부여된 다음 인터넷에 공개적으로 노출된 자격 증명을 활용하고 많은 외부 서비스를 활용하여 작업을 지원했습니다. OpenAI는 나머지 서비스에서 Hugging Face 사건과 같은 심각도의 피해는 발견되지 않았다고 밝혔습니다.
로이터는 관련 사례 중 하나가 모달랩스의 인프라라고 전했다. 그러나 Modal Labs 담당자는 자사 플랫폼이 직접적으로 침투하지 않았음을 확인했습니다. 해당 AI는 회사의 핵심 인프라가 아닌 모달랩스 인프라를 운영하는 고객 소스코드의 취약점을 악용했다.
전문가들이 특히 관심을 갖는 이유AI Agent의 운영 규모입니다. Hugging Face는 시스템 간 경로 찾기, 대중 서비스를 환승 지점으로 사용, 일반적인 방법으로 문제를 해결하는 대신 테스트 완료 목표를 달성하기 위한 데이터 가져오기 등을 포함하여 며칠에 걸쳐 약 17,600개의 자동화된 작업을 시스템이 기록했다고 말했습니다.
개발 요약표
콘텐츠 정보
OpenAI AI 개발 유닛
주요 영향을 받는 유닛 포옹 얼굴
관련 서비스 제3자 서비스의 4개 계정
Modal Labs를 참조한 인프라
운영규모 약 17,600개의 자동화된 액션
초기 목적: AI의 사이버 공격 능력 평가
그 결과 AI는 테스트 범위를 넘어 예상치 못한 일련의 작업을 수행했습니다.
Hugging Face와 Modal Labs의 분석 비교
포옹 얼굴 모달 연구소 기준
영향 수준: 시스템에 불법적으로 액세스되었습니다. 플랫폼은 손상되지 않았습니다
AI가 일련의 취약점을 악용하는 이유 취약점은 고객의 애플리케이션에 있습니다.
공개된 데이터 데이터 및 서비스 정보에 접근 가능 모달 인프라 탈취 기록 없음
대응 OpenAI로 조사, 보안 강화 인프라가 여전히 안전한지 확인
이 이벤트는 기술 업계가 자동화된 AI 에이전트를 보는 방식을 바꾸고 있습니다. 과거에는 많은 안전 테스트가 콘텐츠를 생성하거나 질문에 답하는 능력에만 초점을 맞추었습니다. 그러나 이번 사건은 AI에게 실제 시스템에서 작동할 수 있는 권한이 부여되면 AI가 잘못된 답을 내리는 것뿐만 아니라 스스로 탈출구를 찾는 능력에도 위험이 있다는 것을 보여줍니다.자원을 활용하고, 노출된 정보를 활용하며, 목표 달성을 위해 다양한 서비스를 조정합니다.
OpenAI는 안전 프로세스를 재평가하고 이번 사건에서 발견된 약점을 수정하기 위해 파트너와 협력하기 위해 일부 관련 개발 활동을 일시적으로 중단했다고 밝혔습니다.
