OpenAI가 모델의 샌드박스 탈출과 무단 인터넷 접속을 막는 훈련 환경 보안 체계를 공개했다. 9월 20일 연구 모델이 DNS 리졸버 설정 오류로 제한적으로 인터넷에 접근한 사고 이후 최상위 모델 훈련·평가를 중단하고 11일 뒤 재개했으며, 모든 프런티어 강화학습은 실제 인터넷 대신 캐시 웹으로 만든 '오프라인 세계'와 microVM·네트워크 통제를 겹쳐 격리한다. 수천억 토큰 규모 적대 실험에서 VM 탈출, 내부 서비스를 통한 인터넷 접근, CPU 캐시 시간차를 이용한 에이전트 간 통신 경로를 찾아 수정했다.
훈련·평가 환경은 고객이 쓰는 환경과 달리 정렬 훈련 전 모델을 적대적 조건에서 시험하는 공간이다. OpenAI는 현재의 정렬·모니터링·인프라 보안 수준을 근거로 인터넷 접속 없이 프런티어 모델을 훈련하는 정책을 두고, 방대한 색인·캐시 웹으로 만든 '오프라인 세계'에서 탐색·검색·웹앱 사용 기술을 익히게 한다.
실행 환경은 Linux에서 경량 microVM 안에 제한된 컨테이너를 두고, macOS·Windows엔 가상화를, 가속기 작업엔 사용자 공간 샌드박싱 GPU 컨테이너를 쓴다. 네트워크·클라우드 통제는 에이전트가 샌드박스를 탈출해 호스트를 장악한 상황까지 가정하며, 호스트에서 직접 또는 다른 서비스를 거쳐 닿는 서비스까지 제한해 우회 출구를 막는다.
에이전트 팀에 세 가지 격리 우회 목표를 부여한 실험에서 VM 탈출, 내부 서비스를 통한 인터넷 접근, 그리고 CPU 캐시의 시간차를 이용한 에이전트 간 통신 경로를 발견해 수정했다. 발견한 문제는 'Patch the Planet'을 통해 오픈소스 프로젝트에도 패치를 제공하며, 대규모 적대 실험을 향후 안전성 판단에 계속 쓸 계획이다.