Security Watch경계에서 맬웨어 검사
Yuri Diogenes, Mohit Saxena, Jim Harrison
목차
맬웨어 검사 방식
TMG 맬웨어 검사 기능 구성
웹 액세스 정책 설정
Update Center
테스트와 모니터링
결론
Essential Business Server의 구성 요소로 또는 독립 실행형 제품으로 사용 가능한 새로운 Microsoft Forefront TMG MBE(Threat Management Gateway Medium Business Edition)는 Microsoft 방화벽 서비스 운영을 크게 향상시키는 다양한 기능을 제공합니다. 그중에서도 통과하는 HTTP 트래픽에서 맬웨어를 검사하는 기능이 단연 가장 주목할 만합니다. 이 새로운 기능을 사용함으로써 얻어지는 효과는 다음과 같습니다.
- 인터넷에서 들어오는 맬웨어로부터 내부 네트워크를 보호하는 기능 향상
- TMG Update Center를 사용하여 최신 맬웨어 서명으로 경계 업데이트
- 로그 항목의 실시간 모니터링을 통해 맬웨어로 의심되는 트래픽 감시 및 새로운 보고서 집합을 사용하여 사후 평가용 맬웨어 통계 수집
이러한 이점을 활용하면 맬웨어 방지 솔루션에 새로운 보안 계층을 추가하여 경계를 통과하는 HTTP 트래픽의 잠재적 위험성을 완화할 수 있습니다. 클라이언트와 서버에 바이러스 백신 프로그램은 여전히 필요하지만 이 검사 기능은 클라이언트 워크스테이션에서 데이터를 수신하기 전에 수행되므로 맬웨어 위협이 크게 감소합니다.
이 기능은 네트워크에 게스트 컴퓨터와 같은 관리되지 않는 컴퓨터가 있는 경우에 특히 유용합니다. Forefront TMG를 사용하면 관리되지 않는 컴퓨터에서 바이러스 백신 소프트웨어를 실행하지 않아도 의심스러운 파일을 다운로드하려 할 경우 파일이 차단됩니다.
맬웨어 검사 방식
사용자가 웹 사이트에 액세스하여 파일을 다운로드하려 하면 TMG는 트래픽을 가로채 사용자가 대상 사이트에 액세스하도록 허용하는 규칙에 맬웨어 검사 기능을 사용하도록 설정되어 있는지 확인합니다. 맬웨어 검사 기능이 설정되어 있으면 TMG는 검사를 시작합니다. (물론 이 기능이 설정되어 있지 않으면 TMG는 트래픽을 검사하지 않습니다.) 그림 1은 클라이언트에서 파일을 다운로드할 때 수행되는 맬웨어 검사의 기본 흐름을 보여 줍니다.
- 클라이언트가 파일을 다운로드하기 위해 대상 웹 사이트에 HTTP 요청을 보냅니다.
- Forefront TMG가 요청을 받아 일치하는 규칙이 있는지 확인하고 규칙에 맬웨어 검사 기능을 사용하도록 설정되어 있으면 요청에서 맬웨어를 검사합니다.
- 요청이 유효하고 문제가 없으면 Forefront TMG가 요청을 대상 서버로 보냅니다.
- 대상 서버는 요청을 받아 적절히 응답합니다.
- Forefront TMG가 대상 서버로부터 응답을 받아 프록시 엔진을 통해 먼저 처리합니다.
- 규칙에 맬웨어 검사가 지정되어 있으면 프록시 엔진이 HTTP 요청 본문을 Malware Inspection Filter로 보냅니다. 크기가 64KB 미만인 응답은 메모리에 누적됩니다. (인터넷 통계에 따르면 약 98%의 다운로드 파일이 64KB 미만이며 디스크 I/O를 사용하지 않고 검사할 수 있다고 합니다.) Malware Inspection Filter는 다운로드 및 검사 타이밍을 제어하여 콘텐츠를 누적한 후 프록시 엔진에 제어 권한을 반환합니다.
- 콘텐츠가 허용되면 Forefront TMG가 사용자에게 원본 파일을 보냅니다. 파일이 감염되었는데 치료할 수 없는 경우 TMG는 사용자에게 콘텐츠가 차단되었음을 알리는 HTML 페이지를 보냅니다.
그림 1 맬웨어 검사 흐름
TMG는 콘텐츠를 누적하는 동안(6단계) 다음 콘텐츠 전송 방법 중 하나를 사용하여 사용자 환경을 개선합니다.
- 동적 진행률을 표시하고 검사가 완료되었을 때 TMG 컴퓨터에서 콘텐츠를 다운로드할 수 있도록 하는 HTML 진행률 페이지
- Forefront TMG가 처음에는 매우 느린 속도로 클라이언트에 콘텐츠를 전송하고 검사가 완료되면 최고 속도로 데이터를 전송하는 표준 분할 전송
- 사용자 환경(Forefront TMG의 버퍼링 용량을 줄이고 검사 횟수를 늘림)과 성능(Forefront TMG의 버퍼링 용량을 늘리고 검사 횟수를 줄임) 사이의 절충을 나타내는 숫자를 매개 변수로 지정하는 빠른 분할 전송. 이 방법은 온라인 플레이어에서 재생되는 미디어 파일에 주로 사용됩니다(미디어 스트리밍에는 사용되지 않음).
다른 Microsoft 보안 솔루션과 같은 표준을 유지하기 위해 TMG의 맬웨어 방지 기능은 Forefront Client Security, Windows Defender, One Care에 사용되는 것과 같은 MPE(Malware Protection Engine)를 사용합니다. 이 칼럼 뒷부분에서 Update Center를 사용하여 맬웨어 정의를 최신으로 유지하는 방법을 보여 드리겠습니다.
TMG 맬웨어 검사 기능 구성
맬웨어 검사를 구성하려면 먼저 전역 수준에서 해당 기능을 사용하도록 설정한 다음 규칙 수준에서도 동일하게 설정해야 합니다. 첫 단계로 그림 2와 같이 Web Access Policy(웹 액세스 정책) 노드로 이동하여 작업창에서 Configure Malware Inspection(맬웨어 검사 구성)을 클릭합니다.
그림 2 웹 액세스 설정
그러면 그림 3과 같이 전역 수준에서 맬웨어 검사를 사용하도록 설정할 수 있는 대화 상자가 나타납니다. 이 대화 상자에는 기본 설정으로 미리 채워진 다른 맬웨어 검사 설정도 있습니다. 그중 일부는 액세스 규칙 수준에서 제어할 수 있는 반면 일부는 전역으로만 설정할 수 있습니다.
그림 3 전역 수준에서 맬웨어 검사 구성
그림 4에 나와 있는 Exceptions(예외) 탭에서는 맬웨어 검사 대상에서 제외할 사이트를 지정할 수 있습니다. 예외 사이트는 정책 설정을 통해서도 지정할 수 있지만 이 대화 상자의 구성이 모든 액세스 규칙에 우선합니다. 즉, 이 대화 상자에 나열된 사이트의 경우 규칙 수준에서 검사 대상으로 정의되어 있더라도 맬웨어가 있는지 여부를 검사하지 않습니다. 이러한 전역 설정은 조직의 DMZ에서 내부 사용자용으로 호스트되는 웹 사이트나 기타 자주 사용되는 신뢰되는 사이트에 유용합니다.
그림 4 사이트 예외
그림 5에 나와 있는 Inspection Settings(검사 설정) 탭에서는 차단할 콘텐츠 유형을 지정할 수 있습니다. 지정한 콘텐츠 유형에 대한 기본 동작도 정의할 수 있습니다. 즉, Forefront TMG가 감염된 콘텐츠를 치료하고 최종 사용자에게 보내거나 콘텐츠를 치료하지 않고 완전히 차단하도록 할 수 있습니다.
그림 5 검사 매개 변수 설정
의심스럽거나 손상되었거나 암호화된 파일 또는 검사가 불가능한 파일을 차단하도록 선택할 수도 있습니다. 또한 파일 크기 제한을 설정하여 대역폭을 절약하고 사용자가 큰 파일 또는 검사하는 데 많은 시간이 걸리는 파일을 다운로드하지 못하도록 할 수도 있습니다. 이러한 설정은 모두 전역 설정이며 규칙에는 표시되지 않습니다.
그림 6의 Content Delivery(콘텐츠 전송) 탭에서는 파일을 다운로드할 때의 사용자 환경을 구성할 수 있습니다. 구체적으로는 다운로드 시간이 10초를 초과하는 파일의 경우 최종 사용자에게 응답을 분할 전송할지 또는 진행률 알림 페이지를 표시할지 여부 등을 지정하게 됩니다(COM에 구성). (10초 이하로 소요되는 프로세스에 대해서는 알림이 발생하지 않습니다.)
그림 6 콘텐츠 전송 방법 지정
Select Content Types(콘텐츠 유형 선택)를 클릭하고 나타나는 대화 상자에서 콘텐츠 유형을 추가하거나 제거하여 분할 전송된 응답 대신 진행률 알림을 표시할 콘텐츠 유형을 선택할 수도 있습니다. 이 설정은 전역 설정이며 규칙에는 표시되지 않습니다.
Storage(저장소) 탭에서는 파일을 검사하고 최종 사용자에게 보내는 동안 해당 파일을 임시로 누적할 폴더를 정의합니다. 기본 폴더는 %SystemRoot%\Temp지만 원하는 경우 변경할 수 있습니다. 이 설정도 역시 전역 설정이며 규칙에는 표시되지 않습니다.
이 폴더가 OS 페이징 또는 Forefront TMG 로깅에 사용되는 드라이브와 다른 스핀들에 있으면 디스크에 누적해야 하는 콘텐츠에 대한 Forefront TMG 맬웨어 검사 성능이 향상됩니다. TMG Server에 바이러스 백신 소프트웨어가 설치되어 있는 경우 Forefront TMG Server에서 파일을 사용하는 동안 바이러스 백신 소프트웨어가 검사를 위해 파일을 잠그지 않도록 이 폴더를 검사 대상에서 제외해야 합니다. 제외할 폴더에 대한 자세한 내용은 "ISA Server에서 바이러스 백신 소프트웨어 사용 시 고려 사항"을 참조하십시오.
웹 액세스 정책 설정
Forefront TMG 관리자는 인터넷에 대한 사용자 액세스를 제어하는 규칙을 웹 액세스 정책이나 방화벽 정책을 통해 구성할 수 있습니다. 웹 액세스 정책을 사용할 경우 규칙은 HTTP 및 HTTPS 프로토콜만 명시적으로 허용하고 관리자가 웹 사이트에 대한 사용자 액세스를 허용하거나 거부할 수 있도록 합니다. 방화벽 정책의 액세스 규칙을 통해 원본, 대상 및 사용자를 기준으로 HTTP 및 HTTPS 액세스를 수동으로 허용할 수도 있습니다. 액세스 규칙에서 맬웨어 검사 옵션은 선택한 프로토콜에 웹 프로토콜이 포함된 경우에만 표시됩니다.
규칙 수준에서 맬웨어 검사를 사용하도록 설정하려면 Web Access Default Rule Properties(웹 액세스 기본 규칙 속성) 대화 상자에서 "Inspect content downloaded from Web servers to clients(웹 서버에서 클라이언트로 다운로드한 콘텐츠 검사)" 확인란을 선택하면 됩니다. 이 검사는 규칙에 따라 다운로드된 HTTP 콘텐츠에만 적용됩니다. 규칙 수준에서 콘텐츠 검사를 적용하려면 먼저 전역 수준에서 콘텐츠 검사를 사용하도록 설정해야 합니다.
Update Center
Forefront TMG는 알려진 바이러스, 웜 및 기타 맬웨어의 정의를 유지 관리합니다. 이러한 주요 정의를 최신으로 유지하기 위해 Forefront TMG에는 Update Center라는 중앙 집중식 메커니즘이 내장되어 있습니다. 관리자는 Update Center를 사용하여 업데이트 빈도와 자동 업데이트 동작을 구성할 수 있습니다. Update Center는 Forefront TMG 콘솔에서 액세스합니다.
Definition Updates(정의 업데이트) 패널에는 마지막 업데이트의 상태와 새 업데이트를 확인한 시간이 표시됩니다. 오른쪽의 Tasks(작업) 창에서는 업데이트 매개 변수를 구성할 수 있습니다. 그림 7은 Tasks(작업) 창에서 Configure Update Settings(업데이트 설정 구성)를 클릭하여 액세스할 수 있는 다양한 정의 업데이트 옵션을 보여 줍니다.
그림 7 Definition Updates(정의 업데이트) 창
Forefront TMG는 기본적으로 자동 업데이트 에이전트를 사용하여 Microsoft Update 서비스에서 업데이트를 가져와 맬웨어 방지 정의를 새로 고칩니다. 업데이트 에이전트는 컴퓨터에 선택된 기본 업데이트 서버를 사용합니다. 따라서 컴퓨터가 WSUS(Windows Server Update Services)에서 가져온 업데이트를 사용하는 경우 에이전트도 WSUS에서 업데이트를 가져오고, 그렇지 않으면 Microsoft Update에서 직접 업데이트를 가져옵니다. 이러한 트랜잭션은 일반적인 Windows Update와 마찬가지로 %systemroot%\windowsupdate.log 파일에 기록됩니다.
Forefront TMG Update Center의 빈도 설정은 Windows Update 설정에 우선하지 않습니다. 두 설정은 완전히 별개이며, Windows는 소프트웨어 업데이트를 다운로드하는 반면 Forefront TMG는 서명만 다운로드합니다.
Task(작업) 창에서 Check for Updates(업데이트 확인)를 클릭하여 강제로 Forefront TMG가 업데이트를 찾도록 할 수 있습니다. 새 업데이트가 검색 및 설치되면 그림 8과 같이 Alerts(알림) 탭에 정보 알림이 표시됩니다. 그림에서 보듯이 이 창의 아래쪽에는 업데이트에 대한 자세한 설명과 업데이트된 파일의 버전이 표시됩니다.
그림 8 Malware Inspection Filter 알림
테스트와 모니터링
검사 설정과 Update Center 설정을 구성한 후에는 기능을 테스트해야 합니다. Forefront TMG를 통해 인터넷에 액세스하는 클라이언트 워크스테이션에서 웹 사이트의 파일을 다운로드하는 경우를 예로 들어보겠습니다. 첫 단계로, 파일 다운로드를 시작하기 전에 그림 9와 같이 외부 리소스에 액세스하려는 클라이언트 워크스테이션의 IP 주소를 필터링하여 Forefront TMG에서 모니터링을 구성합니다.
그림 9 파일을 다운로드하려는 클라이언트 워크스테이션 모니터링
이 예에서는 클라이언트가 files.fabrikam.com/suspicious.exe에 HTTP GET 요청을 보낸다고 가정합니다. 그러면 Forefront TMG가 요청을 평가하고 요청된 파일이 맬웨어로 의심된다는 사실을 감지한 후 로그에 Failed Connection Attempt 이벤트를 기록합니다(그림 10 참조).
그림 10 의심되는 파일 감지
Malware Inspection Result(맬웨어 검사 결과) 열에 이 파일이 의심스러운 파일로 분류되어 있는 것을 알 수 있습니다. Threat Name(위협 이름) 열에는 맬웨어 이름이 표시되고 Threat Level(위협 수준) 열에는 위협 수준이 심각한 것으로 표시되어 있습니다. 맨 아래의 오류 정보 창은 연결 시도가 실패한 자세한 이유를 보여 줍니다.
이 파일을 다운로드하려 한 사용자도 오류가 발생했음을 알게 되지만 사용자에게는 "보안 정책 설정으로 인해 의심스러운 파일에 대한 액세스가 차단되었음"을 알기 쉽게 설명하는 메시지가 표시됩니다(그림 11 참조). 따라서 사용자는 어떤 문제가 발생했는지, 왜 파일에 액세스할 수 없는지를 알 수 있습니다.
그림 11 사용자가 알기 쉬운 오류 메시지
결론
이 칼럼은 Microsoft Forefront TMG의 맬웨어 검사 기능이 에지 보안을 강화하는 데 어떻게 도움이 되는지를 설명할 목적으로 작성되었습니다. 이 기능은 방화벽을 통과하는 의심스러운 트래픽을 중앙에서 확인하고 검사 결과에 따라 조치를 취할 수 있도록 합니다. 이 기능이 환경의 보안을 강화하는 데 있어서 중요한 수단임에는 틀림없지만 사용자의 웹 검색 환경에 어떤 영향을 미칠지를 신중하게 고려해야 합니다.
Microsoft Forefront TMG는 검사 프로세스를 최종 사용자에게 보다 투명하게 제시함으로써 이러한 문제까지 해결해 줍니다. 자세한 내용은 Microsoft Forefront Edge Security TechCenter에서 Forefront TMG 설명서를 참조하시기 바랍니다.
Yuri Diogenes(MCSE+S, MCTS, MCITP, Security+, Network+, CCNP)는 Microsoft ISA Server/IAG 팀에서 보안 지원 엔지니어로 일하면서 ISA Server 팀 블로그와 TechNet Magazine의 기사도 연재하고 있습니다. Yuri는 "Tales from the Edge"라는 Forefront 커뮤니티 페이지의 공동 제작자이기도 합니다.
Mohit Saxena는 Microsoft ISA Server 지원 팀의 기술 팀장으로서 지원 엔지니어와 에스컬레이션 엔지니어로 구성된 팀을 이끌며 고객에게 손상된 픽스 문제, 버그 및 설계 변경 요청에 대한 지원을 제공하고 있습니다.
Jim Harrison은 지난 2003년 1월 ISA Server Sustained Engineering 팀에 QFE 테스터로 합류했으며 현재는 열정적인 ISA Server 지지자이자 시스템 구현 전문가가 되어 "Tales from the Edge"라는 Forefront 커뮤니티 페이지를 공동으로 제작하기도 했습니다.
Yuri, Mohit, Jim은 Microsoft Forefront TMG(Threat Management Gateway)에 대한 새로운 Microsoft Press 서적을 집필 중이며, 2009년 내에 선보일 예정입니다.