posted by Kwan's 2013. 5. 8. 00:04


나의 최근 글에서, 나는 안티 바이러스 테스트, 특히 인증 스키마에 대해 논했습니다. 오늘은 비교 및 그룹 테스트에 초점을 맞출 것입니다.

이것은 유명하고, 보통 존경 받는 전문 테스터들로 제한을 두는 경향이 있는 인증방법으로, 테스팅 분야 중에서 다소 이해하기 어려운 영역입니다.

또 한편으로는, 그것은 가끔 하나의 컴퓨터와 하나 이상의 뇌세포를 비교 테스팅 하기 위한 자격을 받았다고 느끼는 사람처럼 보입니다.

부주의한 미래의 테스터들이 종종 실수하게 만들고, 규칙적으로 불안정한 데이터와 편향되고 부정확하고 경우에 따라서는 완전히 흔하지 않은 결론을 유발하는 조심해야 할 많은 위험들이 있습니다.

1. 클린업 테스트(Cleanup tests) 
대부분의 비교테스트는 하나 또는 4개의 주요 영역(감지/보호 테스트, 가양성 테스트, 속도/성능 테스트, 클린업/제거 테스트)에 초점을 두고 있습니다.

이들 중, 클린업 테스트는 아마도 가장 기술적인 요구를 하는데 왜냐하면 클린업 테스트들은 사용되는 맬웨어가 시스템을 감염시킬 때 무엇을 하는지, 그리고 그 변화가 얼마나 심각하고 지속적인지 완전한 이해가 요구되기 때문입니다.

시스템을 고장 나게 하고 그것을 확실하고 정확하게 측정하는 스킬 뿐만 아니라, 약간의 판단능력이 변화의 중요성을 평가하는데 요구됩니다. 왜냐하면 몇몇 제품들은 악의 없는 흔적으로 여겨질 수 있는 것을 남겨놓을 것이고, 반면에 다른 제품들은 사실 부적절한 상태로 ‘되돌아가는’ 변화에 의해 피해를 입을지도 모릅니다.

많은 지식이 요구되고 관련된 업무를 고려해 볼 때, 이런 종류의 테스트는 특히 아마추어에 의해 일반적으로 수행되는 최소한의 것들 중의 하나라는 것은 그리 놀랄만한 것은 아닙니다.

2. 속도 테스트(Speed tests) 
속도 테스팅은 여러분이 맬웨어에 대해 사실 많은 것을 알 필요가 없기 때문에 다소 간단해 보입니다.

모든 사람들이 안티바이러스에 대해 자주 하는 불평거리는 여러분의 시스템을 느리게 하는 것이라서, 다양한 제품들이 얼마나 많은 오버헤드를 유발하는 지에 대해 항상 많은 관심이 있습니다.

그럼에도 불구하고 여기에는 꽤 복잡한 함정들이 있는데요, 무엇을 측정할 지에 대한 선택과 함께 측정값을 얻는 방법에서 부주의할 가능성이 많다는 것입니다.

최고의 테스트는 컴퓨터의 실제 사용을 대변하는 수많은 매트릭스를 결합하고, 정확성을 위해 여러 번 그것들을 검증하는 경향이 있습니다. 최악의 테스트는 단 한번, 상당히 랜덤한 인자를 가지고, 그것을 전반적인 실행의 지표로써 자랑하는 것입니다.

3. 오탐 테스트(False positive tests) 
속도 테스팅은 철저하고 신중한 비전문가가 실행 가능할지도 모르지만, 또 다른 주의사항이 있습니다. - 제품이 최고로 간단한 것은 당연하고, 초고속 온라인 게임을 하는 데는 절대 방해되지 않지만, 괜찮은 보안을 제공하지 않는다면 쓸모가 없습니다.

따라서 속도 테스트가 실제 보호 테스트와 관련하여 꼭 고려되는 것은 타당합니다. 오탐 테스트에서도 마찬가지인데, 그것은 모든 보호 테스트에 필수적으로 따라 나오는 것으로 간주됩니다. 모든 맬웨어를 감지하는 제품은 좋은 것처럼 들릴지는 모르지만, 정상적인 소프트웨어나 웹사이트 모두에 대해 경고를 한다면 그것은 좋지 않습니다.

다시 한번, 오탐 테스트는 또 다른 잠재적인 위험군을 지닌 주의 깊은 아마추어에 의해 상당히 잘 행해질 수 있습니다. 여러분은 많은 퀄리티 있는 맬웨어 샘플이나 라이브 위협 URL에 접근할 필요가 없을지 모르지만, 여러분이 실제로 이용하는 정상 제품이 확실히 깨끗하고, 또한 상당히 중요하다는 것을 보여줄 필요가 있습니다.

Lawn Mowing Simulator 2008 의 미량 성분에 대한 잘못된 알람이 국제적인 규모에서 많은 피해를 입는 원인이 되지는 않을 것이지만, Windows의 핵심 파트를 감지하고 전세계 시스템들 반은 확실하게 벽을 쌓을 것입니다.

따라서, 한 보고서가 제품A의 오탐율을 높다고 주장하면, 그 헤드라인 이상을 보고 실제 그것이 경고하는 것이 무엇인지 알고, 실제 문제가 있을 정도로 충분히 중요한 것처럼 보입니다.

4. 감지 테스트(Detection tests) 
대부분의 경쟁들을 음식으로 옮겨보면, 보호나 감지 테스트는 대부분의 그룹 테스트 중 메인이라 할 수 있습니다.

측정의 가장 단순한 형태는 많은 파일의 표준 주문형 스캔인데, 이것은 대규모에서 비교적 쉽게 수행될 수 있습니다. 그 결과는 많은 현대적인 멀티레이어드 솔루션의 최대 잠재력이 덜 반영되게 되지만, 그것은 게이트웨이와 서버 솔루션들이 ‘단순한’ 감지 기술을 잘 사용한 기업 세계에서 특히, 품질의 사용 지표로 남아 있습니다.

이와 관련해서는 심지어 마음에 새기는데 도움이 되는 이슈가 있습니다. 가장 중요한 것은 적당한 샘플의 선정인데, 그것은 마치 있을 것으로 추정되는 것과 어떠한 주어진 순간에 주위 위협의 다양성을 대표하는 것을 확인하기 위해 주의 깊게 체크될 필요가 있는 클린 샘플들입니다.

스캐닝 테스트의 묘미는 통계적인 관련성을 보증하는 매우 큰 규모에서 수행될 수 있다는 것이지만, 이것은 테스터가 스킬과 지식, 그리고 무엇을 사용할지를 적절히 선택하는 데 필요한 시간을 가지고 있다면 가치가 있는 것입니다.

5. 보호 테스트(Protection tests) 
보호 테스트의 성배(holy grail)는 솔루션들을 가능한 모든 층의 보호를 연습하면서 완전히 실질적인 실세계의 공격하에 두는 완전 ‘총체적인’ 테스트입니다.

언뜻 보기에 이것은 상당히 간단해 보입니다. 분명히 많은 전문지식을 요구하지 않기 때문에, 사람들은 어떤 의미도 없이 꽤 규칙적으로 어떻게든 스스로 감염되도록 하는 것처럼 보입니다. 비록 규칙적으로 그것을 하지만, 비교한 모든 제품들이 동일한 방법으로 동일한 위협에 노출되도록 보장하고 각 제품들이 각 위협에 대해 어떻게 반응하는지 적절하게 측정하는 것은 아주 어려운 것입니다.

한번에 하기보다는 하나 하나씩 하는 일이다 보니, 수행하는 데 시간이 더 많이 걸립니다. 그래서 샘플 세트는 엄청 더 적어야 하는 경향이 있습니다. 심지어 앞선 자동화 기술을 개발한 아주 경험이 많고 투자가 잘 된 전문 연구소에서도 몇 달간 테스트에서 100여 개 테스트 이상을 커버하기가 어렵습니다.

이런 작은 규모에서 대표 샘플링이 보다 힘들다는 것을 보장하기 때문에, 샘플 선정을 보다 더 중요하게 만듭니다.

6. 방법론(Methodology) 
모든 좋은 비교제품들은 테스트 각 부분의 상세정보를 제공하는 동일한 형태의 방법론에 의해 수행됩니다.

새로운 것에 밝은 독자들은 모든 테스트 인자들을 가지고 세세한 항목까지 자세히 볼 것이고, 어떤 종류의 측정을 취하는지, 그들이 어떻게 취하는지, 그리고 수집한 데이터가 어떻게 해석되는지 알아냅니다.

테스트가 어떻게 수행되는지에 대한 상세한 정보가 없으면 그 테스트는 철저히 심사숙고 되고 있지 않다는 강력한 힌트입니다. 만약 테스트 설명이 자세한 분석을 했는지 의심스럽다면, 그것은 그 결과 스스로 마찬가지로 불안하다는 것과 같습니다.

테스터를 위한 팁 
내가 만약 이 모든 것은 복잡하게 만드는 것 같다면, 그것이 아이디어입니다. 그것은 완전히 복잡한 비즈니스입니다.

우리는 제품 선정에 대한 이슈는 보지도 않았고, 실 데이터와 기타 것들로부터 대략적인 결론을 그리며 나는 여기에서 정말로 겉만 다루었습니다.

약간의 시간 동안 여기에서 나는 바깥세상으로부터의 테스트들을 참고하기 위해 안티 맬웨어 전문가의 폐쇄된 세상보다 ‘아마추어’라는 단어를 사용했습니다. 나는 이것으로 인해 누군가를 모욕하는 것은 정말 아닙니다.

만약 여러분이 많은 파트타임 중의 하나로 보안 제품의 비교 테스터를 하거나 자신의 제품을 비교 테스트 할 생각이라면, 나는 생각의 양식을 주고 싶습니다.

여러분이 미래에 그것을 하고 싶다면, 이러한 이슈 모두를 더 많이 심도 있게 다룬 AMTSO가 발표한 몇몇 문서들을 살펴보시기 바랍니다.

만약 여러분이 얻을 게 없다면, 거기에 있는 누군가에게 질문을 하십시오. 대부분의 테스터들은 매우 친절하고 기꺼이 아이디어를 나누려고 합니다. 나의 이메일 주소는 VB 웹사이트에 있으며, 다른 조직들도 연락처를 쉽게 찾을 수 있을겁니다.

여러분이 주의해야 하는 이유 
구매 결정 등에 도움이 되는 정보를 찾는 비교 테스트 고객들에게 있어서, 다음 2가지 옵션 중 하나로 요약됩니다.

첫 번째는 쉬운 방법입니다. 어떤 랜덤한 리뷰어가 남긴 헤드라인 특징이나 랭킹을 맹목적이고 무조건적으로 행운을 믿으면서 그냥 믿는 겁니다.

다음은 여러분이 선택한 테스트의 방법과 이유에 대해 여러분이 할 수 있는 모든 차원에서 이해하려고 약간의 시간과 노력을 투자하는 것입니다. 만약 무언가가 수상쩍다 싶으면, 테스트 방법론을 파헤치고, 그것의 영향을 생각하고, 만약 좀 더 필요하다면 관련된 AMTSO 문서를 읽으십시오. 모든 제품들은 제공되는 뭔가 다른 것이 있기 때문에 여러 비교제품들을 비교하십시오.

나는 2번째 것이 좀 더 좋은 결과를 낳을 거라고 말하고 싶습니다.

테스트 데이터의 교육적이고 사려 깊은 소비와 올바르게 파악하지 못한 어떤 것에 대해 알고는 있지만 집요하게 질문 하도록 조장하는 것은 모든 사람들의 관심에 달려 있습니다.

새로운 것들에 밝은 독자들은 정확하고, 유용하고 새로운 테스트를 만듭니다. 누구의 말만을 기반으로 주의 없이 맹목적으로 논란의 소지가 많은 결론을 믿는 것은 엉성하고 경솔한 테스트를 유발할 것이며, 잘못된 결과가 계속될 것입니다.

몇몇 수준 높은 전문 연구소들이 있는데(최근에 AV-Comparatives에서 만난 사람이 그들 중 몇몇의 유용한 리스트를 나에게 알려주었음) 그들의 결과물은 상당히 믿을 만 합니다.

하지만, 나의 말을 그냥 믿지는 말고 스스로 답을 찾기 바랍니다.


댓글을 달아 주세요