빅데이터 보안 질문

인류는 현재 매일 발생하는 데이터가 그 어느 때보다 많다.인터넷 사용자는 분당 평균 25억 바이트의 데이터를 만들어 낸다.이러한 데이터는 셀카와 음식 사진부터 우리가 사이트를 방문하거나 서비스 거부 공격을 받을 때마다 만들어진 인터넷 데이터까지 모두 다르다.
인류가 점점'데이터화'됨에 따라 네트워크 안전 업계는 매일 이런 대량의 정보를 수신하고 결정을 내려야 한다.데이터 생성 속도가 느려질 기미가 보이지 않음에 따라 네트워크 보안 업계는 위협을 더욱 빨리 식별하고 업무의 성패를 결정할 수 있는 더 많은 사건에 더 빨리 응답해야 한다는 것을 의미한다.

기술로 데이터를 해석하다

데이터의 양이 증가함에 따라 우리는 이러한 정보를 더욱 잘 이해하고 그 중에서 결정을 내릴 수 있어야 한다.현재 기계 학습과 신경 네트워크 등 유망한 기술이 상업의 모든 분야를 주도하고 있지만 문제는 그들이 여전히 유망하다는 것이다. 아직 실제적인 의미의 교부가 없다는 것이다.
정보로부터 좋은 통찰력을 얻으려면 여전히 대량의 작업이 필요하며, 보통 데이터 과학자가 필요하다.그리고 데이터 과학 분야는 매년 지수급으로 성장하고 있지만 이러한 알고리즘을 구축하고 보완하는 데는 시간과 돈이 필요하고 많은 조직들이 전혀 부담하지 않는다.

설령 조직이 이 모든 기술을 투자했다 하더라도, 그것은 인류가 어떻게 데이터와 상호작용하는지의 근본적인 문제를 해결할 수 없다.

오늘의 인터페이스

오늘날 많은 인터페이스는 개발자가 겪는 기술적 도전을 둘러싸고 구축된 것이다.솔직히 말하면, 그것들은 인간을 위한 것이 아니라 컴퓨터를 위한 것 같다.이 인터페이스들은 서커스단식의 입력 요소, 예를 들면 복선상자와 텍스트상자 등이다. 너는 심지어 그 중에서 무엇을 입력해야 하는지도 모른다.

데이터베이스 개발자가 되어야만 간단한 조회를 작성할 수 있다.

SELECT
   extract(dow FROM sale_timestamp) AS day,
   count(sale_id) as num_sales
FROM SALES
WHERE sale_timestamp >= now() - INTERVAL '7 DAY'
GROUP BY extract(dow FROM scale_timestamp)

인간으로서 우리는 이런 방식으로 교류하지 않는다.상술한 문제는 사실상 간단한 문제이다. 당신은 앞으로 걸어가서 동료에게 물어볼 수도 있다. 지난주에 우리는 매일 몇 번의 판매를 완성했습니까?컴퓨터에 묻는 이 문제는 분명히 더 복잡하다.
소프트웨어 공학이 더욱 흔히 볼 수 있는 기술이 되고 있지만 이것은 우리가 근본적인 문제를 피하는 합리적인 이유가 아니다. 왜 우리는 서로처럼 데이터에 대해 간단한 문제를 제기하지 못할까?

NLP로 전환

이 문제를 다루는 또 다른 오래되고 새로운 기술을 네이처 언어 처리(Natural Language Processing, NLP)라고 한다.이 기술은 1950년대 컴퓨터의 탄생으로 거슬러 올라갈 수 있지만, 최근에야 비로소 그것을 잘 이용할 수 있게 되었다.비록 우리가 지금 모든 기술을 장악하고 있지만, 기계 학습처럼, 그것은 여전히 나타나고 있으며, 상대적으로 결함이 있다.
시리What time does Best Buy open today?에게 물어보는 것은 상대적으로 처리하고 이해하기 쉬운 문제지만, 우리의 기술은 아직 성숙하지 않다.
이제 네트워크 공격이 있는지 알아보기 위해 노력할 때 하나의 방법을 사용하고 현재 PB의 네트워크 데이터 데이터에 대해 개방적인 문제를 제기하는 것을 상상해 보십시오.네트워크 보안 팀이 NLP에 요구한 복잡성은 오늘날의 기술이 제공할 수 있는 것보다 훨씬 높다.
따라서 인간과 기술의 제한이 현재 안전팀과 분석가들이 우리의 데이터에 대해 직접적인 문제를 제기하는 데 방해가 되고 있음을 쉽게 알 수 있다.그러나 업계로서 우리는 어떻게 이런 도전을 극복할 수 있을까?

이 문제를 해결하는 방법

네트워크 보안 업계는 매일 이런 정보를 받아들여 결정을 내려야 하지만 생성된 데이터가 갈수록 많아지면서 의미 있는 답을 찾기가 어려워지고 있다.
오늘날의 인터페이스는 이 문제를 더욱 복잡하게 만들고 컴퓨터를 위해 설계된 것 같다.가장 웅대한 사용자 인터페이스라도 인간의 조작 방식이 제한된 희생물이 될 수 있다.데이터가 증가함에 따라 분석가는 어떻게 기계와 통신을 진행합니까?우리는 어떻게 데이터에 더 좋은 문제를 제기하여 관건적인 업무 결정을 내릴 수 있습니까?

네트워크 보안 산업의 현황

스핑크는 보안 종사자들이 데이터 분석과 의사 결정을 위해 사용하는 분야에서 가장 인기 있는 조직 중 하나다.Splunk와 유사한 회사들은 SQL과 비슷한 체험을 통해 데이터를 찾고 필터하는 경향이 있다.

이런 방법은 비록 강대하지만 다년간의 경험이 있어야만 전문가가 될 수 있고 매우 효과적이지만 여전히 틀리기 쉽다.위에서 설명한 인터페이스에서 데이터를 다시 쓰고 회전하지 않으면 조회를 재조정하기 어렵다.

사용 가능한 기술 검토

NLP와 같은 흥미로운 신기술은 희망적이지만, 간단한 질문을 정확하게 입력해 필요한 대답을 얻는 것은 번거로울 수 있다.분석원이 그들이 무엇을 찾고 있는지 정확히 알지 못할 때 NLP도 사용하기 어렵다.일련의 광범위한 답안이 나온 후에도 시리What stores have the new Call of Duty game in stock and are within a 15 mile range and open after 5PM?에게 물어보려 한다면 분석하고 결과를 중심으로 해야 한다. 이것은 약간 새로운 조건에서 여러 번 문제를 다시 입력해야 한다.
클릭식 인터페이스는 사용하기 쉬우나 곧 복잡하고 이해하기 어려워진다.터미널에 뛰어들고grep 검색을 입력하려는 고급 분석가들 중에는 환영을 받지 못한다.
SQL을 사용하는 기술은 매우 강력하지만, 다년간의 교육이 있어야만 효과적이다.조회를 다시 작성하지 않는 상황에서는 여전히 정보 중심이 어렵다.
나는 이 모든 기술의 장점을 결합시키고 싶다.엔트리 레벨 분석가는 사용하기 쉽고 기능이 뛰어나 가장 복잡한 분석가에게 적합하다.우리는 또한 그것을 더욱 자연스럽게 느끼게 하려고 한다. 마치 네가 동료에게 묻는 것처럼.

이상 상태

나는 이상적인 상태는 가장 오래되고 최신 기술의 장점을 바탕으로 직관적인 인터페이스를 만드는 것이라고 믿는다.분석원이 그들의 데이터 집합을 조회할 때, 당신은 조언 등 상하문과 달력 등 시각적 요소를 제공하기 위해 조회를 빠르게 입력하거나 클릭할 수 있습니다.

이런 체험에서 분석가들은 선별하여 그들에게 매우 중요한 견해를 찾을 수 있다.체험을 제공함으로써 사용자는 한 번에 한 단어를 직관적으로 물어볼 수 있고 분석가는 더 좋은 조회를 만들 수 있다.사용자가 조회를 만들면, 완전한 조회를 다시 만들 필요가 없고, 데이터 회전을 편리하게 할 수 있다.이런 체험은 복잡한 조회를 만들고 수정해야 한다. 예를 들어 지난 7일 동안 만들어진 통찰을 보여주는 것이다. 이러한 통찰은 분배되지 않았고, 여전히 개방적이며, 입문급 분석가들이 구축하기에 충분하다.
이것은 우리가 안전 운영 센터를 더욱 쉽고 효과적으로 운영할 수 있는 방법 중의 하나일 뿐이며, 동시에 현재 시장의 안전 작업 부족을 해결했다.