Splunk Stream을 사용하여 http 통신의 Wire Data를 시각화

3807 단어 Splunk아파치

평소의 전치


  • Splunk에는 다양한 앱이 있습니다.
  • 거기서 내가 트라이한 내용은 후학을 위해서 공유하고 싶어 여기에 써 남깁니다.
  • 느슨한 정보이므로 참고 정도로 용감.

  • 스트림이란? 무엇을 할 수 있습니까?


  • Splunk Stream은, Wire 데이터의 L2-L7 레이어를 대상으로 모두 해석해, 상세한 정보를 포함한 이벤트를 생성. 이미지는 전화 통화 내용을 기록합니다.



    Splunk Stream


  • 이번에 사용하는 앱입니다. Splunk Build를 위해 Splunk가 최신 버전을 지원합니다.
    Splunk Stream 다운로드 사이트
  • 설치 가이드는 영어로 공식적인 것도 있습니다
    Install Guide

  • 구성 이미지





    설정 절차


  • Splunk App for Stream을 Splunk (Deployment Server 겸용) 서버에 설치
  • Splunk_TA_stream을/opt/splunk/etc/deployment-apps/디렉토리 아래에 복사
  • ~/deployment-apps/Splunk_TA_stream/local/inputs.conf를 새로 만들고 (ServerIP)를 임의로 다시 씁니다.

    inputs.conf
    [streamfwd://streamfwd]
    splunk_stream_app_location = https://(ServerIP):8000/en-us/custom/splunk_app_stream/
    
  • Splunk_TA_Stream을 Deployment Server 기능을 사용하여 Web Server에 배포
  • UF 재부팅

  • 가시화



    성공적으로 Wire Data가 캡처되어 있으면 아래와 같은 화면이 보입니다.


    그리고 같은 src와 flow_id를 묶어 하나의 transaction으로 집계


    패스워드 폼에 입력된 패스워드 캐릭터 라인을 추출해, 어느 유저명과 패스워드의 편성으로 로그인 시도가 행해졌는지를 확인할 수 있다(참고원 샘플 데이터: Boss of the SOC (BOTS) Dataset Version 1 )


    눈치채다


  • apache의 액세스 로그(default)와 비교하면, 몇배의 사이즈량은 된다. 같은 액세스 1회분의 이벤트를 비교해 보면 알지만, 위가 access_combined로 아래가 stream:http의 데이터 내용.

  • 서비스 인 하고 있는 웹 서버의 POST 데이터를 기록하고 있지 않은 경우, apache의 출력 레벨을 변경하는 대신에 stream에서 대용이 가능하다고 생각된다.

  • Tips


  • Estimate mode
  • 갑자기 stream 데이터를 받아들여 라이센스 용량이 넘는 것이 걱정되는 분은, 사이즈만 산출해 주는 estimade mode를 우선은 이용해 주세요. 프로토콜 단위로 설정할 수 있습니다.

  • 필요한 필드만 선택하여 불필요한 데이터를 splunk에 모이지 않는다. 분석에 사용할 필드만 선택하여 스트림을 캡처할 수 있습니다.
  • 손쉽게 stream 데이터의 샘플 로그를 보고 싶은 사람은 github상에 공개중의 BOTS 데이터를 참고로. Boss of the SOC (BOTS) Dataset Version 1

  • 다음 번에



    SSL Decrypt를 설정하고 싶습니다. https : 액세스 로그를 시각화하고 싶습니다.

    좋은 웹페이지 즐겨찾기