[Fluentd] 2. 설정 개요

설정

How Does Fluentd Works

우선 Fluentd 에서 모듈별로 어떻게 작동하는지 순서를 봐보자.

그렇다고 한다.

Component Role

Input

Input 은 로그를 수집하는 Plugin.
Input 플러그인은 외부에서 event log 를 pull 후 fluentd 로 전송

이외에도 착하고 똑똑한 애들이 미리 개발 해놓은 Extension Plugin 설치를 통해 사용할 수 있음.

Parser (option)

Parser 는 Input 으로 읽은 데이터의 포맷이 fluentd에서 지원하지 않는 경우에 파싱을 위해 선택적으로 사용.

Filter (option)

Filter 는 Output 으로 보내기 전에 뭔가를 한다.

• 필터링
• 데이터 필드 추가, 삭제, 마스킹

로그 데이터에서 라벨 "login" 안에서 "jay-g" 만 필터링을 한다든지,
"error", "warning" 을 필터링 한다든지,
"login" 시 암호 데이터 삭제 혹은, 해시화 가능

Output

Output 은 데이터 저장소에 저장, 파일저장, 포워딩, 다양한 플러그인 지원

Formatter (option)

Output 으로 데이터 저장할 때, Formatter 로 데이터 포맷을 정의

Buffer (option)

Input 에서 들어온 데이터를 보내기 전, 중간에 Buffer 를 두고 Throttling
Buffer 는 File, Memory 두가지 사용 쌉가능