Inno AI Report 사용 설명서
버전 1.0.1 · inno software · [email protected]
Inno AI Report 는 이미 쓰고 있는 Splunk 대시보드에 「AI 종합 분석」 탭을 붙입니다. 「종합 상황 분석」을 누르면 화면의 패널 결과를 모아 요약하고, AI Toolkit 의 | ai 로 고객이 등록한 LLM 에 보내, 상태 등급 · 원인 가설 · 조치 · 담당 조직이 담긴 보고서를 받습니다.
대시보드 소스를 고치지 않습니다. 쿼리 내용을 몰라도 붙습니다.
목차
- 시작 전에 준비할 것
- 설치
- 처음 한 번: AI 엔진 연결
- 대시보드에 「AI 종합 분석」 탭 붙이기
- 분석 실행
- 보고서 읽기
- 업무 도메인과 보고서 언어
- 프롬프트 바꾸기
- 되돌리기와 다시 적용
- 문제 해결
- 부하와 데이터 처리
1. 시작 전에 준비할 것
| 준비물 | 설명 |
|---|---|
| Splunk Enterprise | 10.2.2 · 10.4.0 에서 실측했습니다. Dashboard Studio 와 Classic 을 모두 지원합니다. |
| AI Toolkit + LLM 연결 1개 이상 | 버튼을 누르는 사용자가 | ai 를 실행할 수 있어야 합니다. 연결 등록은 관리자가 AI Toolkit 에서 합니다. |
| Inno AI Report | Splunkbase 무료 앱입니다. |
| 권한 | 대상 대시보드 수정, 앱의 백업 KV 컬렉션 쓰기, AI Toolkit 연결 사용 권한이 필요합니다. |
2. 설치
단독 서치헤드
- Splunkbase 에서 설치하거나
$SPLUNK_HOME/etc/apps에 풉니다. - Splunk 를 재기동합니다. 커스텀 시각화와
.conf가 들어 있어 재기동이 필요합니다. - 앱 메뉴에서 Inno AI Report 를 엽니다.
검색 헤드 클러스터 — 멤버가 아니라 deployer 로 배포합니다.
- deployer 의
$SPLUNK_HOME/etc/shcluster/apps에 풉니다. splunk apply shcluster-bundle -target https://<멤버>:8089를 실행합니다.- 아무 멤버에서나 Inno AI Report 를 엽니다.
멤버에 직접 넣은 앱은 그 멤버가 재기동할 때 지워집니다.
서버 설정(server.conf, web.conf, CORS, 프록시, 인증)은 바꿀 필요가 없습니다. 앱을 업그레이드한 뒤에는 /<locale>/_bump(예: /ko-KR/_bump)를 한 번 열어 브라우저가 새 시각화 코드를 받게 합니다.
3. 처음 한 번: AI 엔진 연결
Inno AI Report → AI 분석 패널 추가 마법사 를 엽니다. 맨 위가 0 · AI 엔진 연결 입니다.
- 쓸 LLM 연결을 고르고 「이 연결로 설정」 을 누릅니다.
- 「연결 테스트」 를 눌러 응답이 오는지 확인합니다.
AI Toolkit 의 기본 연결은 사용자마다 다릅니다. 여기서 연결을 고정하지 않으면 다른 사람이 눌렀을 때 실패할 수 있습니다. 여러 사람이 쓰는 대시보드는 연결을 고정합니다.
고른 연결은 검색 매크로 inno_ai_llm 에 저장됩니다. 예: ai prompt="{_raw}" provider="Custom" model="general".
4. 대시보드에 「AI 종합 분석」 탭 붙이기
마법사 한 화면에서 위에서 아래로 진행합니다.
| 단계 | 할 일 |
|---|---|
| 1 · 앱 선택 | 대시보드가 있는 앱을 고릅니다. |
| 2 · 대시보드 선택 | 고른 뒤 「패널 분석」 을 누릅니다. [Studio] / [Classic] 표시는 신경 쓰지 않아도 됩니다. |
| 3 · 분석 대상 | 요약 가능한 패널 전체가 자동으로 들어갑니다. 패널이 많으면 패널당 보내는 행 수를 자동으로 줄입니다(약 10개 12행 · 11~16개 8행 · 17~24개 5행 · 25개 이상 4행). 패널 이름이 table · singlevalue 같은 기본값이면 「패널 이름 고치기」 에서 고칩니다. 이름이 그대로 AI 에게 갑니다. |
| 4 · 업무 도메인 | 반드시 고릅니다. 대시보드 이름 기준 추천이 굵은 글씨로 보입니다. 7절을 봅니다. |
| 5 · 보고서 언어 | 한국어 · 영어 · 일본어 |
| 6 · 설명 | 이 대시보드가 무엇을 보여 주고, 무엇을 맞춰 봐야 하는지 한두 문장. 보고서 품질을 올리는 가장 효과적인 방법입니다. |
| 7 · 추가하기 | 「별도 탭으로 추가」 는 체크한 채로 두고 「AI 분석 패널 추가」 를 누릅니다. |
「AI 분석 패널 추가」를 누르면:
- 적용 직전 대시보드를 KV 스토어에 자동으로 백업합니다.
- Dashboard Studio 는 맨 뒤에 「AI 종합 분석」 탭이 붙습니다. Classic 과 구형(flat) Studio 는 하단 패널로 붙습니다. Studio 는 화면 밖 패널을 그리지 않기 때문입니다.
- 기존 패널 · 쿼리 · 레이아웃은 손대지 않습니다. 패널 결과를 요약하는 검색과 AI 카드만 덧붙입니다.
5. 분석 실행
- 대시보드의 조회 조건(시간 · 필터)을 먼저 맞춥니다. AI 는 지금 화면에 보이는 값만 읽습니다.
- 「AI 종합 분석」 탭을 열고 카드 오른쪽 위 「종합 상황 분석」 을 누릅니다.
- 카드 위 노란 줄이 진행 상황을 알려 줍니다. 실행 중에는 Splunk 가 카드를 덮습니다.
- 패널 오른쪽 위에 빨간 ! 가 보이면 눌러서 「쿼리 실행」 으로 승인합니다. 분석 검색이 Splunk 의
map명령을 쓰기 때문에 Splunk 보안 정책이 확인을 요구합니다. - 약 1분 뒤 보고서가 나옵니다(데모 대시보드 8종 평균 62초).
바쁜 서버나 재기동 직후에는 카드가 그려지기까지 1분 가까이 빈 화면일 수 있습니다. 실패로 판단하기 전에 기다립니다.
6. 보고서 읽기
첫 줄은 상태 등급 — 정상 · 주의 · 장애 · 판단 불가 중 하나 — 이고, 6개 절로 이어집니다.
- 한눈에 보기 — 결론 한 줄과 판단 신뢰도
- 패널별 현황 — 패널마다 1~3줄 판정과 근거 값
- 이상 징후 · 원인 분석 — 가능성 높은 순서로 원인 가설 1~3개, 각각 근거 · 반대 근거 · 확인 항목
- 조치 방법 — 즉시 조치 · 원인 확인 · 복구 검증, 괄호 안에 담당 조직
- 영향 범위와 우선순위 — 영향 구간 · 긴급도 · 에스컬레이션 대상
- 데이터 공백 및 보완 권고 — 판단을 막은 미수집 항목과 추가하면 좋을 패널
머리에는 대시보드 · 패널 수 · 스냅샷 시각 · 소요 시간이 나옵니다. 카드 아래 「LLM에 전달된 프롬프트·데이터 보기」 를 펼치면 보낸 데이터 스냅샷을 그대로 볼 수 있습니다.
AI 분석은 틀리거나 빠질 수 있습니다. 판단을 돕는 참고 자료로 쓰고, 조치 전에 원천 데이터를 직접 확인합니다.
7. 업무 도메인과 보고서 언어
업무 도메인은 AI 의 역할, 근거로 인용할 값, 조치를 넘길 담당 조직, 확인 방법을 바꿉니다. 말투가 아니라 결론을 바꿉니다.
| 도메인 | 마법사 표시 | AI 역할 | 조치 제안 예 |
|---|---|---|---|
| 네트워크 | 네트워크 (ACI/Nexus/트래픽/회선) | NOC 엔지니어 | 인터페이스 점검, 장비 경보 확인 |
| 보안 | 보안 관제 (인증/위협/침입차단) | SOC 분석가 | 계정 잠금, EDR 추적, IP 평판 |
| 인프라 | 서버·인프라 (자원/프로세스/용량) | 시스템 엔지니어 | df/vmstat, 로그 증가 경로, 증설 |
| 앱 | 애플리케이션·DB (응답/오류/쿼리) | APM + DBA | 슬로우 쿼리 실행계획, 커넥션 풀·락 |
| 비즈니스 | 업무·서비스 지표 (거래/매출/전환) | 서비스 운영 분석가 | PG·외부사 확인, 배포·캠페인 이력 |
| 일반 | 범용 (도메인을 가정하지 않음) | 도메인 중립 분석가 | 원본 검색 확인, 비교 기간 대조 |
애매하면 「일반」 을 고릅니다. 실측에서 가입 퍼널 대시보드에 「네트워크」를 잘못 고르면 정답(앱 결함)이 2순위로 밀리고 조치가 네트워크팀으로 갔습니다. 「일반」은 원인은 맞히고 조치만 넓게 씁니다.
보고서는 한국어 · 영어 · 일본어로 씁니다. 보고서 본문 · 절 제목 · 등급 · 카드 · 탭 이름이 함께 바뀝니다. 프롬프트의 지시문은 한국어로 되어 있고 출력만 고른 언어로 요청합니다. 한국어를 잘 읽는 모델은 영어 · 일본어 보고서도 바르게 씁니다. 한국어가 약한 모델이면 먼저 시험해 봅니다.
8. 프롬프트 바꾸기
AI 에 보내는 프롬프트는 다섯 덩어리입니다. 앱은 보고서 형식과 판단 규칙을 맡고, 나머지는 고객이 고른 값으로 채웁니다.
| 덩어리 | 내용 | 바꾸는 곳 |
|---|---|---|
| [역할] | 도메인별 AI 역할 | 마법사 4단계 · 매크로 inno_ai_rules_apply |
| [데이터 해석 규칙] | 7개. 예: "스냅샷에 있는 사실만 근거로 판단한다", "기준값(baseline)이 있으면 반드시 비교한다" | 매크로 inno_ai_rules_base |
| [작성 규칙] | 출력 언어 · 등급 첫 줄 · 값 인용 · 담당 조직 · 분량(2,500자) | 마법사 5단계 · 매크로 inno_ai_rules_fin |
| [분석 대상] · 출력 형식 | 대시보드 이름 · 설명 · 6개 절 | 마법사 6단계 · 매크로 inno_ai_prompt |
| [데이터 스냅샷] | [패널 이름] 아래 필드=값 줄 | 마법사 3단계(패널 이름) |
대시보드마다 — 마법사에서
패널 이름 · 도메인 · 언어 · 설명은 그 대시보드에만 들어갑니다. 다시 「패널 분석」하면 쓰던 값을 읽어 옵니다. 고친 뒤 「AI 분석 패널 추가」를 누르면 교체됩니다. 설명은 [분석 대상] 문장 한가운데에 그대로 들어갑니다.
[분석 대상] 주문·결제 현황 종합 상황 분석 지금 화면에 열려 있는 '주문·결제 현황' 대시보드의 패널 결과를 종합해 현재 상황을 판단한다. <설명> 패널 사이의 사실을 서로 교차 확인해 하나의 결론으로 묶는다.
좋은 설명은 무엇을 맞춰 볼지 적습니다. 예: "PG사별 결제 성공률과 실패 사유를 본다. 실패가 특정 PG · 카드사 · 결제수단에 몰렸는지 맞춰 본다." 설명의 큰따옴표는 저장할 때 빠집니다.
모든 대시보드에 공통으로 — 검색 매크로에서
설정 → 고급 검색 → 검색 매크로 → 앱 「Inno AI Report」로 거르기 → 매크로 이름 클릭 → 「정의」 수정 → 「저장」.
| 매크로 | 프롬프트의 어느 부분 | 바꾸는 예 |
|---|---|---|
inno_ai_rules_apply | [역할] · 인용할 값 · 담당 조직 · 확인 방법 (도메인별) | 담당 조직을 우리 조직 이름으로 |
inno_ai_rules_base | [데이터 해석 규칙] | 규칙 추가 — "임계 초과 항목은 모두 열거한 뒤 우선순위를 매긴다." |
inno_ai_rules_fin | [작성 규칙] | "2,500자 이내" → "1,500자 이내" |
inno_ai_prompt | [분석 대상] · 6개 절 | 절마다 쓸 내용 안내 |
inno_ai_llm | 호출할 LLM 연결 | 마법사 0단계가 대신 고칩니다 |
정의는 eval 문자열입니다. 문장은 큰따옴표 안에, 줄바꿈은 urldecode("%0A") 로 씁니다. 형식이 틀리면 분석 검색이 실패합니다.
바꾼 뒤에는 검색 창에서 미리 봅니다 — LLM 을 부르지 않고 실제로 보낼 규칙 · 형식만 만듭니다.
| makeresults
| eval ai_dash_title="주문·결제 현황",
ai_dash_scope="결제 실패가 특정 PG에 몰렸는지 본다.",
ai_dash_domain="biz", ai_dash_lang="ko", ai_ctx=""
| `inno_ai_rules_auto`
| `inno_ai_prompt`
| eval prompt=ai_rules.urldecode("%0A%0A").ai_task
| table prompt
ai_dash_domain 은 net · sec · infra · app · biz · gen, ai_dash_lang 은 ko · en · ja 를 넣습니다.
매크로를 고치기 전에
- 매크로는 이 앱을 쓰는 모든 대시보드에 함께 적용됩니다. 다음 「종합 상황 분석」부터 반영됩니다.
- 고친 내용은 앱의
local에 저장되어 업그레이드해도 남습니다. 대신 새 버전의 기본값 개선은 고친 매크로에 들어오지 않습니다. - 절 제목은 변수
ai_h1~ai_h6그대로 둡니다. 한국어로 바꿔 쓰면 영어 · 일본어 보고서의 절 제목도 한국어로 나옵니다. inno_ai_*만 고칩니다.netops_ai_*는 예전 버전 호환용 이름입니다.
9. 되돌리기와 다시 적용
- 되돌리기 — 마법사에서 같은 대시보드를 고르고 「패널 분석」 → 「되돌리기(백업 복원)」. 적용 전 모양으로 돌아갑니다.
- 다시 적용 — 다시 「패널 분석」하고 도메인 · 언어 · 설명 · 패널 이름을 고친 뒤 「AI 분석 패널 추가」. 기존 「AI 종합 분석」 탭이 교체되고 중복되지 않습니다.
10. 문제 해결
| 증상 | 할 일 |
|---|---|
| 패널에 빨간 ! 가 있고 진행되지 않음 | 눌러서 「쿼리 실행」 으로 승인합니다. |
| 카드 자리가 한동안 비어 있음 | 특히 재기동 직후에는 1분 가까이 기다립니다. |
| "LLM 호출 실패" | AI Toolkit 연결과 LLM 서버를 확인한 뒤 다시 누릅니다. 마법사 0단계 「연결 테스트」로 확인합니다. |
| "LLM 응답이 비어 있습니다" | 연결의 Max Tokens · Request Timeout 설정과 LLM 게이트웨이 상태를 확인합니다. |
| 데이터가 없어 「판단 불가」 | 패널에 결과가 없습니다. 조회 시간 · 필터를 데이터가 나오게 맞춘 뒤 다시 누릅니다. |
| 숫자를 엉뚱하게 해석함 | 설명(6단계)과 패널 이름(3단계)을 고치고, 도메인을 확인합니다. |
| 나는 되는데 다른 사람은 실패 | 마법사 0단계에서 연결을 고정하고, 그 사람의 역할이 | ai 를 실행할 수 있는지 확인합니다. |
| 업그레이드 뒤에도 예전처럼 동작 | /<locale>/_bump 를 한 번 엽니다. |
| 「패널 분석」 결과가 없음 | HTML 대시보드와 검색 패널이 없는 대시보드는 쓸 수 없습니다. 저장된 검색을 참조하는 패널은 제외 목록에 표시됩니다. |
11. 부하와 데이터 처리
- LLM 은 「종합 상황 분석」을 누를 때만 부릅니다. 「AI 종합 분석」 탭을 열지 않으면 추가 검색이 없습니다.
- 모델은 고객의 AI Toolkit 연결이 가리키는 곳에서 돕니다. 앱은 모델 · 엔드포인트를 갖고 있지 않고, 텔레메트리를 보내지 않으며, 벤더 서비스와 통신하지 않습니다.
- 보내는 데이터는 패널 결과 요약입니다. 카드 아래 「LLM에 전달된 프롬프트·데이터 보기」에서 볼 수 있고, 전체 프롬프트는 8절의 방법으로 뽑아 볼 수 있습니다.
라이선스: https://innosw.net/ai-report/license · Splunkbase: https://splunkbase.splunk.com/app/10252 · 문의: [email protected]