feat(ai): 내부 어시스턴트 수집 파이프라인과 Elasticsearch 검색 기반

[ohhalim]

배경

내부 개발·운영 어시스턴트(#350)의 첫 실행 가능 단위다. 문서·코드 corpus 수집부터
Elasticsearch 한국어 검색까지를 실제로 동작하는 상태로 만든다.

검색 저장소는 AI-ELASTICSEARCH-DECISION.md 결정에 따라
BM25S·pgvector 대신 Elasticsearch 단일 노드를 사용한다.

변경 범위

수집 파이프라인 (ai-assistant/)

• scanner·parsers(Markdown/Java tree-sitter)·chunker·embeddings·pipeline
• PostgreSQL 버전 관리 저장소 + alembic 마이그레이션
• CLI ingest

Elasticsearch 검색

• ES 9.5.3 + analysis-nori 이미지, 127.0.0.1:9208 루프백 전용
• 문서 계약 매핑(dynamic: strict), 결정적 build_id, bulk·개수 검증·alias 발행
• keyword(multi_match) / vector(script_score) 질의, RRF(k=60) 결합
• CLI search --retriever hybrid|keyword|vector --source-type

제거

• retrieval/bm25.py, retrieval/vector.py, bm25s 의존성, .data/bm25
• persistence/* 와 ai-postgres 는 유지. ingest 가 아직 원본을 저장하며
  Postgres 제거는 snapshot 색인(계획 2단계) 범위다

실측 결과

ingest (exit 0)

• 문서 16(Markdown 11 + Java 5) -> 청크 317 -> 임베딩 317, 누락 0

Elasticsearch 색인 (exit 0)

• 317청크 색인, bulk 실패 0, 개수 검증 통과, alias 전환 완료

한국어 분석 비교 — 이번 저장소 교체의 근거

	문서 결제를 검증하였습니다	질의 결제 검증	매칭
BM25S	['결제를','검증하였습니다']	['결제','검증']	공통 토큰 0
Nori	['결제','검증']	['결제','검증']	일치

검색 (exit 0)

• 결제 검증 keyword -> docs/operations/payment-load-test.md:79-93 (12.2224)
• 결제를 검증하였습니다 keyword -> 동일 문서 상위 (9.0762)
• hybrid -> rrf(es_keyword) / rrf(es_vector_exact) 결합 동작

품질 게이트

• ruff·mypy: 21개 소스 통과. 기존 parsers.py SIM102 1건은 이번 범위 밖이라 미접촉

수정한 결함

tree-sitter 0.26.0 + tree-sitter-java 0.23.5 조합에서 Node.start_point 접근 시
프로세스가 SIGSEGV/SIGBUS 로 종료된다. 상한이 없어 0.26.0 이 설치되고 있었다.

• 0.26.0 -> 크래시 (exit 138/139)
• 0.25.2 / 0.25.0 -> 정상 (노드 3856개 순회)

tree-sitter>=0.25.0,<0.26 으로 고정했다.

미검증 / 범위 밖

• 임베딩이 fake 결정적 해시(1024차원)라 vector·hybrid 순위는 품질 근거가 없다
• 검색 품질·지연 비교값 없음. 평가셋(tuning/held-out)은 후속 이슈
• LLM 답변 생성·질문 라우팅·Spring 조회·Slack 은 이 PR 범위 밖
• 실제 임베딩 모델(bge-m3)·리랭커 미적용

확인 요청

• ES 컨테이너는 로컬 전용(127.0.0.1:9208)이며 profiles: ["ai"] 로 기본 기동에서 제외된다
• 운영 배포·원격 리소스 변경 없음

https://claude.ai/code/session_01GDm6wJvLcheakBeELYsLMk

[coderabbitai]

Important

• 🔍 Trigger review

This repository does not receive automatic reviews because it has fewer than 10 stars.

⚙️ Run configuration

Configuration used: defaults

Review profile: CHILL

Plan: Advanced

Run ID: de9c556a-bd02-496e-8122-3cca7b09b065

---

Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out.

❤️ Share

• X
• Mastodon
• Reddit
• LinkedIn

_{Comment @coderabbitai help to get the list of available commands.}