Llm-Ops

반복 입력, 누적 컨텍스트, 호출 수를 분리해 측정하고 온톨로지 검색과 Solution Cache로 AI 에이전트의 운영 비용을 줄이는 방법을 정리했습니다.

우버가 에이전트 기반 개발 도구 사용량이 급증하는 동안 AI 총비용을 안정화한 비용 분해 방정식과 최적화 전략을 정리했습니다.

Claude Code가 서브에이전트에 영속적 메모리 기능을 추가했습니다. 사용자, 프로젝트, 로컬 범위로 기억을 유지하고 고유한 역할을 수행하는 맞춤형 서브에이전트 설계법을 소개합니다.

Codex의 기본 시스템 프롬프트와 subagent 오케스트레이션 구조를 변경하여 모델 성능 저하와 급격한 API 쿼터 소모 문제를 해결하는 구체적인 설정 방법을 공유합니다.

DataNexus를 개발하면서 Claude Code와 Codex를 함께 사용하고 있습니다. Claude Code가 라우터 로직을 수정하는 동안 별도 터미널에서는 Codex로 빠진 테스트를 보완합니다. 처음에는 두 에이전트가 같은 작업 디렉토리를 사용했습니다. 같은 파일을 동시에 수정하면서 충돌이 생겼고, 한 에이전트가 의존성 버전을 바꾸면 다른 터미널에서 진행 중이던 빌드가 실패했습니다. 충돌할 때마다 git stash로 변경 사항을 임시 보관했지만 두 에이전트를 동시에 실행할 수는 없었습니다. 하나의 작업이 끝난 뒤 다음 에이전트를 실행했습니다. git worktree로 에이전트 작업 공간 분리 일반적인 브랜치 전환은 작업 디렉토리 하나에서 체크아웃할 브랜치만 바꿉니다. git worktree를 쓰면 같은 저장소의 브랜치마다 별도 디렉토리를 둘 수 있습니다. git clone을 여러 번 할 필요도 없습니다. 각 worktree는 커밋 기록과 Git 메타데이터를 공유하고, 작업 파일만 별도 디렉토리에 둡니다. 어느 worktree에서 커밋하든 기록은 같은 저장소에 쌓입니다. ...

클로드 페이블 5의 생각 모드 설정을 최적화하고 오퍼스 4.8 및 하이쿠 모델로 역할을 나누어 토큰 소모와 비용을 최대 90%까지 절감하는 실무 가이드입니다.

Hermes Agent 기반으로 작동하며 복잡한 태스크를 구조화된 워크플로우로 전환하는 오픈소스 스킬 팩인 Oh My Hermes(OMH)의 기능과 설치 방법을 소개합니다.

AI 에이전트가 무한 루프에 빠지거나 비용을 초과하지 않도록 목표, 검증, 예산, 중단 조건, 승인 절차를 설계하는 루프 엔지니어링 도구를 소개합니다.

Claude Code와 Cursor 등 AI 에이전트 환경의 토큰 최적화와 세션 메모리 유지, 지속적 학습을 지원하는 오픈소스 시스템 ECC를 소개합니다.

결정론적 시스템에서 확률론적 시스템으로 전환되는 시대에 AI PM이 갖춰야 할 세 가지 새로운 역량과 이를 증명할 실무 포트폴리오 구성 방법을 공유합니다.

Codex와 ChatGPT를 단순한 채팅 도구를 넘어 나만의 강력한 자율 개발 워크플로 시스템으로 바꾸는 12가지 실전 엔지니어링 트릭을 공유합니다.

단순 업무를 에이전트에 맡기고 밤새 피드백을 학습해 제품을 개선하는 AI-native 기업의 새로운 운영 모델과 엔지니어의 역할 변화를 살펴봅니다.

작성자와 리뷰어 역할을 분리해 코드의 사각지대를 없애고 생산성을 높이는 이중 에이전트 구성 전략을 정리했습니다.

터미널 환경의 제약을 넘어 장기 기억과 도구 활용을 시각화한 Hermes WebUI의 멀티 프로필 관리 방식을 다룹니다.

9편에서 multi-candidate 실험 세 건이 모두 유의미한 결과를 내지 못했지만 Schema Binding Plan으로 넘어가기 전에 확인하고 싶은 것이 하나 더 있었습니다. 모델 성능이 병목의 원인일 수 있다는 가설을 검증했습니다. Gemini flash-lite 대신 Pro 모델을 쓰면 현재 56% 수준인 정확도를 개선할 수 있을 것이라 예상했습니다. 이 과정에서 오답 유형 분류와 Spider 실험도 함께 진행했습니다. Pro 모델로 바꿨더니 오히려 정확도가 떨어졌다 모델만 교체하고 동일한 BIRD 50문항을 실행했습니다(프롬프트, 컨텍스트, 파이프라인은 그대로). 지표는 EX(Execution Accuracy)로, 생성된 SQL을 실제로 실행했을 때 정답과 같은 결과가 나오는지 확인하는 방식입니다. ...

자체 30문항에서는 정확도 80%를 기록했지만 BIRD 공개 벤치마크 50문항에서는 56%였습니다. 9번의 실험 끝에 ‘후보 여러 개 만들어서 고르기’ 가설을 세 방향에서 모두 폐기했습니다. 남은 과제는 스키마 이해와 방법론이었습니다.

에이전트에게 Planning을 통째로 맡기면 프로덕션에서 루프를 돌다 멈추는 문제가 생깁니다. OpenAI 가이드는 그 문제를 명시적 워크플로우 제어로 풉니다.

AI 에이전트를 실무에 투입하면 처음엔 결과물 위치도 제각각이고 산출물 양식도 매번 달라집니다. 폴더 구조를 조직도 기반으로 정비하고 SOP를 명문화하면 퀄리티가 일정해지는 이유를 정리했습니다.

Claude Code를 처음 세팅할 때 플러그인 목록 앞에서 막혔다면 Plugin Advisor가 그 입구를 좁혀줍니다. Preset Pack과 사전 체크리스트로 런타임 에러를 미리 잡는 흐름을 정리했습니다.

LangChain v1으로 넘어오면서 기존 체인 코드가 구식이 됐습니다. State와 Node 설계로 흐름을 제어하는 LangGraph를 한국어 주피터 노트북으로 단계별로 익힐 수 있는 저장소를 정리합니다.