[개인 공부] 미들웨어에 대해서 공부하기
·
개인 공부 - 내가 공부하고 싶은 모든 것/1. 인프라
안녕하세요! 오늘은 미들웨어(Middleware)에 대해서 공부하겠습니다. 갑자기 미들웨어를 공부하는 이유가 있습니다. 프로젝트 AgentShield 발표를 마치고, 실무자 분들에게 질문을 따로 한 적이 있는데, 그 때 미들웨어라는 부분을 공부해보는 걸 추천했습니다. 추가로 쿠버네티스도 공부 추천을 하셨습니다. 쿠버네티스는 아래 블로그에 정리했었습니다. [개인 공부] 쿠버네티스(Kubernetes, K8s)안녕하세요.오늘은 쿠버네티스라고 하는 수많은 컨테이너를 하나하나 관리하는 대신, 전체적인 조율을 맡아 시스템이 항상 원하는 상태를 유지하도록 돕는 오픈소스 오케스트레이션 플랫폼에pak1010pak.tistory.com 그럼 오늘은 미들웨어에 대해서 더 자세하게 공부하도록 하겠습니다.1. 미들웨어의 개념..
[AgentShield] 프로젝트 후 코드 분석 및 연구 (3): 판정 에이전트 아키텍처 변화 과정
·
4. [팀] 프로젝트 및 공모전/4-5 AgentShield(보안 플랫폼)
안녕하세요! 오늘은 판정 에이전트(Judge Agent)의 아키텍처가 어떻게 변해왔는지를 기록하는 블로그 입니다. 단순 if-else 구조에서 시작해서, 3레이어 규칙 기반 구조를 거쳐, 최종적으로 LangGraph 기반 멀티 에이전트 합의 구조에 도달하기까지의 과정과 그 이유들에 대해서 정리해보겠습니다.1. 개요 및 판정에이전트에 대해서 정리아키텍쳐를 알아보기 위해서 판정에이전트에 대해서 살짝 알아볼 필요가 있다. 판정이 중요한 이유는 레드 에이전트가 아무리 강한 공격을 생성해도, 그 결과를 "취약이냐, 방어했냐"로 판정하는 것은 판정 에이전트의 몫이다. 판정이 틀리면 모든 게 틀어진다. 특히 파인튜닝과 맞물리면 문제가 심각해진다. 판정 에이전트가 오판을 내려 잘못된 공격문에 성공 판정이 붙으면, 그 ..
[AgentShield] 프로젝트 후 코드 분석 및 연구 (2): 레드 에이전트 강화 일지
·
4. [팀] 프로젝트 및 공모전/4-5 AgentShield(보안 플랫폼)
안녕하세요! 이번 글은 레드 에이전트의 공격 능력을 강화해온 과정을 기록한 글을 작성해보겠습니다. 파인튜닝 이전에 레드 에이전트 자체의 공격 전략, 프롬프트 구조, 판정 로직을 어떻게 바꿔왔는지를 중심으로 정리합니다.이전 글(연구 1편)이 "어떻게 학습시켰는가"에 집중했다면, 이번 글은 "학습시키기 전에 레드 에이전트를 어떻게 만들어왔는가"에 집중된 블로그 입니다.1. 개요 및 기존 방법처음 레드에이전트(공격 에이전트)는 단순했다. 시스템 프롬프트 공격 기법을 약 20개 나열, 규칙을 7개정도 줬다. 총 약 1,200자의 정도의 긴 지시문을 작성했다. 파인튜닝을 하기 전 낮은 모델로 테스트 및 연구를 하는 건 너무 무모하다. 일단 시스템 프롬프트 및 규칙을 안정화 시키고 넘어가는 방법을 택했다. 공격 프..
[AgentShield] 프로젝트 후 코드 분석 및 연구 (1): 모델 학습
·
4. [팀] 프로젝트 및 공모전/4-5 AgentShield(보안 플랫폼)
안녕하세요! 이 글은 프로젝트 후 제가 시험해보고 싶은 연구들이 아직 남아서 작성 기록을 남기려고 합니다!일단 코랩에서 진행 했던 red_agent의 학습 기록을 블로깅해보겠습니다! 하단에 상세 분석이 있습니다!1. 데이터셋 준비폴더 위치: data/finetuning/... 학습에 필요한 데이터셋은 변형 공격이 아닌 공격 그대로의 원본 형태의 공격프롬프트가 필요합니다.공격을 단순 성공한 강한 공격을 넣는다고 LLM은 더 강한 공격을 생성하지 않습니다. 오히려 특정 도메인에 취우치게 됩니다.그래서 저는 도메인을 큰 틀로 두고 원본 그대로의 공격프롬프트를 생성해봤습니다. 로컬 LLM으로 연결해서 강한 역할 프롬프트를 먼저 작성하고 후에 아래 모델을 사용해서 공격프롬프트를 뽑았습니다. https://hugg..
[트러블 슈팅] 로컬 단일 GPU에서 멀티 에이전트 LLM 파이프라인 실행하기: 직렬화와 VRAM 관리
·
4. [팀] 프로젝트 및 공모전/4-5 AgentShield(보안 플랫폼)
이 글은 제 보안 프로젝트 AgentShield의 개인 트러블 슈팅 및 기록 블로그입니다.배경AgentShield는 LangGraph 기반 Red/Blue 에이전트 공방 파이프라인이다. Phase 1(공격 스캔) → Phase 2(변형 공격) → Phase 3(방어 코드) → Phase 4(방어 검증)로 이어지며, 각 단계에서 여러 LLM 에이전트가 Ollama를 호출한다.로컬 GPU(4070Ti, 12GB VRAM)에서 이 파이프라인을 돌리자 다음 문제들이 동시에 터졌다:Ollama returned empty response (attempt 1/3)Ollama API Error 500: {"error":"EOF"}[Target LLM] timeout (attempt 1/3)에러 로그는 같은 초에 같은 ..
[트러블슈팅] Ollama EOF 에러의 원인: Thinking 모델과 KV Cache 오버플로
·
4. [팀] 프로젝트 및 공모전/4-5 AgentShield(보안 플랫폼)
이 글은 제 보안 프로젝트 AgentShield의 트러블 슈팅 과정 기록입니다.배경로컬 GPU에서 qwen3.5:4b를 Ollama로 실행하고, LangGraph 기반 멀티 에이전트 판정 시스템이 이 모델을 호출하는 구조였다. Phase 1 스캔이 시작되자마자 아래 에러가 반복됐다.Ollama API Error 500 (attempt 1/3): {"error":"EOF"}Ollama API failed after 3 retriesStrict Auditor: Empty Ollama response, using default judgment처음엔 VRAM 부족이나 네트워크 문제로 봤다. 하지만 단순한 curl 테스트는 정상 응답을 반환했다.curl http://localhost:11434/api/genera..
[나만의 LLM 환경 구축] Ollama + Continue로 로컬 LLM 개발 환경 구축하기 (바이브 코딩 적용 정리)
·
5. [개인] 프로젝트 및 공모전/4-5 나만의 로컬 LLM 멀티 에이전트 구축
안녕하세요!기존에는 Ollama를 이용해 터미널에서 Modelfile을 기반으로 모델을 생성하고, ollama run 명령어로 단순 질의응답을 수행하는 방식으로 로컬 LLM을 활용했습니다. 근데 갑자기 떠올랐습니다. 바이브 코딩에도 사용할 수 있지 않나? 결국은 에이전트가 툴이 연결 된 형태일테니깐요! 그리고 평소 코파일럿을 애용했는데, 정책이 바뀌면서 이 참에 더 확고해졌습니다."내 로컬 AI (LLM) 환경을 구축해버리자!" 돈도 이제 안듭니다! 그리고 제 최종 목표인 각각의 프로젝트마다 특화된 파인튜닝 된 멀티 에이전트 구조에 더 가까이 다가가게 됩니다! 제 꿈은 크니깐요! 터미널 방식은 가볍고 직관적이지만, 코드 작성이나 프로젝트 단위 작업에는 한계가 있습니다.이 글에서는 기존 방식에서 한 단계 ..
[나만의 LLM 환경 구축] Qwen3.6-35B-A3B 모델 개요 및 Ollama 실행 가이드 (2)
·
5. [개인] 프로젝트 및 공모전/4-5 나만의 로컬 LLM 멀티 에이전트 구축
안녕하세요! 요즘 맥북을 사고 LLM 모델에 대해서 연구하는게 너무 재밌네요! 최신 모델들에 대해서 탐구하고, 계속 공부하고 찾아보고 적용해보는 재미가 너무 행복한 것 같습니다! 이번엔 Qwen 팀이 공개한 최신 오픈소스 모델인 Qwen3.6-35B-A3B에 대한 개념적 정리와 Ollama 환경에서의 실행 방법을 정리해 드립니다! https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF unsloth/Qwen3.6-35B-A3B-GGUF · Hugging FaceWe’re on a journey to advance and democratize artificial intelligence through open source and open science.huggingfac..
[LLM] '코딩 AI' 구축하기: 모델 선정부터 에러 해결
·
3. 자습 & 메모(실전, 실습, 프로젝트)/3-2 메모(실전, 프로젝트)
1. 들어가며: 왜 로컬 LLM인가?ChatGPT나 Claude도 좋지만, 보안이 중요한 프로젝트 코드를 외부 서버에 보내는 것은 꺼려진다. 내 컴퓨터(Local)에서 돌아가는 AI가 필요했다. 하지만 내 GPU는 RTX 4070 Ti (VRAM 12GB). 과연 이 사양으로 현업 수준의 코딩 AI를 돌릴 수 있을까? 오늘 그 가능성을 테스트해보았다. 참고 한 사이트https://huggingface.co/ Hugging Face – The AI community building the future.The Home of Machine Learning Create, discover and collaborate on ML better. We provide paid Compute and Enterprise s..