영상처리 기술, 그 이야기

OpenAI의 GPT-OSS-120B와 Z.ai의 GLM-5.3은 모델 가중치가 공개된 추론형 LLM입니다. 두 모델은 문서 분석, 코드 생성, AI Agent 개발에 활용할 수 있으며 모델 규모, 컨텍스트 길이 및 운영 효율성에서 차이가 있습니다.

1. GPT-OSS-120B와 GLM-5.3 사양 비교

2. 모델별 특징과 차이점

GPT-OSS-120B는 MoE(Mixture of Experts) 구조를 통해 일부 전문가 네트워크만 활성화합니다. MXFP4 양자화 가중치를 사용해 80GB GPU 한 장에 적재할 수 있도록 설계되었으며, Harmony 포맷을 통해 지시사항, 추론 및 도구 호출을 구분합니다. 반복적인 문서 정보 추출과 비용 효율적인 자체 구축에 적합한 후보입니다.

GLM-5.3은 대규모 MoE 구조와 최대 1M 토큰의 컨텍스트를 활용해 장문 문서, 복잡한 코딩 및 다단계 Agent 작업에 유리합니다. 다만 자체 구축 시 GPU 메모리와 연산 자원이 더 많이 필요하며, 높은 추론 수준은 응답 시간과 토큰 소비를 증가시킬 수 있습니다.

3. 프롬프트 설계 및 사용 시 고려사항

GPT-OSS-120B는 공식 Harmony 템플릿을 사용하고 업무 규칙과 분석 데이터를 분리하는 것이 중요합니다. GLM-5.3 역시 공식 Chat Template을 적용하고 추론 수준을 업무 난이도에 맞게 설정해야 합니다. API와 추론 엔진에 따라 지원 기능 및 토큰 한도가 다를 수 있습니다.

4만 자의 고정 시스템 프롬프트를 사용할 경우 모델별 Tokenizer로 실제 토큰 수를 측정하고, 보고서 입력과 추론·출력에 필요한 토큰까지 확보해야 합니다. 중복 규칙을 제거하고 역할, 분석 기준, 예외 조건, 출력 형식을 구분하면 지시사항 누락을 줄이는 데 도움이 됩니다. Prefix Caching은 반복 처리 비용을 절감할 수 있지만 정확도를 직접 높이지는 않습니다.

4. 응답 일관성 확보 방법

모델 버전과 추론 수준을 고정하고 Temperature, Top P를 동일하게 유지합니다. Temperature 0.1~0.3은 비교 실험의 출발점으로 활용하되 모델 기본값과 평가해야 합니다. JSON Schema, Few-shot 예제, 프로그램 기반 검증을 적용하면 출력 형식과 판단 기준을 일관되게 관리할 수 있습니다. 동일한 설정도 완전한 재현성을 보장하지는 않습니다.

5. 보고서 분석 및 모델 선택

반복적인 정보 추출과 자체 서버 운영에는 GPT-OSS-120B를, 대량 보고서 통합과 복잡한 종합 분석에는 GLM-5.3을 우선 검토할 수 있습니다. 두 모델을 결합해 정보 추출, 근거 검증, 종합 분석을 분리하는 Hybrid AI Agent도 효과적인 설계 후보입니다. 실제 도입 전 한국어 보고서로 정확도, 규칙 준수율, 처리 시간과 비용을 비교하는 것이 중요합니다.

공식 자료: GPT-OSS-120B · GLM-5.3

1. CPU 기반 LLM이란?

CPU 기반 LLM은 NVIDIA GPU나 별도의 그래픽카드 없이 일반 PC의 CPU와 시스템 메모리(RAM)만 사용하여 대규모 언어모델을 실행하는 기술입니다. 모델을 4비트 또는 8비트로 양자화(Quantization)하면 메모리 사용량이 감소하여 일반 노트북이나 데스크톱에서도 LLM을 구동할 수 있습니다. 다만 GPU보다 추론 속도가 느리므로 1B~4B 규모의 경량 모델이 적합합니다.

2. CPU 기반 LLM 실행 방법

llama.cpp는 AVX2, AVX512 등 CPU 명령어와 저비트 양자화를 지원하여 CPU 추론 성능을 최적화할 수 있습니다.

3. CPU 실행에 적합한 LLM 모델

위 모델들은 CPU 환경에서도 실행할 수 있는 경량 언어모델입니다. 일반적으로 파라미터가 적고 양자화 수준이 높을수록 메모리 요구량이 감소합니다.

4. Ollama를 활용한 실행 예제

Windows 환경에서 Ollama 공식 홈페이지 에 접속하여 프로그램을 설치합니다.

설치 후 명령 프롬프트 또는 PowerShell에서 다음 명령어를 실행합니다.

# 경량 모델 실행
ollama run qwen3.5:0.8b

# 한국어 및 문서 분석용
ollama run qwen3.5:4b

# Google 경량 모델 실행
ollama run gemma3:1b

GPU가 없는 환경에서는 CPU를 통해 추론하며, 모델은 최초 실행 시 자동으로 다운로드됩니다.

5. CPU 기반 LLM 권장 하드웨어

위 사양은 4비트 양자화와 짧은 컨텍스트를 가정한 대략적인 권장 범위입니다. 실제 실행 성능은 CPU 코어 수, 메모리 대역폭, 모델 구조 및 컨텍스트 길이에 따라 달라집니다.

6. 결론

일반 PC에서는 Ollama와 Qwen3.5 2B 또는 4B 모델 조합을 추천합니다.

설치가 간편하며 한국어 질의응답, 문서 요약, 로컬 AI Agent 개발 등에 활용할 수 있습니다.

성능 최적화가 중요하다면 llama.cpp와 GGUF 양자화 모델을 사용하는 것이 좋으며, Intel CPU 환경에서는 OpenVINO도 검토할 수 있습니다.

CPU 기반 LLM은 GPU 비용 없이 오프라인 AI 시스템과 개인정보 보호형 사내 AI 서비스를 구축하는 데 유용한 기술입니다.

1. REA(Reverse Engineer Anything)란?

REA는 AI 에이전트와 리버스 엔지니어링 도구를 연결하여 소프트웨어 내부 구조와 동작 원리를 분석하도록 지원하는 오픈소스 프로젝트입니다.

리버스 엔지니어링(Reverse Engineering)은 완성된 프로그램을 분석하여 알고리즘, 함수 구조, 데이터 처리 과정을 역으로 파악하는 기술입니다. REA는 Claude Code, Codex 등 AI 코딩 에이전트와 분석 도구를 연동해 분석 작업을 지원합니다.

2. REA의 주요 특징

• AI 에이전트 연동: 자연어로 분석 요청
• 바이너리 분석: Ghidra, IDA 등 전문 분석 도구 활용
• 다양한 프로그램 분석: 실행 파일과 여러 소프트웨어 환경 지원
• 기능 재구현: 분석 결과를 바탕으로 유사 기능 개발
• 로컬 분석: 로컬 환경에서 분석 수행

특히 MCP(Model Context Protocol)를 활용하여 AI 에이전트와 분석 도구를 연결할 수 있습니다.

3. REA 설치 방법

Node.js와 지원되는 AI 코딩 에이전트를 준비한 후 터미널에서 다음 명령어를 실행합니다.

npx rea-agents@latest setup

설치 계획을 확인하고 승인한 뒤 에이전트를 재시작합니다. 바이너리 분석에는 별도의 분석 엔진이 필요할 수 있습니다.

4. 활용 예제: 포토샵과 유사한 이미지 블러 필터 구현

포토샵의 블러(Blur) 기능과 유사한 이미지 처리 프로그램을 개발한다고 가정하겠습니다. 상용 프로그램을 무단으로 분석하는 대신, 분석 권한이 있는 오픈소스 이미지 편집 프로그램을 대상으로 진행합니다.

1. REA로 이미지 필터 관련 함수와 호출 구조를 조사합니다.
2. AI 에이전트에 블러 처리 과정과 분석 근거를 설명하도록 요청합니다.
3. 분석 결과를 참고하여 Python과 OpenCV로 독립적인 필터를 구현합니다.

import cv2

image = cv2.imread("input.jpg")
blur = cv2.GaussianBlur(image, (15, 15), 0)
cv2.imwrite("output.jpg", blur)

위 코드는 REA에서 추출한 코드가 아니라 OpenCV를 활용한 독립적인 구현 예제입니다.

5. REA 활용 시 주의사항

REA가 모든 프로그램의 원본 소스코드를 복원하는 것은 아닙니다. 상용 소프트웨어 분석 시 저작권, 라이선스, 관련 법률을 확인해야 합니다.

REA는 AI 에이전트와 전문 분석 도구를 결합하여 소프트웨어 구조 분석과 기능 재구현을 지원합니다. 개발자는 이를 활용해 프로그램의 동작 원리를 학습하고 호환성 연구와 새로운 소프트웨어 개발에 응용할 수 있습니다.

공식 사이트: https://rea.tools/

1. Agentic Video

구글의 Agentic Video Understanding(에이전트형 영상 이해)은 인공지능이 영상의 내용을 스스로 탐색하고 분석하는 기술입니다.

기존 영상 분석 AI는 일정한 간격으로 프레임을 추출해 전체 영상을 처리했습니다. 반면 Agentic Video는 사용자의 질문을 이해하고 필요한 장면을 찾아 집중적으로 분석합니다.

예를 들어 2시간짜리 CCTV 영상에서 특정 인물이 등장한 순간을 질문하면 AI가 관련 구간을 탐색하고 해당 장면을 자세히 확인합니다. 단순한 영상 요약을 넘어 AI가 분석 과정까지 자율적으로 결정한다는 점이 핵심입니다.

2. 핵심 기술과 특징

Agentic Video는 영상 분석의 정확성과 효율성을 높이기 위해 다음과 같은 기술을 활용합니다.

• 동적 프레임 분석: 중요한 구간에서는 FPS와 해상도를 조절하여 빠른 움직임까지 확인합니다.
• 멀티모달 이해: 영상, 음성, 자막을 함께 분석하여 상황과 맥락을 파악합니다.
• 자율적 탐색: AI가 필요한 장면을 반복적으로 찾아보고 분석 결과를 검증합니다.
• 정밀 이벤트 검색: 짧은 순간의 행동 변화, 이상 현상, 객체 등장 시점을 찾아냅니다.

이러한 방식은 모든 프레임을 동일하게 처리하는 방법보다 연산 자원을 효율적으로 활용할 수 있습니다. 특히 장시간 영상에서 필요한 정보를 검색하는 작업에 적합합니다.

3. 주요 활용 분야

① CCTV 및 보안 관제

장시간 녹화 영상에서 침입, 위험 행동, 사고 발생 구간을 검색하고 보안 담당자의 확인 시간을 줄일 수 있습니다.

② 제조업 품질 검사

생산라인 영상에서 설비 이상, 불량 의심 장면, 작업자의 반복 동작을 분석하여 품질 관리에 활용할 수 있습니다.

③ 영상 편집 및 콘텐츠 제작

강의, 인터뷰, 유튜브 영상에서 핵심 장면과 특정 발언을 찾아 하이라이트 편집과 요약을 자동화할 수 있습니다.

4. 실제 사용 방법

개발자는 Google AI Studio 또는 Gemini API를 통해 영상 분석 기능을 활용할 수 있습니다.

1. Google AI Studio에서 영상 분석을 지원하는 Gemini 모델을 선택합니다.
2. 분석할 영상 파일 또는 지원되는 유튜브 URL을 입력합니다.
3. Agentic Video 기능이 제공되는 환경에서는 해당 처리 옵션을 설정합니다.
4. "작업자가 안전모를 벗은 시점을 찾아줘"처럼 구체적인 질문을 입력합니다.
5. AI가 관련 장면을 분석한 뒤 결과와 시간 정보를 제공합니다.

단, Agentic Video 전용 옵션과 지원 모델은 API 버전 및 서비스 제공 환경에 따라 달라질 수 있으므로 공식 개발자 문서를 확인해야 합니다.

5. 전망과 한계

Agentic Video는 영상 분석을 단순한 프레임 인식에서 목적 중심의 자율적 영상 이해로 발전시키는 기술입니다.

특히 장시간 영상 검색, 산업 안전, 스마트팩토리, 영상 콘텐츠 관리 분야에서 활용 가능성이 큽니다.

다만 빠른 장면 전환이나 미세한 이상 현상을 놓칠 수 있으며, 반복 탐색으로 처리 시간이 길어질 수 있습니다. 따라서 산업 현장에서는 AI 분석 결과를 기존 영상처리 알고리즘 및 사람의 검증과 결합하는 것이 효과적입니다.

핵심은 AI가 영상을 모두 보는 것이 아니라, 무엇을 어디서 자세히 봐야 하는지 스스로 판단한다는 점입니다.