AnythingLLM에서 APIMart 사용하기

​

사전 준비사항

1. AnythingLLM 설치 완료 공식 웹사이트에서 AnythingLLM을 다운로드하여 설치하거나 GitHub를 참조하세요
2. APIMart API 키 획득 APIMart 콘솔에 로그인하여 API 키(sk-로 시작하는)를 받으세요

​

1단계: AnythingLLM 실행 및 설정 접속

​

1.1 애플리케이션 시작

1. AnythingLLM 데스크톱 애플리케이션을 실행하거나 웹 버전에 접속
2. 첫 실행 시 환영 화면이 표시됩니다
3. 왼쪽 하단의 Open settings 버튼(설정 버튼)을 클릭

​

1.2 LLM 구성 페이지로 이동

1. 왼쪽 메뉴에서 LLM Preference 찾기
2. 클릭하여 LLM 구성 페이지로 이동

​

2단계: APIMart API 구성

​

2.1 LLM 제공자 선택

1. LLM Provider 드롭다운 메뉴 찾기
2. Generic OpenAI 선택

​

2.2 API 정보 구성

​

2.3 모델 파라미터 조정(선택사항)

​

2.4 구성 저장

1. 페이지 하단의 Save 버튼 클릭
2. 시스템이 자동으로 연결을 테스트합니다
3. 구성이 올바르면 성공 메시지가 표시됩니다

​

3단계: 임베딩 모델 구성(선택사항)

​

3.1 임베딩 설정으로 이동

1. 왼쪽 메뉴에서 Embedding Preference 찾기
2. 클릭하여 임베딩 모델 구성 페이지로 이동

​

3.2 임베딩 모델 구성

​

4단계: 작업 공간 생성 및 문서 업로드

​

4.1 작업 공간 생성

1. 메인 인터페이스로 돌아가기
2. + New Workspace 클릭
3. 작업 공간 이름 입력(예: “기술 문서 도우미”, “고객 서비스 지식 베이스”)
4. 생성 클릭

​

4.2 문서 업로드

• 📄 텍스트 문서 - .txt, .md, .pdf, .docx
• 💻 코드 파일 - .py, .js, .java, .cpp 등
• 🌐 웹 페이지 - URL 스크래핑을 통해
• 📊 데이터 파일 - .csv, .json, .xml

1. 작업 공간 페이지에서 Upload Documents 클릭
2. 파일을 선택하거나 업로드 영역에 드래그 앤 드롭
3. 문서 처리가 완료될 때까지 대기
4. 문서가 자동으로 벡터화됩니다

​

4.3 문서 관리

1. 업로드된 모든 문서 보기
2. 불필요한 문서 삭제
3. 문서 청킹 세부정보 보기
4. 문서 메타데이터 편집

​

5단계: 대화 시작

​

5.1 기본 대화

1. 작업 공간에서 대화 입력 상자 찾기
2. 질문이나 요청 입력
3. AI가 업로드된 문서와 APIMart 모델을 기반으로 응답 생성

​

5.2 지식 베이스 기능 사용

1. 질문 분석
2. 업로드된 문서에서 관련 콘텐츠 검색
3. 검색된 콘텐츠와 AI 모델을 결합하여 정확한 답변 생성

​

5.3 작업 공간 전환

1. 왼쪽 상단의 작업 공간 이름 클릭
2. 다른 작업 공간 선택하거나 새로 생성
3. 각 작업 공간에는 독립적인 문서 및 대화 기록이 있습니다

​

고급 기능

​

1. Agent 모드

• 🔍 웹 검색 - 최신 정보를 실시간으로 가져오기
• 🧮 계산 실행 - 수학 및 데이터 분석 처리
• 📊 차트 생성 - 데이터 시각화
• 🔗 API 호출 - 외부 서비스와 연동

1. 작업 공간 설정에서 Agent Configuration 찾기
2. 활성화할 도구와 기능 선택
3. 구성 저장

​

2. 대화 기록 관리

• 대화 내보내기 - 대화를 텍스트 또는 JSON 형식으로 내보내기
• 기록 검색 - 이전 대화를 빠르게 찾기
• 기록 삭제 - 불필요한 대화 기록 정리

​

3. 시스템 프롬프트 사용자 지정

1. System Prompt 찾기
2. AI의 역할과 동작 사용자 지정
3. 예시:

당신은 제품 관련 기술 질문에 답변하는 데 능숙한 전문 기술 지원 엔지니어입니다.
답변할 때는 다음을 지켜 주세요:
1. 전문적이고 정중한 태도를 유지
2. 자세한 단계별 설명 제공
3. 확실하지 않은 경우 기술 지원 문의를 권장

​

4. 다중 사용자 관리(Docker 배포 전용)

• 여러 사용자 계정 생성
• 서로 다른 권한 수준 설정
• 작업 공간 접근 권한 관리

​

5. API 액세스

• 프로그래밍 방식으로 작업 공간에 액세스
• 문서 업로드 및 관리
• 대화 요청 전송
• 애플리케이션에 통합

​

자주 묻는 질문

​

Q1: APIMart 서비스에 연결할 수 없나요?

1. Base URL 확인:
   • https://api.apimart.ai/v1(/v1 포함)인지 확인
   • 추가 경로를 붙이거나 /v1을 누락하지 마세요
2. API Key 검증:
   • API Key가 sk-로 시작하는지 확인
   • APIMart 콘솔에서 키가 유효한지 확인
3. 네트워크 연결 확인:
   • https://api.apimart.ai에 접근할 수 있는지 확인
   • 방화벽 또는 프록시 설정 확인

​

Q2: 문서를 업로드한 후 정상적으로 검색되지 않나요?

1. 임베딩 모델 구성 확인:
   • 임베딩 모델이 올바르게 구성되었는지 확인
   • 임베딩 모델 연결 테스트
2. 문서 재처리:
   • 문서를 삭제한 후 다시 업로드
   • 문서 형식이 지원되는지 확인
3. 검색 파라미터 조정:
   • 작업 공간 설정에서 유사도 임계값 조정
   • 반환되는 문서 청크 수 늘리기

​

Q3: 대화 응답 속도가 느린가요?

1. 더 빠른 모델로 전환:
   • gpt-4o 대신 gpt-4o-mini 사용
   • 더 빠른 응답을 위해 gemini-2.0-flash-exp 사용
2. 문서 수 최적화:
   • 작업 공간의 문서 수 줄이기
   • 불필요한 대용량 파일 삭제
3. Max Tokens 조정:
   • 최대 출력 길이 줄이기
   • 더 간결한 프롬프트 사용

​

Q4: API 사용량과 비용은 어떻게 확인하나요?

• 📊 API 호출 통계
• 💰 비용 상세 내역
• 📈 사용 추세 차트
• 🔍 상세 요청 로그

​

Q5: AnythingLLM은 어떤 배포 방식을 지원하나요?

• 🖥️ 데스크톱 애플리케이션 - Windows, macOS, Linux
• 🐳 Docker - 셀프 호스팅 배포
• ☁️ 클라우드 버전 - AnythingLLM Cloud(출시 예정)

​

사용 사례 예시

​

1. 기업 지식 베이스

• 모델: gpt-4o-mini(비용 효율적)
• 문서: 사내 문서, 매뉴얼, FAQ
• 기능: 직원이 회사 정보를 빠르게 조회

• 신규 직원 온보딩
• 회사 정책 빠른 검색
• 기술 문서 검색

​

2. 기술 문서 도우미

• 모델: claude-sonnet-4-5-20250929(코드에 강함)
• 문서: API 문서, 기술 사양, 코드베이스
• 기능: 개발자의 기술 정보 검색 지원

• API 사용 설명 조회
• 코드 예시 검색
• 기술 질문 답변

​

3. 고객 서비스 지식 베이스

• 모델: gpt-4o(고품질 대화)
• 문서: 제품 매뉴얼, FAQ, 솔루션
• 기능: 고객 질문에 빠르게 응답

• 자주 묻는 질문 자동 답변
• 제품 사용 안내
• 문제 해결 제안

​

4. 연구 및 학습 도우미

• 모델: gpt-5(강력한 이해력)
• 문서: 연구 논문, 교재, 노트
• 기능: 학습과 연구 지원

• 논문 요약 및 분석
• 지식 포인트 설명
• 학습 경로 계획

​

기능 특성

• 📚 개인 지식 베이스 - 로컬에서 안전한 개인 지식 베이스 구축
• 🔒 데이터 개인정보 보호 - 모든 데이터를 로컬에 저장하여 개인정보 보호
• 🤖 다중 모델 지원 - 다양한 AI 모델을 유연하게 전환
• 📄 다중 형식 지원 - 다양한 문서 형식 지원
• 🎯 정확한 검색 - 벡터 기반 지능형 문서 검색
• 💬 컨텍스트 대화 - 긴 대화의 컨텍스트 유지
• 🔧 높은 사용자 지정성 - 프롬프트, 파라미터 등을 사용자 지정
• 🌐 크로스 플랫폼 - Windows, macOS, Linux 지원

​

데이터 보안 및 개인정보 보호

​

로컬 데이터 저장

• 📁 로컬 파일 시스템 - 문서를 로컬에 저장
• 🗄️ 로컬 벡터 데이터베이스 - 벡터 인덱스를 로컬에 저장
• 💾 대화 기록 - 대화 기록을 로컬에 저장

​

API 호출 보안

• 🔐 암호화 전송 - 모든 API 호출은 HTTPS 암호화를 사용
• 🔑 키 보호 - API Key를 안전하게 저장
• 🚫 데이터 보존 없음 - APIMart는 대화 내용을 저장하지 않습니다

​

모범 사례

​

1. 문서 관리

• 정기 업데이트 - 문서 내용을 최신 상태로 유지
• 구조화된 구성 - 명확한 폴더 구조 사용
• 명명 규칙 - 의미 있는 파일 이름 사용
• 오래된 문서 삭제 - 만료된 문서를 정기적으로 정리

​

2. 프롬프트 최적화

당신은 도우미입니다

당신은 사용자가 제품 관련 기술 문제를 해결하도록 돕는 전문 기술 지원 도우미입니다.

답변할 때는 다음 원칙을 따르세요:
1. 제공된 문서 내용을 기반으로 답변하고, 문서에 관련 정보가 없으면 명확히 알리기
2. 필요한 경우 예시와 함께 자세한 단계별 설명 제공
3. 명확하고 이해하기 쉬운 언어 사용
4. 복잡한 문제는 기술 지원 팀에 문의하도록 권장

​

3. 성능 최적화

• 문서 크기 제어 - 지나치게 큰 단일 파일 업로드 피하기
• 합리적인 청크 분할 - 기본 문서 청크 설정 사용
• 적절한 모델 선택 - 작업 복잡도에 따라 모델 선택
• 사용량 모니터링 - API 사용량을 정기적으로 확인

​

4. 작업 공간 계획

• 프로젝트별 분리 - 서로 다른 프로젝트에 독립적인 작업 공간 생성
• 권한 관리 - 작업 공간 권한을 적절히 설정(Docker 버전)
• 데이터 백업 - 중요한 작업 공간을 정기적으로 백업

​

지원 및 도움말

• 📚 APIMart 문서
• 📚 AnythingLLM 공식 문서
• 📚 AnythingLLM GitHub
• 💬 Discord 커뮤니티
• 🐦 Twitter @APIMart_
• 📧 기술 지원: zhihong@apimart.ai