JOBS
완료AI 채용 매칭 플랫폼
프로젝트 설명
AI가 구직자 프로필과 채용 공고를 임베딩 유사도로 매칭해 추천하는 플랫폼입니다. 원티드·사람인을 매일 자동 크롤링하고, MCP 챗봇으로 공고를 탐색·추천합니다.
- 원티드·사람인 듀얼 크롤러 + Cohere 임베딩(1024d) 기반 유사도 매칭
- EC2/Docker(MongoDB·Redis·로컬 ML) 구성을 무료 클라우드(Vercel·Render·Supabase pgvector)로 이전, Vercel Cron 일일 자동 파이프라인
기술 스택
아키텍처
사용자 (Web)
└─ React (Vercel)
├─ 공고 검색/필터 · 페이지네이션
├─ AI 매칭(적합도) · 출처 배지 · 원본 링크
└─ MCP 챗봇 · 커리어 추천
└─ FastAPI (Render)
├─ 원티드·사람인 크롤러 → Cohere 임베딩(1024d)
├─ pgvector 유사도 매칭
├─ MCP 서버 (챗봇 도구 프록시)
└─ Supabase PostgreSQL + pgvector
└─ Vercel Cron (매일 08:00 KST)
└─ 크롤 → 임베딩 → 유사도 재계산 → 통계
── 과거 버전 (팀 프로젝트, 2025) ──
└─ React → FastAPI
├─ MCP 에이전트 · Airflow ML 파이프라인
├─ PostgreSQL + MongoDB + Redis (멀티 DB)
└─ AWS / EC2 / Docker 배포원티드·사람인을 크롤링해 Cohere로 1024차원 임베딩하고, pgvector 유사도로 구직자와 공고를 매칭합니다. MCP 서버가 챗봇 도구 호출을 프록시하고, Vercel Cron이 매일 크롤·임베딩·유사도·통계 파이프라인을 자동 실행합니다. 기존 EC2/MongoDB/Redis/로컬 ML 구성을 무료 클라우드(Vercel·Render·Supabase)로 이전했습니다.
주요 기능
듀얼 소스 크롤러
원티드 내부 JSON API + 사람인 HTML 스크래핑으로 IT/개발 공고 수집. (source, source_id) 유니크 + 회사명·제목 정규화로 교차 소스 중복 제거
Cohere 임베딩 매칭
공고·구직자 프로필을 embed-multilingual-v3.0(1024d)로 임베딩하고 pgvector 유사도로 적합도 산출. 로컬 sentence-transformers를 임베딩 API로 대체
MCP 챗봇 에이전트
Model Context Protocol 서버가 백엔드 API를 도구로 노출해, 챗봇이 실데이터로 공고를 탐색·추천
Vercel Cron 파이프라인
매일 08:00 KST에 크롤 → 임베딩 → 전체 유사도 재계산 → 일간 스킬 통계까지 서버리스로 자동화
과거 버전 (팀 프로젝트, 2025)
초기 구성은 Apache Airflow ML 파이프라인 + PostgreSQL·MongoDB·Redis 멀티 DB + AWS/EC2/Docker 배포, 로컬 sentence-transformers 임베딩의 4인 팀(백엔드·데이터 사이언티스트) 프로젝트. 이후 무료 클라우드(Vercel·Render·Supabase)로 단독 이전.
기능
링크
