이것은 Gemma 4 Challenge: Gemma 4로 구축하기
의 제출물입니다. 제가 만든 것
매주 몇 번씩은 고객 데이터 유출이나 SaaS 플랫폼이 해킹되는 이야기가 나옵니다. 동시에 사람들은 여전히 Gmail 계정을 무작위 AI 제품에 연결하여 질문에 답하기 위해 "제 배송품은 어디에 있는가?"라고 물어봅니다.
Parsli는 로컬 우선 AI 보조 프로그램으로, 이메일함을 다른 사람의 클라우드로 보내지 않고 질문에 답해줍니다.
이 프로그램은 Gmail을 로컬로 연결하여 배송 관련 이메일을 분석하고, 추적 정보를 추출하며, 배송 사건을 분류하고, 마켓플레이스, 운송사, 픽업 지점, 세관 통지 및 여전히 2009년처럼 이메일을 보내는 무작위 상점의 엉망진창에서 타임라인을 구축합니다.
배송 이메일은 자세히 살펴보면 놀랍도록 친밀한 데이터셋입니다. 이메일은 조용히 당신이 어디서 쇼핑하는지, 어떤 약국을 이용하는지, 얼마나 비싼 물건을 구매하는지, 언제 여행을 가는지, 심지어 집에 없을 때까지도 알아낼 수 있습니다. "우리는 당신의 프라이버시를 중요하게 생각합니다"라고 적힌 페이지를 가진 또 다른 스타트업에게 개인적인 행동 패턴의 흐름을 맡기고 싶지 않았습니다.
Parsli는 여전히 초기 프로토타입이지만, 진심으로 계속 개발할 계획인 것입니다. 다양한 국가에서 다른 마켓플레이스를 통해 주문하며, 운송 추적은 운송사, 언어, 알림 형식을 넘어 혼란으로 빠지곤 합니다. 이는 지역 AI 워크플로우를 실험으로 시작했지만, 점차 나 자신이 실제로 사용하고 싶게 된 것입니다. 다음 단계에는 SMS, 스크린샷 및 음성 메시지를 입력 소스로 추가하는 것을 포함합니다 - 운송 업데이트는 이메일뿐만 아니라 여러 채널에 흩어져 있습니다.
나는 시스템이 관찰 가능한 것을 원했고, 다른 "검은 상자" AI 에이전트가 되는 것보다. 배송 이벤트를 저장하는 외에도, Parsli는 규칙 일치, 모델 결정, 신뢰 수준, 추출된 엔티티, 처리 시간, 토큰 사용 및 분류 이유를 지속 저장합니다. 홉피스 데모를 벗어나면 이메일 분석은 거의 즉시 에지 케이스 헬이 되므로, 전체 결정 경로를 가지고 있으면 디버깅이 훨씬 쉬웠습니다.
Demo
코드
https://github.com/olgazju/parsli
Gemma 4를 어떻게 사용했는지
Parsli는 확정론적 추출 파이프라인 위에 Gemma 4를 추론 레이어로 사용합니다.
많은 운송 이메일은 전혀 LLM이 필요 없습니다. Amazon, UPS, 이스라엘 포스트와 인터넷의 반은 계속 같은 템플릿을 보내고 있기 때문에, HTML 정리, 운송 번호 추출, 인보이스 필터링 및 명백한 운송 업데이트와 같은 일은 결정론적 규칙과 언어 팩을 통해 처리됩니다. 각 이메일마다 모델 호출을 낭비하는 것은 느리고 무의미합니다.
하지만 이메일이 표준 템플릿에서 벗어나기 시작하면 - 다국어 관세 통지서, 추적 정보가 문장 속에 숨겨진 수거 지점 알림, 모든 것을 다르게 형식화하는 마켓플레이스처럼 - 결정론적 규칙만으로는 충분하지 않습니다. 그것이 바로 Gemma가 규칙 위에 배송 분류기와 감사 레이어로서 등장하는 곳입니다.
파이프라인은 먼저 결정론적으로 구조화된 후보자를 추출한 다음, 모델에 검증, 신뢰도 추정, 배송 상태 분류 및 결과가 영구 저장되기 전에 모호한 경우를 전송하여 일반적으로 "이게 정말 의미가 있나요"를 확인합니다.
전체 결정 추적을 저장합니다: 어떤 규칙이 작동했는지, 모델 출력, 신뢰 점수, 토큰 사용량, 시간 지연 및 최종 답변이 규칙에서 비롯되었는지 모델에서 비롯되었는지 여부. 제 실제 메일함에서 48개의 관련 이메일 중 55%는 규칙으로 해결되었고, 모델은 저렴한 검토를 위해 동의했습니다. 38%는 모델이 실제로 규칙이 잘못했던 부분을 수정했고, 나머지는 경계 사례를 나누었습니다. 규칙만으로는 아마도 60% 정도까지 도달할 수 있습니다. 모델만으로는 모든 것을 처리할 수 있지만 느리고 낭비가 될 것입니다. 함께하면 서로의 눈을 가리는 부분을 커버합니다.
지역 추론을 위해 Google/gemma-4-e4b를 LM Studio의 헤드리스 모드에서 M2 MacBook Pro에서 실행했습니다. 이 모델 크기는 이 작업에 충분히 많았습니다. 배송 추적은 HTML 쓰레기와 이메일 혼란을 제거하면 좁은 구조화된 문제입니다 - 유한한 상태 집합으로 분류하는 것이 아니라 시를 쓰는 것이 아닙니다. E4B는 전체적으로 빠르게 실행할 수 있도록 전용 GPU 서버 없이 로컬에서 실행할 수 있는 추론 질을 제공해야 했기 때문에 충분히 빠르게 질을 유지했습니다.