package service import ( "testing" "github.com/kazier/backend/repository" ) func newExtractStore(t *testing.T) (*Resources, *Extract) { t.Helper() s := newServiceStore(t) return s, NewExtract(s.Repository) } const extractCorpus = `EDF - SERVICE CLIENTS Facture n° FA-2026-0031 du 12/03/2026 Montant total TTC : 84,20 € À payer avant le 12/04/2026 ` func TestProcessTextPersistsAutoFacts(t *testing.T) { s, ex := newExtractStore(t) userID := mustCreateUser(t, s.Repository, "extract-auto") fileID := repository.NewID() if err := s.Repository.Resources.InsertFile(userID, fileID, "facture.pdf", "", 0, nil, nil); err != nil { t.Fatalf("insert: %v", err) } if err := ex.ProcessText(fileID, extractCorpus); err != nil { t.Fatalf("process: %v", err) } facts, err := s.GetFacts(userID, fileID) if err != nil { t.Fatalf("get facts: %v", err) } byType := map[string][]FactDTO{} for _, f := range facts { byType[f.FactType] = append(byType[f.FactType], f) if f.Origin != "auto" { t.Errorf("origine = %q, attendu auto", f.Origin) } } if len(byType["reference"]) == 0 || len(byType["amount"]) == 0 || len(byType["date"]) == 0 || len(byType["due_date"]) == 0 || len(byType["doc_type"]) == 0 { t.Fatalf("faits manquants: %+v", byType) } var amount float64 for _, f := range byType["amount"] { if f.ValueNum != nil { amount = *f.ValueNum } } if amount != 84.20 { t.Errorf("montant = %v, attendu 84.20", amount) } } func TestProcessTextPreservesUserCorrections(t *testing.T) { s, ex := newExtractStore(t) userID := mustCreateUser(t, s.Repository, "extract-user") fileID := repository.NewID() if err := s.Repository.Resources.InsertFile(userID, fileID, "facture.pdf", "", 0, nil, nil); err != nil { t.Fatalf("insert: %v", err) } // Correction manuelle (S3, simulée en SQL) : l'auto ne doit jamais l'écraser. if _, err := s.Repository.Resources.DB.Exec( `INSERT INTO resource_facts (id, resource_id, fact_type, value_text, confidence, origin) VALUES ($1, $2, 'issuer', 'Vrai Fournisseur', 1.0, 'user')`, repository.NewID(), fileID, ); err != nil { t.Fatalf("seed user fact: %v", err) } if err := ex.ProcessText(fileID, extractCorpus); err != nil { t.Fatalf("process: %v", err) } // Re-passe (idempotence du remplacement auto). if err := ex.ProcessText(fileID, extractCorpus); err != nil { t.Fatalf("re-process: %v", err) } facts, err := s.GetFacts(userID, fileID) if err != nil { t.Fatalf("get facts: %v", err) } issuers := map[string]string{} autoCount := 0 for _, f := range facts { if f.FactType == "issuer" { issuers[f.Origin] = f.ValueText } if f.Origin == "auto" { autoCount++ } } if issuers["user"] != "Vrai Fournisseur" { t.Errorf("correction user écrasée: %+v", issuers) } if autoCount == 0 { t.Error("aucun fait auto après re-passe") } // Pas de doublons auto après deux passes. seen := map[string]int{} for _, f := range facts { if f.Origin == "auto" { seen[f.FactType+"\x00"+f.ValueText]++ } } for k, n := range seen { if n > 1 { t.Errorf("doublon auto %q x%d", k, n) } } } func TestProcessTextEmptyClearsStaleAuto(t *testing.T) { s, ex := newExtractStore(t) userID := mustCreateUser(t, s.Repository, "extract-clear") fileID := repository.NewID() if err := s.Repository.Resources.InsertFile(userID, fileID, "doc.pdf", "", 0, nil, nil); err != nil { t.Fatalf("insert: %v", err) } if err := ex.ProcessText(fileID, extractCorpus); err != nil { t.Fatalf("process: %v", err) } if err := ex.ProcessText(fileID, ""); err != nil { t.Fatalf("clear: %v", err) } facts, err := s.GetFacts(userID, fileID) if err != nil { t.Fatalf("get facts: %v", err) } if len(facts) != 0 { t.Fatalf("auto périmés non purgés: %+v", facts) } } func TestGetFactsScope(t *testing.T) { s, ex := newExtractStore(t) owner := mustCreateUser(t, s.Repository, "extract-scope-o") other := mustCreateUser(t, s.Repository, "extract-scope-x") fileID := repository.NewID() if err := s.Repository.Resources.InsertFile(owner, fileID, "doc.pdf", "", 0, nil, nil); err != nil { t.Fatalf("insert: %v", err) } if err := ex.ProcessText(fileID, extractCorpus); err != nil { t.Fatalf("process: %v", err) } if _, err := s.GetFacts(other, fileID); err != repository.ErrNotFound { t.Fatalf("étranger : attendu NOT_FOUND, got %v", err) } if _, err := s.GetFacts(owner, repository.NewID()); err != repository.ErrNotFound { t.Fatalf("inconnu : attendu NOT_FOUND, got %v", err) } if _, err := s.Trash(owner, fileID); err != nil { t.Fatalf("trash: %v", err) } if _, err := s.GetFacts(owner, fileID); err != repository.ErrNotFound { t.Fatalf("trashé : attendu NOT_FOUND, got %v", err) } } func TestBackfill(t *testing.T) { s, ex := newExtractStore(t) userID := mustCreateUser(t, s.Repository, "extract-backfill") oldID := repository.NewID() if err := s.Repository.Resources.InsertFile(userID, oldID, "vieux.pdf", "", 0, nil, nil); err != nil { t.Fatalf("insert: %v", err) } // OCR d'avant la V3 : texte présent, aucun fait auto. if err := s.Repository.Resources.UpdateOcrText(userID, oldID, extractCorpus); err != nil { t.Fatalf("ocr text: %v", err) } n, err := ex.Backfill(200) if err != nil { t.Fatalf("backfill: %v", err) } if n != 1 { t.Fatalf("backfill = %d, attendu 1", n) } facts, err := s.GetFacts(userID, oldID) if err != nil || len(facts) == 0 { t.Fatalf("faits après backfill: %+v %v", facts, err) } // Deuxième passe : rien à faire (idempotent). n, err = ex.Backfill(200) if err != nil { t.Fatalf("backfill 2: %v", err) } if n != 0 { t.Fatalf("backfill 2 = %d, attendu 0", n) } }