fix backend audit findings (auth, upload, sync, data, ocr, contract)
CI / lint-backend (push) Failing after 1m39s
CI / lint-mobile (push) Canceled after 11m8s
CI / test-backend (push) Canceled after 0s
CI / test-mobile (push) Canceled after 0s
CI / build-backend (push) Canceled after 0s
CI / docker (push) Canceled after 0s

This commit is contained in:
m
2026-09-21 19:59:52 +02:00
parent df7dc76405
commit a6b7f2002b
60 changed files with 3414 additions and 412 deletions
+297
View File
@@ -0,0 +1,297 @@
# FEEDBACK — Audit backend Kazier
Date : 2026-09-21
Scope : `backend/` (Go, Gin, Postgres, Paseto, Tesseract)
Mode : lecture seule, vérifié dans le code.
But : autre agent relit et complète ci-dessous (voir § À compléter).
## Haute priorité
1. **Route `GET /files/folders` masquée** — `backend/handlers/router.go:29-32`
`GET /files/:id` déclaré avant `GET /files/folders`. Gin peut capter `folders` comme `id="folders"` → 404 au lieu de la liste.
2. **`move_resource` sans check de cycle** — `backend/service/sync.go:204-219`
Seul `toFolder == resourceID` rejeté. Déplacer un parent dans son enfant crée un cycle, casse les CTE récursives (`depth<100`).
3. **`create_link` non-idempotent** — `backend/service/sync.go:337` → `backend/repository/shares.go` (`CreateLink` INSERT simple sur PK `token`)
Rejeu même `operation_id` (crash entre apply et `Record`) → violation PK classée `INVALID_REQUEST` terminale, bloque tout l'outbox. Prévoir `ON CONFLICT DO NOTHING` comme `Operations.Record`.
4. **`AUTH_SECRET` défaut faible** — `backend/config/config.go:49` + `backend/pkg/auth/auth.go`
Défaut `dev-secret-change-me`, juste `SHA256`, pas de check longueur/entropie → tokens paseto v4-local forgeables sur déploiements par défaut.
5. **Upload : extension non sanitisée** — `backend/service/resources.go:148-154`
`filepath.Ext(file.Filename)` client tel quel → `destPath = <user>/<id>.<ext>`. Cas `""` → fichier `id.`, cas `../../`, `/`, très long → traversal / orphelins / ambiguïté `Glob(id.*)` pour OCR.
6. **Orphelins + stale bytes au re-upload** — `backend/service/resources.go:161-162` + `backend/service/ocr.go`
`UpdatePhysical` ne supprime pas l'ancien `<id>.<oldExt>`. `Glob` prend le premier match → OCR sur bytes périmés + fuite disque. Échec `GetFile` après `InsertFile` réussi laisse aussi le fichier.
7. **`ApplyBatch` non-atomique** — `backend/service/sync.go:103-125`
`Applied() → apply → Record()` sans transaction. TOCTOU sur batches concurrents même `(device_id,operation_id)`, replay après crash, `Record` en 500 avec `applied` inconnu.
8. **Fuite d'erreurs internes** — `backend/handlers/store.go:20-33` + `backend/service/sync.go:87-98`
Défaut `500 err.Error()` / `INVALID_REQUEST err.Error()` expose SQL/FS/paths au client.
9. **`Count()` bloque le bootstrap** — `backend/repository/users.go` + `backend/service/bootstrap.go`
Compte les soft-deleted. Tous users supprimés → plus jamais de nouvel admin, lock définitif. Devrait filtrer `WHERE deleted_at IS NULL`.
10. **Migrations destructives / irréversibles**
- `backend/db/migrations/000007_resources_user_ownership.up.sql:7` fait `DELETE FROM resources` à l'upgrade (wipe prod).
- `backend/db/migrations/000008_operation_uuid.down.sql` fait `operation_id::bigint` → casse dès que des IDs 32-hex avec `a-f` existent.
11. **Stubs dangereux** — `backend/service/services.go`, `move.go`, `upload.go`, `folders.go`
`UserCan*` toujours `true`, no-ops. Si jamais câblés = bypass auth total. À supprimer.
12. **Oracle `INVALID_DEVICE_ID` au login** — `backend/handlers/auth.go:55-81`
Check device après `VerifyTimedEqual`. Creds valides + device inconnu → 400 vs 401 → oracle + pas de rate-limit.
## Priorité moyenne (phase 2)
- `DeviceID` login non validé `^[0-9a-f]{32}$` (`backend/handlers/auth.go:50` vs `devices.go:23`), `folderId/fileId/token` jamais validés hex avant DB.
- `POST /sync/ops` non borné (`backend/handlers/sync.go`) : pas de `MaxBytesReader`, pas de cap batch (client=20) → DoS OOM.
- `ParentResourceID/ToFolder` non validés hex → mal classés `NOT_FOUND`.
- `UpdateNameByID`, `TouchResource` non scopés owner (reposent que sur l'appelant) — TOCTOU.
- `Revoke/RevokeLink` : erreurs swallow `_ =` → masque vraies pannes (`backend/service/sync.go:306-309,359-361`).
- OCR : `Create` owner-only mais `GetFileOcr` viewer+, `Get` job scopé `device_id` → 2e device du même user = 404. PDF ignore `ctx`, pas de cap taille/pages, stderr (avec paths) exposé (`backend/ocr/tesseract.go:47-66`).
- `passwd.Verify` parse `m=` du hash stocké sans cap → ligne DB compromise = OOM Argon2 au login (`backend/pkg/passwd/passwd.go:74-88`).
- `POST /devices` public sans rate-limit → remplissage table. `MarkUser` permet à n'importe qui de claim n'importe quel `device_id` (`backend/repository/devices.go:36-42`).
- `getInt` sans range check (PORT/WORKERS/MAX négatifs acceptés) (`backend/config/config.go:64-70`).
- `ChangePassword` ne révoque pas les tokens (fenêtre 7j) (`backend/handlers/auth.go:113-151`).
- `expiresAt` passé accepté pour shares/links → grants instantanément expirés.
- `Snapshot/ListOwned` `LIMIT 10000` sans pagination → troncation silencieuse (`backend/repository/shares.go:199`, `resources.go:547`).
- Positif : pas d'injection SQL trouvée (tout en `$n`, `sortClause` whitelist).
## Plan proposé
1. **P0 robustesse** : ordre routes, cycle move, idempotence `CreateLink`, transaction `ApplyBatch`, secret requis en prod, sanit `extension` + cleanup orphelins.
2. **P1 data** : fix `Count()` soft-deleted, corriger migrations 000007/000008, supprimer stubs, mapper erreurs sans fuite.
3. **P2 durcissement** : validation hex systématique, cap `sync/ops`, rate-limit login/devices, cap Argon2 + PDF/OCR, scope `Touch/UpdateName`, pagination snapshot.
## À compléter (pour le relecteur)
- Ajouter nouveaux bugs ci-dessous avec `fichier:ligne`, sévérité, explication courte.
- Ne pas supprimer les entrées existantes, juste append ou annoter.
- Idées à creuser : `handlers/files.go` (`intParam`, `q` non borné), `service/resources.go:164` (filename brut comme `name`, mime verbatim), `repository/resources.go` (parent check puis UPDATE non-atomique → FK 500), `cmd/server/main.go` (double pool, `conn` jamais `Close`, worker OCR non attendu), `pkg/auth` (TTL 7j sans refresh/révocation).
### Ajouts relecteur (2026-09-21, vérifié en lecture)
> Nota : entrées existantes conservées. Ci-dessous uniquement des ajouts.
> Annotation §1 : `GET /files/folders` vs `GET /files/:id` — Gin privilégie
> les segments statiques sur `:param` dans son arbre, donc l'ordre de
> déclaration (`router.go:29-32`) ne masque pas forcément `folders` en
> pratique. Reste fragile (dépend du routeur) : à verrouiller par un test
> `GET /files/folders → 200` + `GET /files/<32hex> → 200/404`, pas par l'ordre.
#### A1 — CRITIQUE : bypass dummy-password + panic nil-deref au login
- `backend/pkg/passwd/passwd.go:37-43,98-103` + `backend/handlers/auth.go:55-83`
- `VerifyTimedEqual("", dummy)` vérifie contre `Hash("kazier-constantime-dummy")`
en dur. `username=<inconnu> + password="kazier-constantime-dummy"` → `Verify`
retourne `nil` → suite du handler avec `user == nil` → `user.ID:83` panic
(Gin recovery → 500). Effets : DoS à la demande + oracle 500 vs 401 qui casse
l'indistinguabilité revendiquée + préimage hardcodée en source. Fix :
dummy aléatoire par boot (ou hash du mot fourni à sel fixe) + ne jamais
toucher `user` si `userErr != nil`.
#### A2 — Upload : `file.Size` fait confiance au header, `io.Copy` illimité
- `backend/service/resources.go:135,178-195` (service) vs `backend/handlers/files.go:119-133` (handler)
- Le handler protège le transport (`MaxBytesReader`), mais l'invariant
service est absent : header menteur → écriture disque illimitée. Envelopper
`src` dans `io.LimitReader` + re-contrôler les octets écrits.
#### A3 — Upload non-atomique, torn reads OCR
- `backend/service/resources.go:154-157,178-195`
- `os.Create(dest)` + `io.Copy` direct, overwrite sur place pour
`targetExisting`. `service/ocr.go` (`Glob`) peut lire un fichier à moitié
écrit. Fix : temp + `Rename` (+ `Fsync`).
#### A4 — Fichiers world-readable
- `backend/service/resources.go:149-150` : `MkdirAll 0755`, `os.Create` → 0644
selon umask. Données user lisibles sur hôte partagé. Passer en `0700/0600`.
- Positif vérifié : pas de traversal via `ownerID/resourceID` (32-hex issus
token/serveur), `UPLOAD_DIR` = config admin.
#### A5 — `NewID()` panic sur échec entropie
- `backend/repository/resources.go:23-29` : `panic` si `crypto/rand` échoue →
crash serveur entier. Retourner `(string,error)`.
#### A6 — `ShareLinkGet` compare avec `==` au lieu de `errors.Is`
- `backend/handlers/share_links.go:23` (tous les autres handlers via
`writeError` utilisent `errors.Is`) : `ErrNotFound` wrappé → 500 au lieu de
404, sur endpoint public non-authentifié → oracle 500/404.
#### A7 — Incohérences contrat / parsing silencieux (mineurs mais réels)
- `backend/handlers/auth.go:94-96` : `ExpiresAt = Now()+TTL` seconde lecture
d'horloge, pas le `exp` du token (dérive ms).
- `backend/handlers/auth.go:90` : code `TOKEN_ERROR` non-standard.
- `backend/handlers/files.go:114-117,50-53` : 32-hex malformé → `404`, vs
`backend/handlers/devices.go:23-26` → `400 INVALID_DEVICE_ID`.
- `backend/handlers/files.go:13-22` + `backend/handlers/sync.go:43-47` :
`intParam` invalide/négatif → `fallback` silencieux ; `after` garbage →
`0` = full snapshot au lieu de 400. `Atoi` 32-bit overflow pour epoch-ms.
- `backend/handlers/middleware.go:29` : préfixe `Bearer ` case-sensitive.
#### A8 — Sémantiques silencieuses outbox (désync grantees + fuite d'existence)
- `backend/service/sync.go:180-202` : `update_metadata` cible absente → `nil`
marqué *applied* (client croit le rename fait) vs `<editor` → `ErrNotFound`
(batch halté). Incohérent.
- `backend/service/sync.go:204-222` : `move`/`delete` sur ressource partagée
non-owned → no-op silencieux marqué applied → client grantee désync.
- `backend/service/sync.go:152-178` : `ExistsOwner` (own seul) puis `Insert` ;
id d'autrui deviné → PK globale → `23505 → ErrNameConflict`
(`repository/resources.go:143-146`) = oracle d'existence cross-user. + TOCTOU
`Exists→Insert`.
#### A9 — Replay à payload muté avalé
- `backend/service/sync.go:109-115` + `backend/repository/operations.go:44-50`
(`ON CONFLICT DO NOTHING`) : même `(device,op)` avec payload différent =
skip « succès », nouvelle intention dropée sans comparaison de hash.
#### A10 — `UpdatePassword` / `MarkDeleted` sans garde
- `backend/repository/users.go:87-103` : pas de `AND deleted_at IS NULL`, pas
de check `RowsAffected` → re-hash d'un compte soft-deleted, succès
silencieux sur id inconnu / course avec `MarkDeleted`.
#### A11 — `OcrJobs` : transitions sans garde
- `backend/repository/ocr_jobs.go:60-67,112-128` : `TouchProcessing`,
`Complete`/`Fail` sans garde de statut ni `RowsAffected` → `queued→done`,
`done→failed`, double-complete silencieux. `ResetStaleProcessing:100-110`
sur horloge app (skew DB), lignes `processing` à `started_at NULL` jamais
requeued. `ClaimNext:72-95` correct atomiquement mais sans index composite
`(status,created_at)` → scan O(queue).
#### A12 — `physicalPath` via `Glob` sans vérification fichier
- `backend/service/ocr.go:142-153` : symlink/répertoire/`id.` acceptés ;
symlink hors `UPLOAD_DIR` suivi par tesseract. Faire `Lstat + IsRegular +
EvalSymlinks`-containment. `lang` (`ocr/tesseract.go:30`, depuis `OCR_LANG`)
non whitelisté (argv, pas de shell — worst case erreur tesseract).
#### A13 — OCR : causes avalées, `done` trompeur
- `backend/service/ocr.go:113-138` : `Fail("file not readable")` sans `err`,
`Complete`/`UpdateOcrText` partiellement log-only → job `done` alors que
`ocr_text` non persisté ; `GET /files/:id/ocr` renvoie `""` 200
indistinguable de « pas encore extrait ».
- `backend/ocr/tesseract.go:29-45,47-67` : pas de timeout par job (ctx = vie
serveur), stdout/stderr non bornés → OOM, pages PDF en erreur `continue`
silencieusement → texte partiel vu comme complet, pas de cap taille/pages.
#### A14 — `main.go` : lifecycle / concurrence boot
- `backend/cmd/server/main.go:44-51,59` : `db.Open` + `MigrateDatabase` (qui
ouvre son propre pool) = double pool ; `conn` jamais `Close` ; migrations
DDL à chaque boot (rôle runtime devrait être DML-only en prod).
- `backend/service/bootstrap.go:25-47` : double réplica sur DB vide →
duplicate `username_normalized` → un réplica `Fatal`, pas de retry.
#### A15 — Complément device/token (étend § moyenne existant)
- Vérifié : `pkg/auth/auth.go:54-67` `Verify` n'impose pas `^[0-9a-f]{32}$` ;
`handlers/middleware.go:46-62` vérifie que le user existe mais jamais le
device (hex ni `Exists`) → tokens à device supprimé/jamais-enregistré
passent l'auth, 500 plus tard (FK). `repository/operations.go:36-51`
valide `operation_id` mais pas `device_id` ; payloads vides/`"null"`/invalides
normalisés en `{}` (`60-68`) au lieu d'être rejetés → trace infidèle.
#### A16 — Idées à creuser : conclusions
- `handlers/files.go:q` : `TrimSpace` + `!= ""` ok, mais pas de longueur maxi
→ `ILIKE %…%` géant = full scan (index trigram manquant,
`repository/resources.go:297,327`). `page/pageSize` cappés à 200 côté
handler, mais `(page-1)*pageSize` non cappé + repo sans validation
(`repository/resources.go:170-227`, `LIMIT` négatif → 500).
- `service/resources.go:159,164` : confirmé — `file.Filename` brut comme `name`
(sauts de ligne, 255+ chars, unicode) + `Content-Type` verbatim comme mime,
sans whitelist/normalisation.
- `repository/resources.go:124-147,374-403` : confirmé — `folderExists(SELECT)`
puis `INSERT`/`UPDATE` non-atomique → parent supprimé entre les deux = 500
FK ou orphelin.
- `cmd/server/main.go` : confirmé ci-dessus (A14) + worker OCR non attendu au
shutdown (5s puis exit, jobs `processing` → requeue au prochain boot via
`ResetStaleProcessing`, ok mais à documenter).
- `pkg/auth` : TTL 7j sans refresh/révocation confirmé par design
(`auth.go:13`, `handlers/auth.go:110-112`) ; `iat=nbf=now`, `exp` vérifié via
`NewParserForValidNow` (`auth.go:55`) — correct, pas de bug ici au-delà du
secret (A-suite § haute prio n°4) et du format non validé (A15).
## Validation (2026-09-21, autre agent — suite verte)
`go build ./...` OK. `go test ./...` : 11 packages OK, 0 fail
(`cmd/server, config, db, handlers, ocr, pkg/api, pkg/auth, pkg/passwd,
repository, service`). Les 4 échecs transitoires vus pendant l'édition
concurrente (RecordNormalizes, MarkDeleted, UploadSanitizes,
UpdateMetadata/Move) ne se reproduisent plus — tests alignés sur la
nouvelle sémantique.
### Haute priorité : tout corrigé
- §1 route `folders` : réordonnée avant `:id` + tests d'ordre (durcissement,
Gin préférait déjà le statique).
- #2 cycle : `checkNoCycle` (walk `GetParentID` ≤128) + `MoveResource`
atomique. Manque : pas de test cycle dédié.
- #3 `CreateLink` : `ON CONFLICT DO NOTHING` + même ressource → no-op,
sinon `NAME_CONFLICT`. Tests rejeu/conflit OK.
- #4 secret : défaut allongé (≥32), refusé en prod (`APP_ENV/ENV`),
`len<32` rejeté. Reste : dev boot sur défaut public (assumé).
- #5/#6/A2/A3/A4 upload : ext whitelistée, `LimitReader` octets réels,
temp+`Rename`+`Fsync`, `0700/0600`, cleanup stale/orphelins. Tests OK.
- #7 batch : `Claim`/`MarkApplied` + `applied:i/INTERNAL` explicites.
Documenté non-transactionnel (vrai Tx reportée).
- #8 fuites : `classifySyncError` générique + log serveur. OK côté sync.
- #9 `Count` : `WHERE deleted_at IS NULL`, bootstrap recrée l'admin. OK.
- #10 migrations : `000007` sans `DELETE`, `000008 down` sans `::bigint`
crash, + `000011/12/13` saines. Up/down OK.
- #11 stubs : `folders/move/upload/move_test` supprimés, 0 réf. OK.
- #12 oracle : device inconnu → `401` identique + rate-limit 60/min/IP. OK.
- A1 dummy : random 32B/boot + guard `user==nil → 401` + caps Argon2. OK.
### Moyens : corrigé, 3 partiels assumés
- A6 `errors.Is`, A8 sémantiques (absent → no-op, étranger → `NOT_FOUND`
halt), A9 rejeu (`payload_hash` 000013 + `ErrInvalidPayload`), A10 users
guards, A11 jobs gardés, A12 path containment + lang whitelist, A13 OCR
(timeout 120s, 2MiB, 50 pages), A7/A16 contrat : tous OK.
- Partiels : `EnforceDeviceExists` opt-in **défaut `false`** (tokens à
device inconnu passent toujours par défaut) ; `NewID()` panic conservé
(migration appelants partielle) ; double pool `main.go` subsiste ;
`POST /devices` sans rate-limit (TODO assumé).
- Reste : `UpdateNameByID`/`TouchResource` non scopés encore appelés
(`TouchOwned`/`UpdateNameOwned` ajoutés, migration appelants reportée).
### Risques résiduels à trancher
1. Activer `EnforceDeviceExists` par défaut (casse tokens existants —
planifier rotation).
2. Vrai Tx `ApplyBatch` (fenêtre TOCTOU admise, couverte par idempotence).
3. Rate-limit `POST /devices` + test cycle dédié manquant.
## Suite (2026-09-21, fin des restes — suite verte)
`go build ./...` OK, `go vet ./...` OK, `go test ./...` : 12 packages OK, 0 fail.
Nouveaux tests exécutés nominalement (`-run` ciblé) : `TestApplyBatchMoveIntoDescendantRejected`,
`TestDevicesRegisterRateLimited`, `TestSyncOpsBatchTooLargeRejected`,
`TestDevicesMarkUserUnknownDevice`, `TestIssueWithExpiryMatchesTokenExp`.
- **#8 fuite `writeError`** : défaut `500` → message générique `"internal error"`
+ `log.Printf` serveur (`handlers/store.go:20-33`). Plus aucun `err.Error()`
brut vers le client (sync déjà générique, `response.go` déjà enveloppe).
- **A7 `ExpiresAt`** : `pkg/auth.IssueWithExpiry` retourne le `exp` embarqué ;
`AuthLogin` l'expose tel quel (plus de `Now()+TTL` recalculé). `Issue`
conservée (délègue) → 0 appelant cassé. Test d'égalité à la seconde
(le token sérialise sans monotonique/sous-seconde).
- **`MarkUser`** : `RowsAffected == 0 → ErrNotFound`
(`repository/devices.go:36-42`) ; login mappe en **401 indistinguable**
(jamais de token pour device fantôme). Test repo ajouté.
- **`TouchOwned` migré** : les 4 `TouchResource` des paths share/revoke/link
→ `TouchOwned(ownerID, …)` (tous précédés de `ExistsOwner`). `UpdateNameByID`
**conservé volontairement** pour `update_metadata` (un editor non-owner peut
renommer — `UpdateNameOwned` rejetterait à tort ; garde d'accès juste avant
l'écriture). Commentaires `Deprecated`/inter-lots mis à jour.
- **Test cycle** : `TestApplyBatchMoveIntoDescendantRejected` (parent→enfant →
`INVALID_REQUEST`, parent toujours à la racine). Point 3 des risques soldé
côté cycle.
- **Rate-limit `POST /devices`** : 300/min/IP → 429 `RATE_LIMITED` + hook
`OnDevicesRateLimited` + `ResetDevicesRateLimit` (placé APRÈS validation :
l'invalide ne consomme pas le budget). Resets ajoutés aux helpers de test
(`files_test.go setup`, `auth_test.go setTestAuth`, `ocr_test.go setupOcr` —
ce dernier manquait et faisait échouer `TestOcrJobsScopedByOwner` en 429,
corrigé). Budget large assumé : anti-flood massif, WAF frontal en prod.
- **Cap `POST /sync/ops`** : `MaxBytesReader` 1 MiB + max 100 ops/batch → 400
`INVALID_REQUEST` (client = 20, test 25 ops existant compatible).
Test `TestSyncOpsBatchTooLargeRejected` (101 ops → 400).
### Reste assumé (inchangé, documenté)
- `EnforceDeviceExists` défaut `false` ; `NewID()` panic conservé
(`NewIDErr` dispo) ; double pool `main.go` (migrate-avant-open, un seul
vivant) ; vraie Tx `ApplyBatch` reportée (idempotence couvre la fenêtre).