sergioandClaude Opus 5
6263d24788
Podé el store por la mañana: 362 artefactos superados, 24 G. Lo volví a podar por la tarde: 362 artefactos, 24 G. Comparados los dos manifiestos, **solapamiento del 100%: son los MISMOS 362**. No era casualidad ni recuento nuevo — es un bucle. LA CAUSA no estaba en el gc sino en `farm/farm-sync.sh`, que bajaba el store del worker ENTERO sin filtro. El worker nunca se poda, así que conservaba los superados y nos los devolvía en cada cosecha. Podar → cosechar → vuelven → podar. El disco pagaba 24 G por vuelta y el gc informaba éxito cada vez, lo que es peor que fallar: parecía que se avanzaba. Es la misma familia de fallo que el gc que reportaba borrados falsos, sólo que un nivel más arriba: entonces el borrado no ocurría, ahora ocurre y se deshace solo. En los dos casos el mensaje de éxito era cierto y engañoso a la vez. EL ARREGLO es darle memoria al sistema. `store-gc.sh` acumula lo podado en `work/store-gc-superados.txt` y `farm-sync.sh` lo usa como `--exclude-from` al bajar el store del worker. Es seguro porque el store es CAS: los nombres `<hash>-<paquete>` son inmutables y un artefacto superado no vuelve a ser vigente salvo que una receta retroceda — y si retrocediera, se reconstruye, que es barato. Disco: 159 G → 182 G tras la poda de hoy, y esta vez debería quedarse. De paso, en el respaldo: rsync 24 («ficheros del origen desaparecieron») NO es un fallo, es justo lo que pasa al podar mientras se sube. El bucle de reintentos lo tomaba por error real y habría parado el respaldo entero por algo inofensivo — y encima cuando el disco aprieta, que es cuando menos conviene quedarse sin copia. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
64 lines
3.1 KiB
Bash
Executable File
64 lines
3.1 KiB
Bash
Executable File
#!/usr/bin/env bash
|
|
# farm-sync.sh <user@host> — orquesta el worker VPS desde el HUB (laptop). Una sola pasada:
|
|
# 1. sube código + recipes/incoming/ al worker (rsync, el worker no toca gitea)
|
|
# 2. baja el store/ sellado que el worker construyó
|
|
# 3. promueve+firma lo cosechado (cache-hit instantáneo en los artefactos bajados) + commit/push
|
|
#
|
|
# El acceso es UNO solo: laptop->VPS por SSH (la clave de firma y gitea nunca salen del laptop).
|
|
# Idempotente y seguro de re-correr. Pensado para correr cada vez que el laptop está online.
|
|
#
|
|
# Uso: scripts/farm/farm-sync.sh root@1.2.3.4
|
|
# scripts/farm/farm-sync.sh root@1.2.3.4 --no-promote # sólo sincroniza, no firma
|
|
# Env: SSH_KEY (def ~/.ssh/github5), REMOTE (def /opt/hammer)
|
|
set -euo pipefail
|
|
|
|
VPS="${1:?uso: farm-sync.sh user@host [--no-promote]}"
|
|
SSH_KEY="${SSH_KEY:-$HOME/.ssh/github5}"
|
|
REMOTE="${REMOTE:-/opt/hammer}"
|
|
ROOT="$(cd "$(dirname "$0")/../.." && pwd)"
|
|
cd "$ROOT"
|
|
SSH="ssh -i $SSH_KEY -o StrictHostKeyChecking=accept-new"
|
|
|
|
echo "==> 1. subiendo código + cola al worker ($VPS:$REMOTE)"
|
|
rsync -az --delete -e "$SSH" \
|
|
--exclude /work --exclude /store --exclude '/store-*' --exclude /target \
|
|
--exclude /dist --exclude /.dev-fs --exclude /.git --exclude /.scratch \
|
|
--exclude '*.png' --exclude '/content*' \
|
|
./ "$VPS:$REMOTE/"
|
|
|
|
echo "==> 2. bajando artefactos sellados del worker"
|
|
# ── ⚠ NO BAJAR LO QUE YA PODAMOS: era un BUCLE DE CHURN DE 24 G ────────────────────────────────
|
|
# Medido el 2026-08-07: `store-gc.sh` borró 362 artefactos superados (24 G) por la mañana y por la
|
|
# tarde volvió a borrar **los mismos 362** — solapamiento del 100%. No era casualidad: este rsync
|
|
# bajaba el store del worker ENTERO, y el worker nunca se poda, así que conservaba los superados y
|
|
# nos los devolvía en cada cosecha. Podar → cosechar → vuelven → podar. El disco pagaba 24 G por
|
|
# vuelta y la métrica de espacio libre mentía sobre el progreso.
|
|
#
|
|
# El registro `work/store-gc-superados.txt` es la unión de todos los manifiestos de poda: nombres
|
|
# `<hash>-<paquete>` de artefactos que YA decidimos que sobran. Como el store es CAS —los nombres
|
|
# son inmutables y un artefacto superado no vuelve a ser vigente salvo que una receta retroceda—
|
|
# excluirlos es seguro; y si una receta retrocediera, su artefacto se reconstruye, que es barato.
|
|
LEDGER="work/store-gc-superados.txt"
|
|
if [ -s "$LEDGER" ]; then
|
|
echo " (excluyendo $(wc -l < "$LEDGER") artefactos ya podados — ver la nota del bucle de churn)"
|
|
rsync -az -e "$SSH" --exclude-from="$LEDGER" "$VPS:$REMOTE/store/" ./store/
|
|
else
|
|
rsync -az -e "$SSH" "$VPS:$REMOTE/store/" ./store/
|
|
fi
|
|
|
|
if [ "${2:-}" = "--no-promote" ]; then
|
|
echo "✓ store sincronizado (sin promote)"; exit 0
|
|
fi
|
|
|
|
echo "==> 3. promote + firma (cache-hit en lo que el worker selló)"
|
|
scripts/build-farm.sh
|
|
|
|
echo "==> 4. commit + push de la cosecha"
|
|
git add recipes/ tandas/ 2>/dev/null || true
|
|
if ! git diff --cached --quiet; then
|
|
git commit -q -m "Etapa G: cosecha del worker VPS — promote + firma"
|
|
git push -q origin main && echo "✓ pusheado"
|
|
else
|
|
echo "(nada nuevo que commitear)"
|
|
fi
|