Sergio
1a97da9839
Los encontró la corrida en el worker, y los tres estaban disfrazados de resultado. 1. El `exit 77` se insertaba antes de la ÚLTIMA `'''` del fichero, que no siempre cierra una fase: una receta puede traer bloques `'''` después (un `[[service]]`, una nota larga). En `dwarves`, `elfutils` y `elfutils-libdw` cayó fuera de toda fase, el build corrió entero y SELLÓ — con el hash movido por el `set -e`, o sea tres artefactos basura. Ahora se rastrea la anidación. 2. El veredicto se leía con `grep "exit 77"` sobre el log, y takana IMPRIME el script de la fase: esa cadena aparece siempre porque la inyectamos nosotros. Daba SOBREVIVE hasta a un build que selló. Ahora se ata a `build phase falló (exit 77)`, que es el estado de salida de verdad. (Comprobado a posteriori que los 14 SOBREVIVE de la corrida buena sí habían salido 77.) 3. Sin `--store`, takana usa su default `/store`, que en el worker es un store de SCRATCH casi vacío — reconstruía el mundo en vez de reusar el de la granja (`./store`, 908 artefactos). Ahora el store va por `STORE`. Y un guardián para lo que no debería volver a pasar: si un build SELLA, se clasifica `SELLO-INDEBIDO` y se grita el hash, en vez de contarse como un resultado más. Los tres artefactos basura ya se borraron del `/store` de scratch del worker; el store de la granja nunca se tocó.
82 lines
5.1 KiB
Bash
Executable File
82 lines
5.1 KiB
Bash
Executable File
#!/bin/bash
|
|
# exp-ec.sh — el experimento del ADR 0020: ¿cuántas recetas dejan de construir si las fases
|
|
# corriesen con `sh -ec` en vez de `sh -c`?
|
|
#
|
|
# ── POR QUÉ NO SELLA NADA, Y POR QUÉ ESO IMPORTA ───────────────────────────────────────────────
|
|
# Modificar una receta le cambia el `ArtifactHash`, así que medir esto a lo bruto dejaría un
|
|
# duplicado basura en el store POR CADA receta que pase — en un store que se respalda. En vez de eso
|
|
# se inyecta `set -e` al principio de cada fase Y un `exit 77` al final de la última, de modo que el
|
|
# build SIEMPRE falla y nunca sella. El veredicto se lee en el código que reporta takana:
|
|
#
|
|
# · falló con 77 ⇒ las fases corrieron ENTERAS bajo set -e ⇒ SOBREVIVE a `-ec`
|
|
# · falló con ≠77 ⇒ una orden intermedia falla y hoy se traga ⇒ SE ROMPE con `-ec`
|
|
#
|
|
# Las copias se escriben en `recipes/exp-ec-*.toml` —tienen que vivir ahí porque takana resuelve las
|
|
# deps RELATIVAS al directorio de la receta— y se barren al terminar.
|
|
#
|
|
# ⚠ El lock se toma POR RECETA, no por tanda. La regla 1 de CLAUDE.md dice lo contrario para las
|
|
# tandas normales, y con razón; acá es al revés a propósito: una tanda de éstas puede durar horas y
|
|
# retener `work/.farm-build.lock` todo ese tiempo pararía la cosecha del latido.
|
|
#
|
|
# Uso: MUESTRA=/ruta/lista.txt scripts/farm/exp-ec.sh (una receta por línea, p.ej. recipes/gzip.toml)
|
|
cd "$(dirname "$0")/../.."
|
|
TMP=${TMPDIR:-/tmp}/exp-ec
|
|
# REC se puede apuntar a una COPIA de recipes/: en el worker, la siembra de la cosecha corre con
|
|
# `rsync --delete` cada 30 min y barrería las copias del experimento a mitad de una tanda larga.
|
|
REC=${REC:-$(cd "$(dirname "$0")/../.." && pwd)/recipes}
|
|
mkdir -p "$TMP"; OUT="$TMP/resultados.tsv"; : > "$OUT"
|
|
|
|
# El lock va RELATIVO a la raíz del repo, que es donde CLAUDE.md lo define (`work/.farm-build.lock`).
|
|
# En la caja `work` es un symlink a /work y en el worker es un directorio de verdad: cablear la ruta
|
|
# absoluta de una máquina rompe en la otra con `flock: cannot open lock file`.
|
|
LOCK=${LOCK:-work/.farm-build.lock}
|
|
# Y `takana` no está en el PATH del worker — allá se invoca por su ruta dentro del árbol.
|
|
TAKANA=${TAKANA:-$(command -v takana 2>/dev/null || echo ./target/release/takana)}
|
|
# Techo por receta. 420 s alcanza para las ligeras; la cola pesada (llvm, firefox, kernels) pide
|
|
# mucho más y se le pasa TLIMITE por entorno. Un timeout NO es un veredicto: se cuenta aparte.
|
|
TLIMITE=${TLIMITE:-420}
|
|
|
|
while read -r r; do
|
|
[ -f "$r" ] || continue
|
|
n=$(basename "$r" .toml)
|
|
awk '
|
|
/^(compile|install|configure|check|prepare) = .{3}$/ { print; print "set -e"; inb=1; next }
|
|
{ print }
|
|
' "$r" > "$REC/exp-ec-$n.toml"
|
|
# El `exit 77` va al cierre de la ÚLTIMA FASE, que NO es la última `'''` del fichero: una receta
|
|
# puede traer bloques `'''` después de las fases (un `[[service]]`, una nota larga). MEDIDO el
|
|
# 2026-09-18: en `dwarves`, `elfutils` y `elfutils-libdw` el `exit 77` cayó fuera de toda fase, el
|
|
# build corrió entero y SELLÓ — con el hash movido por el `set -e`, o sea basura en el store. Por
|
|
# eso acá se rastrea la anidación en vez de buscar la última comilla triple.
|
|
last=$(awk '
|
|
/^(compile|install|configure|check|prepare) = .{3}$/ { dentro=1; next }
|
|
dentro && /^.{3}$/ { fin=NR; dentro=0 }
|
|
END { print fin }' "$REC/exp-ec-$n.toml")
|
|
[ -n "$last" ] || { echo "[SIN-FASES] $n"; printf '%s\t%s\t%s\n' "$n" "SIN-FASES" "" >> "$OUT"; rm -f "$REC/exp-ec-$n.toml"; continue; }
|
|
[ -n "$last" ] && sed -i "${last}i exit 77" "$REC/exp-ec-$n.toml"
|
|
|
|
log="$TMP/$n.log"
|
|
timeout "$TLIMITE" flock -o "$LOCK" "$TAKANA" ${STORE:+--store "$STORE"} build "$REC/exp-ec-$n.toml" > "$log" 2>&1
|
|
rc=$?
|
|
# ⚠ El veredicto se lee en el ESTADO DE SALIDA que reporta takana, NO buscando `exit 77` en el
|
|
# log: takana IMPRIME el script de la fase, así que esa cadena aparece SIEMPRE — la inyectamos
|
|
# nosotros. Buscarla a secas daría SOBREVIVE hasta a un build que selló.
|
|
if grep -q "build phase falló (exit 77)" "$log"; then v="SOBREVIVE"
|
|
elif grep -qE "sealed path=\S*-$n\$" "$log"; then
|
|
# No debería pasar nunca: si selló, el `exit 77` no llegó a correr y el artefacto lleva el hash
|
|
# MOVIDO por el `set -e` ⇒ es basura en el store. Se grita con el hash para poder borrarlo.
|
|
v="SELLO-INDEBIDO"
|
|
echo " ⚠⚠ $n SELLÓ — basura: $(grep -oE "sealed path=\S+" "$log" | tail -1 | sed 's|.*/||')"
|
|
elif [ $rc -eq 124 ]; then v="TIMEOUT"
|
|
elif grep -qE "build phase falló \(exit [0-9]+\)" "$log"; then v="SE-ROMPE"
|
|
else v="OTRO"; fi
|
|
det=$(grep -oE "build phase falló \(exit [0-9]+\): .*" "$log" | head -1 | cut -c1-90)
|
|
printf '%s\t%s\t%s\n' "$n" "$v" "$det" >> "$OUT"
|
|
echo "[$v] $n"
|
|
done < ${MUESTRA:?hace falta MUESTRA=<fichero con una receta por línea>}
|
|
|
|
echo "════ RESUMEN ════"
|
|
for v in SOBREVIVE SE-ROMPE TIMEOUT OTRO; do echo "$v: $(grep -c " $v " "$OUT")"; done
|
|
rm -f "$REC"/exp-ec-*.toml
|
|
echo "copias de experimento barridas de recipes/: $(ls "$REC"/exp-ec-*.toml 2>/dev/null | wc -l) quedan"
|