Comprobaciones sobre la respuesta
Las comprobaciones que se ejecutan sobre una respuesta terminada antes de enviarla — qué detecta cada una, con qué frecuencia se dispara y por qué una comprobación que se dispara a menudo es un error, no una virtud.
La recuperación decide qué puede ver el modelo. Esta página trata de lo que ocurre después de que haya escrito algo: el instante entre el último token y la respuesta apareciendo en la pantalla de alguien.
Que exista esta etapa se debe a una observación incómoda: una regla en un prompt es una petición. Puedes escribir «nunca des una cifra que no esté en el material» al principio de cada turno, y la mayoría de los turnos lo respetarán; y los que no, son exactamente los que un lector atento habría detectado. Por eso las reglas que importan no se escriben como peticiones, sino como comprobaciones sobre el texto terminado, en código, donde la frase está en el material o no está.
La forma de una comprobación
Todas las comprobaciones aquí tienen las mismas tres partes, en este orden, y el orden es lo que las hace asequibles:
- Una comprobación determinista previa. Trabajo de cadenas y patrones sobre la respuesta recién escrita: sin llamada al modelo, sin ida y vuelta. Casi siempre dice «esta forma no está presente» y ahí termina.
- Una única llamada de extracción, solo si la previa se disparó. Se le pide al modelo que copie frases del material literalmente — nunca que juzgue, nunca que concluya. «Copia toda frase que diga si esto está permitido» es una pregunta con respuesta verificable; «¿es correcta esta respuesta?» no lo es.
- La decisión, de vuelta en el código. Una frase copiada solo cuenta si aparece en el material carácter por carácter. Sin esa comparación, un juez puede inventarse una frase y tumbar con ella una respuesta correcta — lo cual no es hipotético: es la razón por la que la comparación existe.
Una comprobación que se dispara a menudo es un error. Una de estas decidía en su día que una respuesta «mencionaba una clasificación» buscando una palabra en mayúscula seguida de un código. En prosa regulatoria eso coincide con citas de artículos, códigos de divisa, números de registro químico, nombres de meses — y con la palabra within, como en «debe solicitarse dentro de los 30 días hábiles». Se disparó en 57 respuestas de 100, y cada disparo costaba una llamada de extracción y una reescritura completa, sobre respuestas que ya eran correctas. Anclada a palabras de clasificación reales, se dispara en 4. Una comprobación con alta tasa de acierto no está siendo minuciosa: está midiendo el objeto equivocado, y lo hace gastando tu latencia.
Qué detecta cada una
Cada una existe porque salió una respuesta que no debería haber salido. Las tasas están medidas sobre respuestas reales almacenadas, y son deliberadamente bajas.
| Lo que hace la respuesta | Por qué importa | Se dispara en |
|---|---|---|
| Afirma que el material permite o prohíbe explícitamente algo, y el material no contiene tal frase | «El material dice X» es una afirmación sobre el texto, y se puede verificar palabra por palabra | 2 de 279 |
| Responde «sí, se acepta» cuando el material dice, con todas las letras, que no se aceptará | El peor fallo posible en este producto: alguien prepara un expediente con eso y se lo rechazan | 1 de 300 |
| Cita una cifra que no aparece en ningún pasaje recuperado | Un número con un marcador de cita al lado es lo más persuasivo que un agente puede equivocar | — |
| Da una cifra sin decir a qué jurisdicción corresponde, cuando todos los pasajes vienen de una sola | Tasas y plazos difieren por mercado; un número sin atribución invita a usar el equivocado | — |
| Cita el único pasaje que viene de otro documento distinto al que nombraba la pregunta | Dos instrumentos suelen describir lo casi mismo, y el que coincide mejor en las palabras suele ser el equivocado | 2 de 399 |
| Cita una excepción del material y luego la anula con la práctica general | El material se leyó bien y luego se argumentó en su contra | 1 de 109 |
| Es, entera, una llamada a herramienta en lugar de una respuesta | La sintaxis de llamada nunca debe llegar a un lector — véase Ejecutar sobre modelos abiertos | — |
Los guiones no son omisiones. Esas comprobaciones son anteriores a la disciplina de medición descrita aquí y sus tasas no se han contado de la misma manera; se listan porque se ejecutan, no porque se pueda citar un número.
Qué ocurre cuando se dispara
La respuesta se escribe de nuevo, con el mismo material delante del modelo, más una frase que dice qué falló en el primer intento. No se borra ni se sustituye por una disculpa.
Es una elección deliberada. El material que responde a la pregunta suele seguir ahí — el primer intento lo sobrepasó, o leyó la fila de al lado, o se anduvo con rodeos. Reescribir con los mismos pasajes lo recupera. Negarse, no.
La frase correctora sigue una regla que costó aprender: dice qué producir, nunca qué evitar. Una versión anterior de una de ellas ilustraba el formato incorrecto con tres ejemplos y después pedía al modelo que no lo produjera. Lo produjo otra vez, y el lector recibió una disculpa en lugar de la respuesta — que estaba en el material recuperado, palabra por palabra.
Una corrección que solo dice «te equivocaste» a menudo no cambia nada. Una comprobación detecta una respuesta que citó un pasaje del documento equivocado. Dicho solo eso, el modelo respondió igual tres veces de tres — creía que sí estaba usando el documento correcto. Lo que cambió el resultado fue darle la correspondencia que no podía deducir: estos números de pasaje son del documento por el que te preguntaron; el que citaste, no. Aun así acierta alrededor de una vez de cada tres. La comprobación es honesta al declararse una mejora y no una solución.
Lo que esta etapa no hace
- No comprueba si la respuesta es verdadera. Comprueba si son verdaderas las afirmaciones de la respuesta sobre el material. Son cosas distintas, y solo la segunda es decidible aquí.
- No se dispara en la mayoría de los turnos. Por diseño. Las tasas de arriba son el objetivo del diseño, no una limitación suya.
- No sustituye a que el material sea correcto. Si el pasaje que resuelve la pregunta nunca se recuperó, ninguna comprobación sobre la salida puede inventarlo. Ese problema es de la recuperación, y se resuelve allí o no se resuelve.
- Toda comprobación falla en abierto. Si la llamada de extracción da error o devuelve algo ilegible, la respuesta sale tal cual. Una capa de verificación capaz de bloquear respuestas cuando un backend va lento es un fallo peor que aquello de lo que protegía.
Relacionado
- Respuestas fundamentadas — qué se le permitió ver al modelo en primer lugar
- Ejecutar sobre modelos abiertos — los fallos de la capa de modelo que esta etapa amortigua
- Pipeline de redacción — la misma disciplina aplicada a documentos largos