Context and memory management

4:51

más. De

4:51

hecho, Prompt Engineering es un

4:53

subconjunto de context engineering.

4:56

Dentro de context engineering, además

4:58

del prompt engineering, nosotros también

5:00

tenemos el estado y el historial de la

5:01

aplicación. El estado vendría siendo el

5:03

valor que tienen las variables

5:04

actualmente en tu aplicación y el

5:06

historial, lo que has conversado en el

5:08

pasado. También tenemos que considerar

5:10

dentro de todo esto la memoria que va a

5:13

tener el LLM. Y en específico acá en la

5:16

memoria me estoy refiriendo a la

5:18

limitante de tokens que puede tener el

5:20

LLM. Entonces, si es que un token, como

5:22

por ejemplo el modelo de GPT4 que tiene

5:24

Chat GPT, este aguanta hasta 128000

5:27

tokens al momento de grabar este video.

5:29

Entonces, si nosotros le entregamos un

5:31

contexto que supera esta cantidad de

5:33

tokens, entonces el modelo derechamente

5:36

no nos va a poder generar una respuesta

5:38

satisfactoria, por lo que vamos a tener

5:39

que tener cuidado con los datos que

5:41

nosotros le vamos a entregar. Entonces

5:44

es de suma importancia que nosotros no

5:45

le entreguemos contexto que no sea

5:48

relevante para nuestro caso. Además de

5:50

esto, nosotros también tenemos los

5:52

sistemas RAG, que resumiendo, RA es

5:54

cuando nosotros vamos a buscar la

5:56

información a alguna base de datos o

5:58

algún documento y este también se lo

5:59

proporcionamos al ll. Es un poquito más

6:02

que eso. Pero antes de pasar a

6:03

explicarte el RAC, te voy a aprovechar

6:05

de contar de otra cosa que nosotros

6:07

también tenemos acá dentro del context

6:09

engineering y es la salida estructurada.

6:11

y yo lo voy a colocar acá como output. Y

6:13

en este caso es cuando nos referimos a

6:15

los PDF, a los txt, a un JSON, a un HTML

6:18

y así sucesivamente. Ahora sí podemos

6:21

aprovechar de explicar lo que son los

6:23

RA. Así que vamos a eliminar esto y

6:25

vamos a comenzar con RAG, que rag viene

6:28

de retrieval augmented generation. En

6:30

otras palabras, vamos a buscar la

6:32

información, la aumentamos o la

6:34

resumimos y finalmente generamos algo

6:37

que sea de uso, ya sea para el LLM o

6:39

también para nosotros. Entonces, vamos a

6:41

hacer un ejemplo en el caso de un

6:44

bibliotecario. Supongamos que este eres

6:45

tú, el bibliotecario, y tú lo que

6:47

quieres hacer es ir a la biblioteca para

6:49

poder encontrar un libro. Entonces, lo

6:51

que tienes que hacer es pasar por una

6:52

base de datos o de repente podría ser

6:55

por un directorio que contiene muchos

6:57

archivos PDF y buscas el que a ti te

6:59

interesa. Esto lo que va a hacer es

7:00

devolver los textos para finalmente

7:03

entregárselos a un LLM. Este lo que hará

7:05

será resumirlos para luego finalmente

7:08

generarte una respuesta aumentada que te

7:10

va a servir a ti como usuario. Recuerda

7:12

que esto