Preparación de Datos RSS para LLMs
A veces, los datos RSS llegan de forma inconsistente o sobrecargada, por lo que es necesario reducir cada artículo a lo esencial para que el LLM pueda generar un tweet limpio en cada ocasión. El objetivo es sencillo: cada artículo debe llegar al LLM en una forma limpia y compacta que se convierta en un solo tweet.
- Agrupar un pequeño feed y probar si el LLM puede manejarlo;
- Si el mapeo resulta poco claro, normalizar con un nodo Code;
- Iterar sobre los elementos con un tamaño de lote de 1 para que cada artículo se procese en un solo tweet.
Comience por agrupar el feed en pequeños lotes. Utilice Aggregate para combinar todos los elementos en una sola lista, creando un elemento que contenga un array de aproximadamente 25 artículos en formato JSON. Esto proporciona una configuración rápida y de baja complejidad. Pruebe este resultado agregado con su LLM mapeando el array en el campo Context. Si la salida resulta poco clara o inconsistente, continúe con la normalización.
Para normalizar, copie una muestra del JSON RSS y solicite a su LLM que genere un nodo Code que elimine HTML, extraiga la primera URL de imagen, estandarice campos como title, text, url, guid y publishedAt, elimine títulos casi duplicados y devuelva un elemento limpio por artículo como un array. Coloque este nodo Code inmediatamente después del nodo RSS o RSS Read.
A continuación, reemplace la ruta de agregado por un bucle. Utilice Loop o Split in Batches con un tamaño de lote de uno para emitir un artículo a la vez, lo cual es ideal para generar un solo tweet por pasada. Finalmente, agregue su modelo de chat dentro del bucle, mapee el texto normalizado del artículo (y cualquier hook) en Context, y proporcione una instrucción de sistema breve y clara para el tono y estilo del tweet.
¡Gracias por tus comentarios!
Pregunte a AI
Pregunte a AI
Pregunte lo que quiera o pruebe una de las preguntas sugeridas para comenzar nuestra charla
Can you explain how to set up the Code node for normalization?
What should I do if the LLM output is still inconsistent after normalization?
How do I handle token errors when sending articles to the LLM?
Awesome!
Completion rate improved to 4.17Preparación de Datos RSS para LLMs
Desliza para mostrar el menú
A veces, los datos RSS llegan de forma inconsistente o sobrecargada, por lo que es necesario reducir cada artículo a lo esencial para que el LLM pueda generar un tweet limpio en cada ocasión. El objetivo es sencillo: cada artículo debe llegar al LLM en una forma limpia y compacta que se convierta en un solo tweet.
- Agrupar un pequeño feed y probar si el LLM puede manejarlo;
- Si el mapeo resulta poco claro, normalizar con un nodo Code;
- Iterar sobre los elementos con un tamaño de lote de 1 para que cada artículo se procese en un solo tweet.
Comience por agrupar el feed en pequeños lotes. Utilice Aggregate para combinar todos los elementos en una sola lista, creando un elemento que contenga un array de aproximadamente 25 artículos en formato JSON. Esto proporciona una configuración rápida y de baja complejidad. Pruebe este resultado agregado con su LLM mapeando el array en el campo Context. Si la salida resulta poco clara o inconsistente, continúe con la normalización.
Para normalizar, copie una muestra del JSON RSS y solicite a su LLM que genere un nodo Code que elimine HTML, extraiga la primera URL de imagen, estandarice campos como title, text, url, guid y publishedAt, elimine títulos casi duplicados y devuelva un elemento limpio por artículo como un array. Coloque este nodo Code inmediatamente después del nodo RSS o RSS Read.
A continuación, reemplace la ruta de agregado por un bucle. Utilice Loop o Split in Batches con un tamaño de lote de uno para emitir un artículo a la vez, lo cual es ideal para generar un solo tweet por pasada. Finalmente, agregue su modelo de chat dentro del bucle, mapee el texto normalizado del artículo (y cualquier hook) en Context, y proporcione una instrucción de sistema breve y clara para el tono y estilo del tweet.
¡Gracias por tus comentarios!
