Preparando Dados RSS para LLMs
Às vezes, os dados RSS chegam inconsistentes ou sobrecarregados, e, para isso, cada artigo deve ser reduzido ao essencial para que o LLM produza um tweet limpo toda vez. O objetivo é simples: cada artigo deve chegar ao LLM em uma forma limpa e compacta, pronta para se transformar em um único tweet.
- Agregue um feed pequeno e teste se o LLM consegue processá-lo;
- Se o mapeamento parecer desajeitado, normalize com um nó Code;
- Faça loop sobre os itens com tamanho de lote igual a 1 para que cada artigo seja processado em um único tweet.
Comece agregando o feed em pequenos lotes. Use Aggregate para combinar todos os itens em uma única lista, criando um item que contém um array de cerca de 25 artigos em formato JSON. Isso proporciona uma configuração rápida e de baixa complexidade. Teste esse resultado agregado com seu LLM mapeando o array para o campo Context. Se a saída parecer confusa ou inconsistente, prossiga para a normalização.
Para normalizar, copie uma amostra do JSON do RSS e peça ao seu LLM para produzir um nó Code que remova HTML, extraia a primeira URL de imagem, padronize campos como title, text, url, guid e publishedAt, remova títulos quase duplicados e retorne um item limpo por artigo como um array. Coloque esse nó Code imediatamente após o nó RSS ou RSS Read.
Em seguida, substitua o caminho de agregação por um loop. Use Loop ou Split in Batches com tamanho de lote igual a um para emitir um artigo por vez, o que é ideal para gerar um tweet por passagem. Por fim, adicione seu modelo de chat dentro do loop, mapeie o texto do artigo normalizado (e quaisquer hooks) para o Context e forneça uma instrução de sistema curta e clara para o tom e estilo do tweet.
Obrigado pelo seu feedback!
Pergunte à IA
Pergunte à IA
Pergunte o que quiser ou experimente uma das perguntas sugeridas para iniciar nosso bate-papo
Awesome!
Completion rate improved to 4.17Preparando Dados RSS para LLMs
Deslize para mostrar o menu
Às vezes, os dados RSS chegam inconsistentes ou sobrecarregados, e, para isso, cada artigo deve ser reduzido ao essencial para que o LLM produza um tweet limpo toda vez. O objetivo é simples: cada artigo deve chegar ao LLM em uma forma limpa e compacta, pronta para se transformar em um único tweet.
- Agregue um feed pequeno e teste se o LLM consegue processá-lo;
- Se o mapeamento parecer desajeitado, normalize com um nó Code;
- Faça loop sobre os itens com tamanho de lote igual a 1 para que cada artigo seja processado em um único tweet.
Comece agregando o feed em pequenos lotes. Use Aggregate para combinar todos os itens em uma única lista, criando um item que contém um array de cerca de 25 artigos em formato JSON. Isso proporciona uma configuração rápida e de baixa complexidade. Teste esse resultado agregado com seu LLM mapeando o array para o campo Context. Se a saída parecer confusa ou inconsistente, prossiga para a normalização.
Para normalizar, copie uma amostra do JSON do RSS e peça ao seu LLM para produzir um nó Code que remova HTML, extraia a primeira URL de imagem, padronize campos como title, text, url, guid e publishedAt, remova títulos quase duplicados e retorne um item limpo por artigo como um array. Coloque esse nó Code imediatamente após o nó RSS ou RSS Read.
Em seguida, substitua o caminho de agregação por um loop. Use Loop ou Split in Batches com tamanho de lote igual a um para emitir um artigo por vez, o que é ideal para gerar um tweet por passagem. Por fim, adicione seu modelo de chat dentro do loop, mapeie o texto do artigo normalizado (e quaisquer hooks) para o Context e forneça uma instrução de sistema curta e clara para o tom e estilo do tweet.
Obrigado pelo seu feedback!
