Entendendo Embeddings

Entendendo Embeddings

Na era digital atual, a quantidade de dados gerados e consumidos é imensa, e grande parte desses dados é textual.

Para criar aplicações baseadas em LLMs, é preciso processar textos vindos de diversas fontes. No entanto, modelos de aprendizado de máquina não processam texto diretamente em sua forma bruta; eles requerem uma conversão desses textos em um formato que possam entender: os vetores numéricos. É aqui que os embeddings desempenham um papel crucial.

Embeddings são representações que capturam não apenas a frequência das palavras, mas também o contexto em que são usadas. Esta técnica permite que máquinas interpretem e processem a linguagem humana de uma maneira que reflete seu verdadeiro significado e uso, tornando-os ferramentas indispensáveis em uma variedade de aplicações de processamento de linguagem natural (PLN).

Com embeddings, é possível realizar diversos tipos de tarefas. Por exemplo, sistemas de recomendação podem usar embeddings para entender melhor as preferências do usuário através de análises de comentários e descrições de produtos, enquanto chatbots virtuais dependem de embeddings para processar e responder a consultas de forma eficaz e contextualizada.

Conhecer e utilizar técnicas de embeddings é fundamental para qualquer pessoa interessada em criar aplicações baseadas em LLMs.

Conteúdo

Na parte teórica do curso, são apresentado alguns conceitos básicos, como:

• Modelos de aprendizado de máquina não entendem textos
• Métodos tradicionais para converter textos em vetores numéricos
• Limitações das abordagens tradicionais
• Embeddings e sua capacidade de guardar contexto
• Diferença entre modelos de embeddings e vetores numéricos

Assista uma pequena amostra do curso abaixo.

Na parte prática do curso, implementamos:

• Hello world na criação de embeddings usando a OpenAI
• Comparando vetores usando métodos de similaridade
• Entendendo tamanhos e formato dos vetores
• Implementando um banco de dados simples para busca de dados similares
• Utilizando o ChromaDB para melhorar robustez da busca de dados similares

Assista uma pequena amostra do curso prático abaixo.

Público Alvo

Este mini-curso é direcionado a programadores que desejam ampliar suas habilidades no desenvolvimento de aplicações interativas baseadas em LLMs. É importante que a pessoa tenha conhecimento prévio em manipulação de dados para aplicações baseadas em LLM.

Ao final deste curso, você estará pronta para dar um salto na qualidade dos chunks consumidos pela sua aplicação baseada em LLM.

Vamos avançar nos estudos?

Está procurando algo mais introdutório?

Se você ainda está no início da sua caminhada em criar aplicações baseadas em LLMs, considere conhecer o curso "Converse com seus Documentos", que foca em apresentar os principais conceitos, tanto na teoria quanto na prática.

Seu Instrutor

Gustavo é doutor em computação, professor universitário, engenheiro de software na industria de tecnologia e escreve na newsletter Machine Learning For Software Engineering (ML4SE). Saiba mais em gustavopinto.org.