Começando essa semana com um ensaio sobre outra ferramenta de Inteligência Artificial que tenho usado muito junto com o LM Studio: O Ollama. O Ollama é uma ferramenta de código aberto que vem revolucionando a maneira como modelos de linguagem (LLMs) são executados, criados e compartilhados diretamente no computador pessoal. Essa abordagem oferece uma solução local poderosa para desenvolvedores e entusiastas que desejam maior controle sobre os modelos que utilizam, preservando a privacidade dos dados e reduzindo os custos associados ao uso de infraestruturas em nuvem durante a fase de teste de seus projetos.
Uma das grandes vantagens do Ollama é sua compatibilidade com diferentes sistemas operacionais, incluindo macOS e Linux, além de uma versão em preview para Windows, o que amplia significativamente seu alcance entre os usuários. A instalação é prática e pode ser feita de maneira rápida, seja diretamente pelo site oficial ou utilizando imagens Docker, que facilitam a configuração em diferentes ambientes.
A flexibilidade que o Ollama proporciona também é um de seus principais atrativos. Ele suporta a execução de modelos com diferentes configurações e tamanhos, o que o torna adequado para diversas finalidades. Desde chatbots interativos que melhoram a experiência do usuário até sistemas multimodais avançados que integram processamento de linguagem natural com visão computacional, o Ollama oferece uma plataforma robusta para explorar as capacidades da IA.
Ao trazer o poder do processamento de linguagem para o computador pessoal, o Ollama abre novas possibilidades, seja para profissionais de tecnologia, pesquisadores ou empresas que desejam explorar o futuro da inteligência artificial com maior autonomia. Por exemplo, na imagem abaixo eu mostro o Ollama sendo executado localmente no Ubuntu subindo o llama-3.1-nemotron-70b-instruct para teste de desempenho com 3 GPUs dedicadas para o LLM.