Escreva seu próprio loop de treinamento sem gerenciar GPUs com as APIs de sessão de treinamento do Amazon SageMaker
aws ·
O Amazon SageMaker AI introduziu APIs de sessão de treinamento para permitir que desenvolvedores criem loops de treinamento personalizados sem gerenciar a infraestrutura de GPUs. Este serviço abstrai os recursos de computação, permitindo que os usuários controlem detalhes algorítmicos, como funções de perda personalizadas ou sinais de recompensa de aprendizado por reforço, enquanto o SageMaker cuida da execução distribuída e da recuperação de falhas. O modelo de programação baseia-se em três clientes SDK: ServiceClient para configuração, TrainingClient para operações como forward_backward e optim_step, e SamplingClient para geração. A cobrança é baseada nos tokens processados, em vez do uso horário de GPU, o que reduz custos para cargas de trabalho com computação local intensiva. O artigo demonstra essa abordagem por meio de um loop GRPO mínimo no benchmark matemático GSM8K e de uma receita mais complexa de Code RL para programação competitiva. Esses exemplos mostram como pesquisadores podem iterar rapidamente sobre novas técnicas ao aproveitar aceleradores gerenciados. O lançamento inclui um cookbook com receitas prontas para ajuste fino supervisionado e vários métodos de aprendizado por reforço.
aws