Qual IA é a melhor hoje? Com a fonte de cada número.

Depende do que você chama de melhor. Por capacidade medida em provas difíceis, vale o topo do ECI. Por preferência de pessoas comuns em conversas do dia a dia, vale o topo do ELO. Os dois rankings não coincidem, e é por isso que esta página mostra as duas colunas em vez de inventar uma nota única.

Epoch Capabilities Index, da Epoch AI. Um índice composto que junta o desempenho do modelo em vários benchmarks difíceis numa escala só, o que permite comparar modelos que nunca fizeram exatamente as mesmas provas. Quanto maior, melhor.

É a nota de preferência humana da Arena. Pessoas mandam a mesma pergunta para dois modelos sem saber quais são, escolhem a melhor resposta, e o sistema calcula uma nota no mesmo esquema de rating do xadrez. Mede o que as pessoas gostam de receber, que não é a mesma coisa que capacidade bruta.

Porque aquele modelo não foi encontrado na Arena com certeza. Casar nome por semelhança é como um ranking passa a mentir sem dar erro nenhum. Quando não há casamento exato, a coluna fica vazia. Preferimos a lacuna ao número errado.

Se ele saiu há pouco, provavelmente está na lista "Recém-lançados, ainda sem nota" logo abaixo da tabela. A Epoch AI cadastra o modelo no dia do lançamento e calcula a nota de capacidade depois, então existe uma janela em que o modelo é público mas ainda não foi medido. Nessa janela ele fica fora do ranking, que é ordenado por capacidade, mas aparece na lista de espera com a data de lançamento e, quando já existir, a nota de preferência humana da Arena. Não estimamos a nota que falta.

Aparece, e dá para filtrar só por eles na barra acima da tabela. A coluna Acesso mostra se o modelo é servido por API, se os pesos são abertos ou se o acesso é restrito, conforme a classificação da própria Epoch AI.

Os dados originais são das duas fontes citadas nos créditos, sob licença Creative Commons Attribution 4.0. Você pode usar, inclusive comercialmente, desde que credite as fontes originais do mesmo jeito que fazemos aqui. O crédito não é gentileza: é a condição da licença.

Uma vez por dia, automaticamente. A data e a hora da última apuração ficam no topo da página e no rodapé da tabela. Se uma das fontes estiver fora do ar, a página mantém os números da apuração anterior em vez de zerar a coluna.