Nvidia-utmanare lanserar “världens snabbaste” AI-inferenstjänst

Cerebras Systems tar nu sin kamp med Nvidia till nästa nivå genom att lansera vad startupen hävdar är världens snabbaste AI-inferenstjänst, Cerebras inference, rapporterar Silicon Angle.

AI-inferens är processen där en tränad AI-modell använder sin inlärda kunskap för att göra förutsägelser eller ta beslut baserat på ny data. Inferens sker ofta i realtid och kräver kraftfulla datorresurser för att bearbeta data snabbt och effektivt.

Tjänsten, som är tillgänglig i molnet, påstås vara upp till 20 gånger snabbare än andra molnbaserade inferenstjänster som använder sig av Nvidias mest kraftfulla AI-hårdvara. Enligt Cerebras kan den leverera 1800 tokens i sekunden för Llama 3.1 8B-modellen och 450 tokens i sekunden till Llama 3.1 70B. Den ska också vara billigare och kosta från cirka 1 krona per miljon tokens.