Eszközök · The Decoder ·
Az Anthropic nyilvános bétaként indította a Message Threads funkciót
Az Anthropic nyilvános bétaként elérhetővé tette a Message Threads funkciót a Claude platformon, amely hosszú beszélgetéseknél az első token megjelenéséig tartó időt mintegy 35 százalékkal csökkentheti.
Eddig minden API-kérésben újra el kellett küldeni a teljes beszélgetési előzményt. A Message Threads csak a változásokat továbbítja az utolsó üzenet óta, és az Anthropic szerint 500 ezer és 1 millió token közötti kéréseknél az első token megjelenéséig tartó idő körülbelül 35 százalékkal rövidül.
A cég szerint a legnagyobb hasznot a kódoló ügynökök, a számítógépet kezelő ügynökök és a nagy mennyiségű dokumentumot vagy képet feldolgozó munkafolyamatok láthatják. A szál a kérések között a memóriában marad titkosítva, és öt perc inaktivitás után lejár.
A tokenhasználat nem változik, mert a Claude továbbra is a teljes beszélgetési előzményt olvassa. A funkció a Claude platformon, valamint az AWS, a Microsoft Foundry és a Google Cloud szolgáltatásain keresztül érhető el; a részletek a dokumentációban találhatók.
Miért fontos neked?
Hosszú beszélgetésekre épülő Claude-alkalmazásokat fejlesztőknek, különösen kódoló és számítógépet kezelő ügynökök készítőinek érdemes ezt kipróbálniuk. Mivel a tokenhasználat változatlan marad, költségcsökkenést nem várhatnak, a nyilvános béta miatt pedig érdemes követniük a dokumentációt.
Az eredeti megnyitása (The Decoder)
Eredeti cím: Anthropic's Message Threads cut time to first token by 35 percent for long conversations
Címkék: api, claude, késleltetés