lotto_tom75
Advanced Premium Member
Ciao Tom, ma tutta questa roba la fai girare in locale sul tuo mini pc nipogi con 16gb di ram?
Se si, che risposta di token hai al secondo?
Grazie e complimenti.....
Grazie x i compli druid, sul canale con 4 video realizzati con il potentissimo google notebook lm cerco di spiegare tutto abbastanza nel dettaglio ma al di la' di un altra infografica che tra poco forse metterò qui sotto in estrema sintesi si tratta di questo cambio di paradigma operativo con ciliegina big (brain) finale : cercare di spostare il problema della complessità e peso di conoscenza "verticale" e "customizzabile" da sistema classico dei pesi (8b, 64b ecc) a quello di un sistema leggerissimo con modelli "lepre" con molto meno cervello e/o meri esecutori leggerissimi (1b o poco più) ma capaci di trovare, riportare e presentare la rispo in modo massimamente efficiente in termini di archiviazione e recupero dinamico delle info tramite sistema rag e obsidian a loro volta aggiornabili in automatico dai modelli stessi o da big brains remoti sandboxati e che rappresentano di fatto il know how verticale ampliabile ad libitum dell'intero sistema. La ciliegina extra e' appunto poter usare free come orchestratore, pensatore e anche come esecutore tramite "bracci" python sandboxati anche modelli enormi remoti ma free che poggiano su piattaforme free tier come open router e nemotron120b ad esempio

Ultima modifica: