Intelligenza artificiale e lotto 🤖🎱📈📉🎯

[lotto_tom75]

Da una veloce occhiata sembrerebbe che lmstudio e openchat siano dei contenitori dove fare girare dei modelli tipo Llama , Mistral ed ecc. che sono presenti su huggingface, github ed ecc.. Ti ricordi il tipo di modello, cosi' per avere un raffronto?

Si è così sono delle interfacce di lettura e gestione del modello scelto. No non mi ricordo i nomi dei modelli ma per provarare i vari test prediligevo quelli meno pesanti... e all'inizio della lista degli scaricabili. Da 4 o 5 gb di peso ca.

 

[druid]

Allora, ho scaricato come contenitore gpt4all e come modello i primi tre proposti con utilizzo ram 8gb (avendo il mio pc 16gb ram - cpu 4 core 8 threads), ma fra una domanda e la successiva risposta passa un' infinita'.....forse e' un problema di risorse....
Prova e fammi sapere....

 

[lotto_tom75]

Allora, ho scaricato come contenitore gpt4all e come modello i primi tre proposti con utilizzo ram 8gb (avendo il mio pc 16gb ram - cpu 4 core 8 threads), ma fra una domanda e la successiva risposta passa un' infinita'.....forse e' un problema di risorse....
Prova e fammi sapere....

Come volevasi dimostrare... 😭😔😩

 

[druid]

Come volevasi dimostrare... 😭😔😩

Vedi l'allegato 2279221

Ma che caratteristiche ha il tuo pc? Hai scelto un modello che solo per funzionare lui ha bisogno di 16gb di ram!
Prova con un modello da 8gb o da 4gb per vedere se funziona o ci sono altri pronlemi sul tuo pc.....

 

[lotto_tom75]

Ma che caratteristiche ha il tuo pc? Hai scelto un modello che solo per funzionare lui ha bisogno di 16gb di ram!
Prova con un modello da 8gb o da 4gb per vedere se funziona o ci sono altri pronlemi sul tuo pc.....

no c'era scritto che richiedeva 8 gb di ram

io ho 16 gb di ram e 60 gb di rom e questo processore
Intel(R) Celeron(R) J4125 CPU @ 2.00GHz 2.00 GHz

windows 11 pro 64bit

 

[druid]

no c'era scritto che richiedeva 8 gb di ram

io ho 16 gb di ram e 60 gb di rom e questo processore
Intel(R) Celeron(R) J4125 CPU @ 2.00GHz 2.00 GHz

windows 11 pro 64bit

Si hai ragione, l'ho confuso con "nous-hermes-llama2-13b.Q4_0.gguf" che ha bisogno di 16gb, ma ahime' penso che dipenda dal processore (spero di sbagliarmi). Per far funzionare i modelli tra le features della cpu ci deve essere il supporto a AVX e AVX2...il mio i7 ha questo supporto, per il tuo ho fatto delle ricerche, ma non ho avuto riscontri....
Cmq le risposte sono molto lente.......

 

[lotto_tom75]

Si hai ragione, l'ho confuso con "nous-hermes-llama2-13b.Q4_0.gguf" che ha bisogno di 16gb, ma ahime' penso che dipenda dal processore (spero di sbagliarmi). Per far funzionare i modelli tra le features della cpu ci deve essere il supporto a AVX e AVX2...il mio i7 ha questo supporto, per il tuo ho fatto delle ricerche, ma non ho avuto riscontri....
Cmq le risposte sono molto lente.......

Vedi l'allegato 2279232

Ho interpellato copilot sull'argomento e mi ha risposto così:

Il tuo processore Intel® Celeron® J4125 CPU @ 2.00GHz supporta le istruzioni Intel® SSE4.21, ma non supporta le istruzioni AVX e AVX22. Queste estensioni non sono ampiamente supportate dalle applicazioni al momento, tuttavia il loro supporto dovrebbe migliorare nei programmi futuri.

quindi non posso usare nessuna AI in locale per questo motivo?

 

[druid]

Ho interpellato copilot sull'argomento e mi ha risposto così:

Il tuo processore Intel® Celeron® J4125 CPU @ 2.00GHz supporta le istruzioni Intel® SSE4.21, ma non supporta le istruzioni AVX e AVX22. Queste estensioni non sono ampiamente supportate dalle applicazioni al momento, tuttavia il loro supporto dovrebbe migliorare nei programmi futuri.

quindi non posso usare nessuna AI in locale per questo motivo?

Ho interpellato copilot per le caratteristiche della cpu:
Per installare un’intelligenza artificiale (IA) in locale, avrai bisogno di un computer con specifiche hardware adeguate. Ecco alcune caratteristiche generali che dovrebbe avere la tua CPU:

1. Supporto AVX2: Le CPU Windows o Linux che supportano AVX2 (tipicamente su macchine più recenti) e i Mac Apple Silicon con macOS 13.6 o versioni successive sono compatibili1.
2. RAM: Si consiglia almeno 16GB di RAM1.
3. VRAM: Su PC, si consiglia almeno 6GB di VRAM1.
4. Numero di core: Il numero di core scelto dipenderà dal carico di lavoro previsto per i compiti non-GPU. Come regola generale, si consigliano almeno 4 core per ogni acceleratore GPU. Tuttavia, se il tuo carico di lavoro ha una componente di calcolo CPU significativa, allora 32 o addirittura 64 core potrebbero essere l’ideale2.

Ricorda che queste sono solo linee guida generali e le specifiche esatte potrebbero variare a seconda del tipo di IA che intendi eseguire. Assicurati di controllare i requisiti di sistema specifici per l’IA che intendi installare.

Cmq, non per darti un "contentino" , ma le risposte sono molto,molto lente, meglio continuare a usare quelle disponibili online che stanno crescendo giorno dopo giorno.......se poi ci devi "litigare" perche' non ti "capiscono", meglio studiare in maniere approfondita python per Machine Learning e Artificial Intelligence....
Buon lavoro.....

 

[lotto_tom75]

Ok me ne farò una ragione... 🫡🫠 👋🙂

 

[claudio8]

Ciao @lotto_tom75 dai una occhiata a questo video, dovrebbe essere una Chat in locale

Ps fammi sapere cosa ne pensi e se fa al caso nostro

 

[vinc01]

Al di là della potenza di calcolo delle CPU e GPU forse oggi è meglio guardare nella direzione NPU (Neural Processing Unit) sicuramente ci sono dei vantaggi. Tuttavia, per verificare la presenza nel proprio computer la combinazione è il tasto Windows+X e vedere se c'è nell'elenco il processore neurale. Buona serata

 

[lotto_tom75]

Ps fammi sapere cosa ne pensi e se fa al caso nostro

Ciao claudio, grazie della dritta, forse lo proverò ma non credo possa essere adatto ad analizzare i file locali (archivio estrazioni txt, script .ls ecc...) in quanto dal video non vedo il bottone apposito e nel tutorial la persona non accenna mai a questa funzione. Se lo provi prima tu facci sapere. 👋🙂

 

[claudio8]

Ciao claudio, grazie della dritta, forse lo proverò ma non credo possa essere adatto ad analizzare i file locali (archivio estrazioni txt, script .ls ecc...) in quanto dal video non vedo il bottone apposito e nel tutorial la persona non accenna mai a questa funzione. Se lo provi prima tu facci sapere. 👋🙂

Spiegami se l'AI deve usare i tuoi script la o pyton o se devi usarla per l"analisi dei big data.

 

[lotto_tom75]

Spiegami se l'AI deve usare i tuoi script la o pyton o se devi usarla per l"analisi dei big data.

Meglio sarebbe riuscisse a fare tutte queste tre cose comunque l'AI locale dovrebbe servire in particolare a gestire i file txt di estrazioni senza limite di righe lette e quindi anche tutte le 10.000 righe ca di estrazioni per una ruota ad esempio... o addirittura tutte le 10.000 x 11 ruote ca. Cosa impensabile, almeno al momento, con le soluzioni AI online che hanno appunto limiti intorno alle 180 estrazioni ca.

 

[lottoLuke]

@lotto_tom75

Cortana:

Installare un'intelligenza artificiale (IA) in locale richiede una serie di considerazioni hardware e software, che variano in base alla specifica IA che si desidera eseguire e agli obiettivi che si intendono raggiungere. Ecco alcune linee guida generali per diverse configurazioni, partendo dal presupposto che desideri eseguire modelli di apprendimento automatico o algoritmi di IA:

1. Hardware Minimo Raccomandato​

CPU:​

• Per scopi generali: Un processore recente (meno di 5 anni) con almeno 4 core.
• Per ricerca e sviluppo professionali: Intel i7/i9 o equivalenti AMD Ryzen 7/9 con almeno 8 core.

GPU:​

• Per scopi di sviluppo e test leggeri: Una GPU non è strettamente necessaria, ma una scheda grafica dedicata può accelerare notevolmente alcuni tipi di calcolo.
• Per l'addestramento di modelli di apprendimento profondo: Una o più GPU NVIDIA con supporto CUDA sono fortemente raccomandate. Modelli come NVIDIA RTX 3060, 3080, o superiore sono ideali per l'addestramento intensivo.

RAM:​

• Per scopi generali: Almeno 8GB di RAM, ma 16GB è consigliato per avere maggiore flessibilità.
• Per l'addestramento dei modelli o l'analisi di grandi dataset: 32GB o più.

Storage:​

• Un SSD (Solid State Drive) con almeno 256GB di spazio per il sistema operativo e i software.
• Per dataset o modelli di grandi dimensioni, è raccomandato un ulteriore HDD (Hard Disk Drive) o SSD con 1TB o più di spazio disponibile.

2. Software e Dipendenze​

• Sistema Operativo: La maggior parte degli strumenti di IA sono compatibili sia con Linux (preferito per lo sviluppo di IA) che con Windows. MacOS può essere utilizzato, ma potrebbe presentare alcune limitazioni per determinati software o librerie.
• Linguaggi di Programmazione: Python è il linguaggio più comune e supportato per lo sviluppo di IA, con vasti ecosistemi di librerie come TensorFlow, PyTorch, Scikit-learn, e altri.
• Ambienti Virtuali: È consigliabile utilizzare ambienti virtuali (come conda o venv) per gestire le dipendenze dei progetti.
• CUDA e cuDNN: Per sfruttare appieno le capacità delle GPU NVIDIA, è necessario installare CUDA e cuDNN se si lavora con librerie che ne fanno uso, come TensorFlow o PyTorch.

3. Altre Considerazioni​

• Raffreddamento: L'addestramento dei modelli di IA può mettere sotto stress l'hardware, quindi un buon sistema di raffreddamento è importante.
• Alimentazione: Assicurati che l'alimentatore (PSU) possa gestire il carico, soprattutto se si prevede di utilizzare più GPU.
• Rete: Per scaricare dataset o modelli e accedere a risorse cloud, è desiderabile una connessione internet stabile e veloce.

Conclusioni​

La configurazione esatta dipenderà dalle tue specifiche esigenze, dal budget e dal tipo di progetti di IA che intendi sviluppare o eseguire. In generale, più risorse puoi dedicare (soprattutto in termini di GPU e RAM), maggiori saranno le tue capacità di lavorare su progetti complessi e di ridurre i tempi di addestramento dei modelli.

Note sul Consumo Energetico​

• CPU: Il consumo energetico massimo (TDP) varia significativamente a seconda del modello e della generazione. Le CPU per uso intensivo possono raggiungere o superare i 105W.
• GPU: Le GPU sono tra i componenti che consumano più energia. Una RTX 3090, ad esempio, può avere un consumo energetico di picco superiore a 350W.
• RAM: Il consumo energetico della RAM è relativamente basso, ma può aumentare con l'uso di moduli più numerosi o di maggior capacità.
• Storage: Gli SSD consumano meno energia rispetto agli HDD tradizionali. L'energia specifica dipende dal tipo e dall'uso.
• Sistema di raffreddamento: Il consumo energetico varia in base al tipo e alla configurazione. I sistemi a liquido tendono a consumare più energia rispetto alle soluzioni ad aria.
• Alimentatore (PSU): L'alimentatore stesso ha un'efficienza che determina quanto energia viene consumata rispetto a quanto viene effettivamente utilizzata dai componenti. Gli alimentatori con certificazione di efficienza (come 80 Plus Gold, Platinum) sono più efficienti.

Conclusione​

Queste configurazioni e stime di consumo energetico servono come punto di partenza. Il consumo energetico effettivo dipenderà dall'uso specifico, dalle impostazioni di sistema, dall'efficienza dell'alimentatore e da come i componenti vengono gestiti durante il loro funzionamento. Per un calcolo più preciso del consumo energetico, si possono utilizzare strumenti online specifici o consultare le specifiche tecniche dettagliate dei componenti scelti.

Cortana:

La configurazione "High End" descritta nella tabella precedente è ottimizzata per l'allenamento di modelli di intelligenza artificiale (IA) complessi e di grandi dimensioni in locale. Tuttavia, l'ottimalità di una configurazione hardware per l'allenamento di IA dipende fortemente dalle specifiche esigenze del progetto, dal tipo di modelli che si intendono addestrare e dalla quantità di dati da elaborare. Ecco alcuni fattori da considerare:

Dimensione e Complessità del Modello​

• Modelli Piccoli o Sperimentali: Se stai lavorando con modelli di piccole dimensioni o in fase di esplorazione iniziale, una configurazione "Mid Range" potrebbe essere sufficientemente performante.
• Modelli Grandi e Complessi: Per l'addestramento di modelli di deep learning di grandi dimensioni, come quelli utilizzati nel Natural Language Processing (NLP) o nella Computer Vision, la configurazione "High End" offre le prestazioni necessarie per gestire grandi volumi di dati e calcoli complessi, riducendo i tempi di addestramento.

Tempo e Costi​

• Efficienza Temporale: Una configurazione più potente riduce significativamente i tempi di addestramento, il che è cruciale per iterare rapidamente sui progetti di ricerca o per lo sviluppo di prodotti.
• Bilancio: L'hardware di fascia alta ha un costo significativamente più elevato, non solo in termini di acquisto iniziale ma anche per quanto riguarda il consumo energetico e la necessità di raffreddamento adeguato.

Scalabilità e Future-Proofing​

• Upgrade Futuri: Costruire il tuo sistema con un certo margine per upgrade futuri (ad es., slot di espansione liberi per più RAM o GPU aggiuntive) può essere un approccio saggio per adeguarsi a esigenze crescenti senza dover sostituire l'intero sistema.
• Cloud Computing come Alternativa: Per alcuni progetti, può essere più conveniente e scalabile utilizzare risorse di cloud computing per l'addestramento dei modelli. Questo approccio elimina i costi iniziali dell'hardware e permette di accedere a configurazioni hardware potenti e aggiornate, pagando solo per il tempo di utilizzo.

Conclusioni​

La configurazione "High End" è ottimale per l'addestramento di modelli di IA complessi in locale, offrendo elevate prestazioni che possono significativamente ridurre i tempi di addestramento. Tuttavia, è importante valutare il rapporto costo-beneficio e considerare alternative come il cloud computing, soprattutto per progetti con esigenze computazionali variabili o in crescita. Assicurati di valutare attentamente le tue esigenze specifiche prima di investire in hardware costoso.


saluti
Lottoluke

quando dicevo "ironicamente fondere i pc dei vicini" intendevo proprio questo la grande necessità energivora che richiede un IA in locale.
pensa che Un IA come chaptgpt ha bisogno di circa l'80% di energia paragonabile al consumo di un paese come l'intera Danimarca. Quindi un enormità ,pensa solo all'enorme numero infinito di richieste ed elaborazioni che ogni giorno vengono chieste all'IA .

 

[lotto_tom75]

Grazie Luke per la esaustiva spiegazione 🙏

A proposito di AI...

Nuovi tre parametri da tener di conto secondo ultima chiccherata con Chatty:

(1) FREQ + RA
(2) DIFF RS - RA
(3) Somma dei due "TERZO PARAMETRO" = (1) + (2).

Preferenza per i valori maggiori... di tutti e tre.

 

[claudio8]

@lotto_tom75 mi dai le dritte per usare Python e la costruzione o copiatura degli script?
ho la versione 3.12.2

devo far girare questo script:

import pandas as pd
from statsmodels.tsa.arima.model import ARIMA

# Serie differenziata
data = [
[None, 28, 33, -1, -51],
[-6, -40, 45, -3, 29],
[64, -64, 28, -35, 52],
[-37, 21, -51, 82, -43],
[-39, 9, 59, -39, 18],
[58, -45, 24, 7, 16],
[-40, -6, 61, -19, -36],
[15, -5, -20, 75, -82],
[-2, 23, 12, -72, 48],
[-7, 23, -30, 34, -22],
[-18, 65, -48, 12, -22],
[27, -42, 21, 20, -16]
]

# Flatten della serie differenziata
diff_data = [item for sublist in data for item in sublist if item is not None]

# Adattare il modello ARIMA
model = ARIMA(diff_data, order=(2, 1, 2))
model_fit = model.fit()

# Fare previsioni per i prossimi due giorni
forecast = model_fit.forecast(steps=2)
print("Previsioni per i prossimi due giorni:")
print(forecast)


Grazie

 

[lotto_tom75]

@lotto_tom75 mi dai le dritte per usare Python e la costruzione o copiatura degli script?
ho la versione 3.12.2

devo far girare questo script:

import pandas as pd
from statsmodels.tsa.arima.model import ARIMA

# Serie differenziata
data = [
[None, 28, 33, -1, -51],
[-6, -40, 45, -3, 29],
[64, -64, 28, -35, 52],
[-37, 21, -51, 82, -43],
[-39, 9, 59, -39, 18],
[58, -45, 24, 7, 16],
[-40, -6, 61, -19, -36],
[15, -5, -20, 75, -82],
[-2, 23, 12, -72, 48],
[-7, 23, -30, 34, -22],
[-18, 65, -48, 12, -22],
[27, -42, 21, 20, -16]
]

# Flatten della serie differenziata
diff_data = [item for sublist in data for item in sublist if item is not None]

# Adattare il modello ARIMA
model = ARIMA(diff_data, order=(2, 1, 2))
model_fit = model.fit()

# Fare previsioni per i prossimi due giorni
forecast = model_fit.forecast(steps=2)
print("Previsioni per i prossimi due giorni:")
print(forecast)


Grazie

ciao claudio8 , per eseguire uno script python basta che lo nomini con un editor qualsiasi notepad ad esempio nomevoluto.py e poi lo esegui dal tuo ambiente (prompt dos) o (prompt conda) con python nomevoluto.py . Se hai creato degli ambienti virtuali con le librerie richieste dal tuo script dovrai prima attivarli con i rispettivi comandi. Per conda è conda activate nomeambientecreato. Se non era questo che intendevi dicci altro...

Comunque ho provato a chiedere anche a Chatty riguardo il tuo problema... e lei mi ha risposto:

🤖 Il codice fornito sembra essere in grado di adattare un modello ARIMA ai dati forniti e di fare previsioni per i prossimi due giorni. Tuttavia, ci sono alcune possibili ragioni per cui potrebbe non funzionare per il tuo amico:

1. Dipendenze mancanti: Assicurati che il tuo amico abbia installato tutte le dipendenze necessarie per eseguire il codice. In questo caso, sembra che il codice utilizzi il modulo `statsmodels`, quindi assicurati che sia installato sul sistema del tuo amico. Il modo più semplice per farlo è eseguire `pip install statsmodels` da linea di comando.

2. Dati mancanti o non validi: Controlla che i dati forniti siano completi e validi. Nel codice fornito, i dati sono rappresentati come una lista di liste. Assicurati che non ci siano valori mancanti o valori non validi nella serie temporale. Inoltre, i dati devono essere differenziati, quindi assicurati che la serie differenziata sia correttamente creata.

3. Ordine del modello ARIMA: L'ordine del modello ARIMA (`order=(p, d, q)`) è stato fissato a `(2, 1, 2)` nel codice fornito. Questi valori potrebbero non essere ottimali per i dati specifici forniti. Il tuo amico potrebbe voler esplorare diversi valori di `p`, `d`, e `q` per trovare il modello migliore per i dati.

4. Errori durante il fitting del modello: Se il fitting del modello ARIMA fallisce, potrebbe essere a causa di dati non adatti al modello, parametri non validi o altri problemi. Assicurati che il fitting del modello (`model.fit()`) vada a buon fine senza errori.

Assicurati di esaminare attentamente questi punti per identificare e risolvere eventuali problemi nel codice. Se il problema persiste, il tuo amico potrebbe fornire ulteriori informazioni sugli errori o sui comportamenti anomali che sta riscontrando.

👋

 

[claudio8]

ciao claudio8 , per eseguire uno script python basta che lo nomini con un editor qualsiasi notepad ad esempio nomevoluto.py e poi lo esegui dal tuo ambiente (prompt dos) o (prompt conda) con python nomevoluto.py . Se hai creato degli ambienti virtuali con le librerie richieste dal tuo script dovrai prima attivarli con i rispettivi comandi. Per conda è conda activate nomeambientecreato. Se non era questo che intendevi dicci altro...

Tom, non ho creato niente, ho questa videata di apertura del Python

ed ho salvato lo script in un file .py quale è il passo successivo?
1) vado nel promt di windows, copio il percorso del file dalle proprietà del file , quindi dò l'invio e mi dice che manca un module "pandas" ... .... E' giusto?
Dove trovo questi moduli ?



Tu hai provato a farlo girare? cosa ti ha dato in output?

grazie ( se non vuoi disturbarti chiedo a chatGpt )

 

[lotto_tom75]

Tom, non ho creato niente, ho questa videata di apertura del Python
Vedi l'allegato 2279683
ed ho salvato lo script in un file .py quale è il passo successivo?
1) vado nel promt di windows, copio il percorso del file dalle proprietà del file , quindi dò l'invio e mi dice che manca un module "pandas" ... .... E' giusto?
Dove trovo questi moduli ?

Vedi l'allegato 2279686

Tu hai provato a farlo girare? cosa ti ha dato in output?

grazie ( se non vuoi disturbarti chiedo a chatGpt )

Adesso si



Ma ora appurato che come script python funziona... dimmi cosa diavolo è 😄

Io ho usato come puoi vedere ambiente conda con installato python 3.8.18 e le librerie richieste. Ad ogni modo se copi e incolli gli errori che ti da in output direttamente nella chat di chatgpt lei ti corregge passo passo facendoti installare con i comandi relativi le librerie che ti necessitano di volta in volta... Io da quando ho iniziato questo tipo di discussione AI (lontano... agosto 2023) ho fatto così e per adesso mi trovo molto bene nonostante sia un neofita anche di python...