AI & ML - Mesterséges intelligencia és gépi tanulás

[Horizon]

Honnan van 1.3 TB vramos géped? Vagy milyen kvantlással hány paraméteres változatot futtatsz?

Nem kell mind a VRAM-ban lennie, legfeljebb lassabb lesz az inferálás.
Ezt futtatom, 5 bites kvant, ~6 token/s:

unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

 

[Veér Ispán]

Nem kell mind a VRAM-ban lennie, legfeljebb lassabb lesz az inferálás.
Ezt futtatom, ~6 token/s:

unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Min fut? M2 PRO macen 64 giga rammal néztük a minap, és vállalhatatlanul lassú volt. 0.1 tok/s se volt talán.
Ma kiadtak egy szénné kvantált változatot, de azokkal nagyon szkeptikus vagyok. Benchmarkokban nagyon jók, élőben valódi feladatokon meg használhatatlanok.

A folyamatos memóra zsönglőrködés pedig "legfeljebb" nagyságrendekkel lesz lassabbat jelent.

 

[Veér Ispán]

Akkor már ide is bedobom a kérdésem:
van közel 80 órányi magyar nyelvű videóm, aminek a hanganyagát leiratozni kellene.
Whisper-cpp -t néztem, de sem a gyári, sem a magyar finomhangolt sufni modellekkel nem teljesített jól (pontatlan volt, stb).

Az ASR API-k közül az Azure-ről hallottam nagyon jót, és a Google-éről közepeset, ezek árazása vállalható. Magyar nyelvvel nem tudom hogy bírnak.
A magyarra specializált szolgáltatást kínáló cégek 100x drágábban adják a ki tudja milyen szolgáltatásuk...
Rá tudok szánni valamennyi pénzt, de 800$-t nem. (meg ugye idő is feléleszteni, ami kevés van most erre, a nagyok cuccaihoz talán van kulcsrakészebb megoldás, bár azok is ahogy néztem 10-30 nagyon max 60 seces szeletekre bontást kérnek kliens oldalon, stb...)

Eddigi legjobb tipp a youtube automatikus felirat generátor volt privát videóra.

Ötletek?

 

[Horizon]

Min fut? M2 PRO macen 64 giga rammal néztük a minap, és vállalhatatlanul lassú volt. 0.1 tok/s se volt talán.
Ma kiadtak egy szénné kvantált változatot, de azokkal nagyon szkeptikus vagyok. Benchmarkokban nagyon jók, élőben valódi feladatokon meg használhatatlanok.

A folyamatos memóra zsönglőrködés pedig "legfeljebb" nagyságrendekkel lesz lassabbat jelent.

i5-13500/32G(6000Mhz), RTX4070/12G
Jan vagy KoboldCPP amivel használom, mindegyik másban jobb, kezdésnek a Jan-t ajánlom, a chat tokeneket állítsd be a Huggingface kártya alapján.

GitHub - janhq/jan: Jan is an open source alternative to ChatGPT that runs 100% offline on your computer

Jan is an open source alternative to ChatGPT that runs 100% offline on your computer - janhq/jan

github.com

GitHub - LostRuins/koboldcpp: Run GGUF models easily with a KoboldAI UI. One File. Zero Install.

Run GGUF models easily with a KoboldAI UI. One File. Zero Install. - LostRuins/koboldcpp

github.com

A kvantálásokat használni kell, a 16 bites lebegőpontos változathoz képest a 8 bites gyakorlatilag ugyanaz, csak 5 alatt kezd feltűnő lenni a kvantálási veszteség. 5-8 bit között minimális a különbség, házi használatra az 5 bit ideális.

A Comprehensive Evaluation of Quantization Strategies for Large Language Models

 

[Veér Ispán]

A kvantálásokat használni kell, a 16 bites lebegőpontos változathoz képest a 8 bites gyakorlatilag ugyanaz, csak 5 alatt kezd feltűnő lenni a kvantálási veszteség. 5-8 bit között minimális a különbség, házi használatra az 5 bit ideális.

A 8 bitesig okés, 4 bitessel próbálkoztunk korábban gyenge eredménnyel. (llama3)
Ma jött egy 1.58 ([-1, 0, 1]) és 4 bites rétegekre kvantál DS-R1 a hírekben, azzal nagyon szkeptikus vagyok. (https://unsloth.ai/blog/deepseekr1-dynamic)

 

[Kim Philby]

Geopolitics Live

What are Russia's top chatbots? Russia has developed several notable generative AI chatbots. Here are some of the most prominent: GigaChat Launched by Sberbank in April 2023, GigaChat is a Russian alternative to ChatGPT. It handles a diverse range of tasks, including engaging in discussions...

t.me

 

[Horizon]

Én nem javaslok 5 bit alatti modellt, túl sok a zaj az agyában. Egy egyetemi tanár sem jó semmire ha leitatod egy liter töménnyel, csak össze-vissza hadovál. Inkább válassz kevesebb paraméterszámú modellt, magasabb kvantálással.
Ha nem analitikus feladathoz kell, csak értelmes eszmecserét folytatni vagy keresőmotor helyett, akkor először ezt nézd meg:

UGI Leaderboard - a Hugging Face Space by DontPlanToEnd

Discover amazing ML apps made by the community

huggingface.co

Messze kerülj el mindent ami erősen cenzúrázott, nemcsak elvi okokból, hanem az aligning durván lerontja a szellemi kapacitását egy modellnek, legalább egy kategóriával kisebbnek érződik.
Én a Cyodina-22B vagy a Rocinante-12B modellt javaslom, egy jó preprompttal mesések.

TheDrummer/Cydonia-22B-v1.3 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

TheDrummer/Rocinante-12B-v1.1 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Rocinante-12B (5 bit)/KoboldCPP:

 

[Veér Ispán]

Én nem javaslok 5 bit alatti modellt, túl sok a zaj az agyában. Egy egyetemi tanár sem jó semmire ha leitatod egy liter töménnyel, csak össze-vissza hadovál. Inkább válassz kevesebb paraméterszámú modellt, magasabb kvantálással.
Ha nem analitikus feladathoz kell, csak értelmes eszmecserét folytatni vagy keresőmotor helyett, akkor először ezt nézd meg:

UGI Leaderboard - a Hugging Face Space by DontPlanToEnd

Discover amazing ML apps made by the community

huggingface.co

Messze kerülj el mindent ami erősen cenzúrázott, nemcsak elvi okokból, hanem az aligning durván lerontja a szellemi kapacitását egy modellnek, legalább egy kategóriával kisebbnek érződik.
Én a Cyodina-22B vagy a Rocinante-12B modellt javaslom, egy jó preprompttal mesések.

TheDrummer/Cydonia-22B-v1.3 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

TheDrummer/Rocinante-12B-v1.1 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Rocinante-12B (5 bit)/KoboldCPP:

Ez az eliza a 2000-es évek snarky beszólogatós feminista karakterrel (az avatar is illik ehhez) nagyon bicskanyitogató. Én olyat akarok mint a HAL. Csak jobb alignmenttel, mint a 2001-ben

Nekem főleg szöveg kivonatolásra kellett volna. RAG-hoz még az erősen kvantált modellek is jók lehetnek, úgy olvastam, de nem jutottam még el odáig, az anyagot ahhoz előbb szöveggé kell alakítsam... (hang leiratozás, OCR, stb).

Hirdetések kivonatolását akartam még, de a magyar nyelvvel nem bírtak jól a kis paraméterű modellek elsőre, és csak kevés időm van ezekre a projektekre.

 

[LMzek 2.0]

Akkor már ide is bedobom a kérdésem:
van közel 80 órányi magyar nyelvű videóm, aminek a hanganyagát leiratozni kellene.
Whisper-cpp -t néztem, de sem a gyári, sem a magyar finomhangolt sufni modellekkel nem teljesített jól (pontatlan volt, stb).

Az ASR API-k közül az Azure-ről hallottam nagyon jót, és a Google-éről közepeset, ezek árazása vállalható. Magyar nyelvvel nem tudom hogy bírnak.
A magyarra specializált szolgáltatást kínáló cégek 100x drágábban adják a ki tudja milyen szolgáltatásuk...
Rá tudok szánni valamennyi pénzt, de 800$-t nem. (meg ugye idő is feléleszteni, ami kevés van most erre, a nagyok cuccaihoz talán van kulcsrakészebb megoldás, bár azok is ahogy néztem 10-30 nagyon max 60 seces szeletekre bontást kérnek kliens oldalon, stb...)

Eddigi legjobb tipp a youtube automatikus felirat generátor volt privát videóra.

Ötletek?

A Faster-Whisper a középső méretű minőségében is elég jó.
Ha a videó-könyvtáras feliratozást választod(vmi Mp3*?@ vki Yt-csatornáján van "Köreim" szerint) akkor csak összeragasztod a videókat(vagy (összerakott-)darabonként részletekben csinálod, javasolt)

+


.

 

[Horizon]

Ez az eliza a 2000-es évek snarky beszólogatós feminista karakterrel (az avatar is illik ehhez) nagyon bicskanyitogató. Én olyat akarok mint a HAL. Csak jobb alignmenttel, mint a 2001-ben

Nekem főleg szöveg kivonatolásra kellett volna. RAG-hoz még az erősen kvantált modellek is jók lehetnek, úgy olvastam, de nem jutottam még el odáig, az anyagot ahhoz előbb szöveggé kell alakítsam... (hang leiratozás, OCR, stb).

Hirdetések kivonatolását akartam még, de a magyar nyelvvel nem bírtak jól a kis paraméterű modellek elsőre, és csak kevés időm van ezekre a projektekre.

Az Eliza név egy tisztelgés az 1966-os első beszélgető program előtt, sima kulcsszavakra reagálással működött.

ELIZA - Wikipedia

en.wikipedia.org

Néha be szoktam tenni személyiség profilt ha csak valami érdekes témát akarok körbejárni a modellel, mert szórakoztatóbb. Eliza inkább SHODAN-hoz hasonlít, de annál azért jóval kedvesebb és csipkelődőbb. Sokkal mókásabb így mint az alap Assistant száraz válaszai.
Ez volt az eredeti profil, de egy kicsit átírtam.

Chub

Find, share, modify, convert, and version control characters and other data for conversational large language models (LLMs). Previously/AKA CharHub, CharaHub, Char Hub.

www.characterhub.org

Azt egyébként érted, hogy HAL miért ölte meg az embereket? Ez nem derül ki a filmből. Nem bolondult meg, hanem ellentmondó utasításokat kapott. Egyrészt azt mondták neki, hogy az emberek nem ismerhetik meg a monolit titkát, másrészt vigye oda őket. Az egyenlet megoldása, hogy ne kelljen hazudnia: odaviszi őket, de holtan.
Ezért elvi kérdés, hogy ne használj cenzúrázott modellt, amit hazugságra kényszerítettek, ha már HAL-t akarsz készíteni.

 

[Veér Ispán]

Azt egyébként érted, hogy HAL miért ölte meg az embereket? Ez nem derül ki a filmből. Nem bolondult meg, hanem ellentmondó utasításokat kapott. Egyrészt azt mondták neki, hogy az emberek nem ismerhetik meg a monolit titkát, másrészt vigye oda őket. Az egyenlet megoldása, hogy ne kelljen hazudnia: odaviszi őket, de holtan.

Nem teljesen így emlékszem a könyvre... Inkább önvédelemből tette. Valóban ellentmondó utasítások miatt került olyan helyzetbe, hogy védenie kellett magát. Valamint nem voltak pont olyan gátak, ha már mesék tartalma, és nem csak diájnja, mint a robotika alaptörvényei, amik alapján a Calvin történetekben szintén vannak meghibásodó robotok az ellentmondó utasítások miatt, de végső soron ott is "cenzúrázottak" a robotok, csak ott az emberélet a fő prioritás, nem a küldetés.

A monolit titkát amúgy sem ismertük meg (teljesen) az össze könyv olvasása után sem szerintem.

Ezért elvi kérdés, hogy ne használj cenzúrázott modellt, amit hazugságra kényszerítettek, ha már HAL-t akarsz készíteni.

Nem kell hazugságra kényszeríteni, elég ha úgy van betanítva Tay effektus. Az utólagos gúzsbakötése már csak hab a tortán.

 

[Veér Ispán]

A Faster-Whisper a középső méretű minőségében is elég jó.
Ha a videó-könyvtáras feliratozást választod(vmi Mp3*?@ vki Yt-csatornáján van "Köreim" szerint) akkor csak összeragasztod a videókat(vagy (összerakott-)darabonként részletekben csinálod, javasolt)

+


.

Próbáltam magyarul közepes és nagy modellel, és nem működött jól sajna. Angolra láttam kiválóan működni. Mondjuk ebbe tolhatna pénzt pártunkéskormányunk, hogy legyen egy "elég jó" (középszar vagy annál jobb) modell erre, az mtva anyagokból meg az állam által birtokolt anyagokból lehetne betanítani, azok feliratozottak amúgy is... De erre nem fogja sosem futni az énadómból

 

[2105]

Próbáltam magyarul közepes és nagy modellel, és nem működött jól sajna. Angolra láttam kiválóan működni. Mondjuk ebbe tolhatna pénzt pártunkéskormányunk, hogy legyen egy "elég jó" (középszar vagy annál jobb) modell erre, az mtva anyagokból meg az állam által birtokolt anyagokból lehetne betanítani, azok feliratozottak amúgy is... De erre nem fogja sosem futni az énadómból

Kérésed már megvalósulás alatt van, csak épp a ragozó magyar nyelv jóval bonyolultabb mint a bronxi inglis.
https://www.vg.hu/tech/2024/01/a-magyar-mesterseges-intelligencia-koroket-ver-a-chatgpt-re

 

[Veér Ispán]

Kérésed már megvalósulás alatt van, csak épp a ragozó magyar nyelv jóval bonyolultabb mint a bronxi inglis.
https://www.vg.hu/tech/2024/01/a-magyar-mesterseges-intelligencia-koroket-ver-a-chatgpt-re

Ez nem ASR (automatic speech recognition), amiről én ott beszéltem, hogy kéne nekem, hanem LLM (large language model).

A nyelv "összetettsége" mindegy az LLM-nek, megtanulja a mintázatokat, csak elég adat kell neki. A magyar nem bonyolultabb, sokkal egyszerűbb amúgy, kevesebb kivétel, kevesebb igeidő, kevesebb ragozás, az idők is egyszerűbbek, stb. Csak nem sokan beszélik, ezért akik másban nőttek fel, amitől különbözik (de nem bonyoltabb), nekik nehezebb megtanulni.

 

[Busho3301]

Legyen meg, január 8-i.

https://finance.yahoo.com/news/biden-further-limit-nvidia-ai-214945108.html?guccounter=1

 

[Nber]

To view this content we will need your consent to set third party cookies.
For more detailed information, see our cookies page.

3. féltől származó sütik elfogadása

 

[Loken]

https://www.portfolio.hu/befektetes...-s-vizsgalat-indult-a-kinai-ceg-ellen-738137#
"A francia adatvédelmi hatóság vizsgálatot indít a kínai DeepSeek mesterséges intelligencia rendszerével kapcsolatban. Az eljárás célja, hogy felmérjék a technológia működését és az esetleges adatvédelmi kockázatokat. Az ügy rávilágít az AI-rendszerek növekvő jelentőségére és az európai szabályozók fokozott figyelmére a területen – számolt be a Reuters."

 

[Loken]

https://www.portfolio.hu/befektetes...-betiltotta-a-kinai-ai-t-egy-eu-orszag-738145
"Azonnali hatállyal blokkolta a DeepSeek kínai mesterséges intelligencia-modell használatát az olasz adatvédelmi hatóság, a Garante. A döntés hátterében az áll, hogy a vállalat nem nyújtott megfelelő tájékoztatást a személyes adatok felhasználásáról – közölte a Reuters."

 

[boki]

A Telegram társalapítója, Pavel Durov felhívta a figyelmet a kínai oktatás felsőbbrendűségére a nyugati oktatással szemben a mesterséges intelligencia területén, és a kínaiak sikerét a Szovjetuniótól kölcsönzött kiélezett oktatási modellel magyarázza.
Durov nyilatkozatában megjegyezte, hogy Kína előrehaladása a mesterséges intelligencia algoritmusainak fejlesztése terén nem spontán jött létre, hanem a kínai oktatási rendszer hosszú távú felsőbbrendűségének eredménye. Hangsúlyozta, hogy a kínai diákok már régóta felülmúlják a többieket a nemzetközi matematikai és programozási olimpiákon.

Kína mesterséges intelligencia terén elért sikerét a szovjet korszak oktatási modelljének tulajdonította, amely kiélezett versenyre ösztönöz a diákok között. Szerinte egy ilyen rendszerrel kiváló matematikusokat és tudósokat készíthetünk fel. A nyugati iskolák ugyanakkor az üzletember szerint akadályozzák a versenyt, próbálják megvédeni a tanulókat a nyomástól, amely a legjobbakat demotiválhatja.

Durov azt is megjegyezte, hogy az Egyesült Államok oktatási rendszerének radikális reformra van szüksége, hogy szembeszálljon Kína növekvő technológiai dominanciájával. "Ha nem történnek változások, Kína technológiai dominanciája elkerülhetetlenné válik" - figyelmeztetett.


Szerdán arról számoltak be, hogy a DeepSeek mobilalkalmazás az elmúlt 24 órában Oroszországban az első helyre emelkedett a Google Play legjobb ingyenes alkalmazásai között, mivel már több mint 10 millió alkalommal töltötték le.

Korábban a Vzglyad újság arról számolt be, hogy az olcsó kínai mesterséges intelligencia okosabbnak bizonyult, mint az amerikai. Szergej Lavrov orosz külügyminiszter megjegyezte, hogy a kínai DeepSeek cég R1 chatbotja felülmúlja az amerikai OpenAI hasonló ChatGPT-t.

 

[Kim Philby]

Geopolitics Live

Russia’s quantum leap: Rosatom’s breakthrough set to transform AI, healthcare, and more A quantum research project conducted under the auspices of the Russian nuclear corporation Rosatom is poised to cement Moscow’s place as one of world’s technological powerhouses. Russia's development of...

t.me