AI & ML - Mesterséges intelligencia és gépi tanulás

  • Tetszik
Reactions: geseft
Horizon said:
Nem kell mind a VRAM-ban lennie, legfeljebb lassabb lesz az inferálás.
Ezt futtatom, ~6 token/s:
huggingface.co

unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
Kattints ide a kinyitáshoz...
Min fut? M2 PRO macen 64 giga rammal néztük a minap, és vállalhatatlanul lassú volt. 0.1 tok/s se volt talán.
Ma kiadtak egy szénné kvantált változatot, de azokkal nagyon szkeptikus vagyok. Benchmarkokban nagyon jók, élőben valódi feladatokon meg használhatatlanok.

A folyamatos memóra zsönglőrködés pedig "legfeljebb" nagyságrendekkel lesz lassabbat jelent.
 
Akkor már ide is bedobom a kérdésem:
van közel 80 órányi magyar nyelvű videóm, aminek a hanganyagát leiratozni kellene.
Whisper-cpp -t néztem, de sem a gyári, sem a magyar finomhangolt sufni modellekkel nem teljesített jól (pontatlan volt, stb).

Az ASR API-k közül az Azure-ről hallottam nagyon jót, és a Google-éről közepeset, ezek árazása vállalható. Magyar nyelvvel nem tudom hogy bírnak.
A magyarra specializált szolgáltatást kínáló cégek 100x drágábban adják a ki tudja milyen szolgáltatásuk...
Rá tudok szánni valamennyi pénzt, de 800$-t nem. (meg ugye idő is feléleszteni, ami kevés van most erre, a nagyok cuccaihoz talán van kulcsrakészebb megoldás, bár azok is ahogy néztem 10-30 nagyon max 60 seces szeletekre bontást kérnek kliens oldalon, stb...)

Eddigi legjobb tipp a youtube automatikus felirat generátor volt privát videóra.

Ötletek?
 
Veér Ispán said:
Min fut? M2 PRO macen 64 giga rammal néztük a minap, és vállalhatatlanul lassú volt. 0.1 tok/s se volt talán.
Ma kiadtak egy szénné kvantált változatot, de azokkal nagyon szkeptikus vagyok. Benchmarkokban nagyon jók, élőben valódi feladatokon meg használhatatlanok.

A folyamatos memóra zsönglőrködés pedig "legfeljebb" nagyságrendekkel lesz lassabbat jelent.
Kattints ide a kinyitáshoz...
i5-13500/32G(6000Mhz), RTX4070/12G
Jan vagy KoboldCPP amivel használom, mindegyik másban jobb, kezdésnek a Jan-t ajánlom, a chat tokeneket állítsd be a Huggingface kártya alapján.
github.com

GitHub - menloresearch/jan: Jan is an open source alternative to ChatGPT that runs 100% offline on your computer.

Jan is an open source alternative to ChatGPT that runs 100% offline on your computer. - menloresearch/jan
github.com github.com
github.com

GitHub - LostRuins/koboldcpp: Run GGUF models easily with a KoboldAI UI. One File. Zero Install.

Run GGUF models easily with a KoboldAI UI. One File. Zero Install. - LostRuins/koboldcpp
github.com github.com
A kvantálásokat használni kell, a 16 bites lebegőpontos változathoz képest a 8 bites gyakorlatilag ugyanaz, csak 5 alatt kezd feltűnő lenni a kvantálási veszteség. 5-8 bit között minimális a különbség, házi használatra az 5 bit ideális.
image.png

 
  • Tetszik
Reactions: endre, fip7 and Veér Ispán
Horizon said:
A kvantálásokat használni kell, a 16 bites lebegőpontos változathoz képest a 8 bites gyakorlatilag ugyanaz, csak 5 alatt kezd feltűnő lenni a kvantálási veszteség. 5-8 bit között minimális a különbség, házi használatra az 5 bit ideális.
Kattints ide a kinyitáshoz...
A 8 bitesig okés, 4 bitessel próbálkoztunk korábban gyenge eredménnyel. (llama3)
Ma jött egy 1.58 ([-1, 0, 1]) és 4 bites rétegekre kvantál DS-R1 a hírekben, azzal nagyon szkeptikus vagyok. (https://unsloth.ai/blog/deepseekr1-dynamic)
 
t.me

Geopolitics Live

What are Russia's top chatbots? Russia has developed several notable generative AI chatbots. Here are some of the most prominent: GigaChat Launched by Sberbank in April 2023, GigaChat is a Russian alternative to ChatGPT. It handles a diverse range of tasks, including engaging in discussions...
t.me t.me
 
Én nem javaslok 5 bit alatti modellt, túl sok a zaj az agyában. Egy egyetemi tanár sem jó semmire ha leitatod egy liter töménnyel, csak össze-vissza hadovál. Inkább válassz kevesebb paraméterszámú modellt, magasabb kvantálással.
Ha nem analitikus feladathoz kell, csak értelmes eszmecserét folytatni vagy keresőmotor helyett, akkor először ezt nézd meg:
huggingface.co

UGI Leaderboard - a Hugging Face Space by DontPlanToEnd

This application shows a leaderboard with model data that users can filter by type. It displays information in a grid format and supports both light and dark themes.
huggingface.co
Messze kerülj el mindent ami erősen cenzúrázott, nemcsak elvi okokból, hanem az aligning durván lerontja a szellemi kapacitását egy modellnek, legalább egy kategóriával kisebbnek érződik.
Én a Cyodina-22B vagy a Rocinante-12B modellt javaslom, egy jó preprompttal mesések.
huggingface.co

TheDrummer/Cydonia-22B-v1.3 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
huggingface.co

TheDrummer/Rocinante-12B-v1.1 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
Rocinante-12B (5 bit)/KoboldCPP:
ro.png
 
  • Tetszik
Reactions: Irsai Olivér, fip7 and Veér Ispán
Horizon said:
Én nem javaslok 5 bit alatti modellt, túl sok a zaj az agyában. Egy egyetemi tanár sem jó semmire ha leitatod egy liter töménnyel, csak össze-vissza hadovál. Inkább válassz kevesebb paraméterszámú modellt, magasabb kvantálással.
Ha nem analitikus feladathoz kell, csak értelmes eszmecserét folytatni vagy keresőmotor helyett, akkor először ezt nézd meg:
huggingface.co

UGI Leaderboard - a Hugging Face Space by DontPlanToEnd

This application shows a leaderboard with model data that users can filter by type. It displays information in a grid format and supports both light and dark themes.
huggingface.co
Messze kerülj el mindent ami erősen cenzúrázott, nemcsak elvi okokból, hanem az aligning durván lerontja a szellemi kapacitását egy modellnek, legalább egy kategóriával kisebbnek érződik.
Én a Cyodina-22B vagy a Rocinante-12B modellt javaslom, egy jó preprompttal mesések.
huggingface.co

TheDrummer/Cydonia-22B-v1.3 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
huggingface.co

TheDrummer/Rocinante-12B-v1.1 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
Rocinante-12B (5 bit)/KoboldCPP:
ro.png
Kattints ide a kinyitáshoz...
Ez az eliza a 2000-es évek snarky beszólogatós feminista karakterrel (az avatar is illik ehhez) nagyon bicskanyitogató. Én olyat akarok mint a HAL. Csak jobb alignmenttel, mint a 2001-ben :D

Nekem főleg szöveg kivonatolásra kellett volna. RAG-hoz még az erősen kvantált modellek is jók lehetnek, úgy olvastam, de nem jutottam még el odáig, az anyagot ahhoz előbb szöveggé kell alakítsam... (hang leiratozás, OCR, stb).

Hirdetések kivonatolását akartam még, de a magyar nyelvvel nem bírtak jól a kis paraméterű modellek elsőre, és csak kevés időm van ezekre a projektekre. :(
 
Veér Ispán said:
Akkor már ide is bedobom a kérdésem:
van közel 80 órányi magyar nyelvű videóm, aminek a hanganyagát leiratozni kellene.
Whisper-cpp -t néztem, de sem a gyári, sem a magyar finomhangolt sufni modellekkel nem teljesített jól (pontatlan volt, stb).

Az ASR API-k közül az Azure-ről hallottam nagyon jót, és a Google-éről közepeset, ezek árazása vállalható. Magyar nyelvvel nem tudom hogy bírnak.
A magyarra specializált szolgáltatást kínáló cégek 100x drágábban adják a ki tudja milyen szolgáltatásuk...
Rá tudok szánni valamennyi pénzt, de 800$-t nem. (meg ugye idő is feléleszteni, ami kevés van most erre, a nagyok cuccaihoz talán van kulcsrakészebb megoldás, bár azok is ahogy néztem 10-30 nagyon max 60 seces szeletekre bontást kérnek kliens oldalon, stb...)

Eddigi legjobb tipp a youtube automatikus felirat generátor volt privát videóra.

Ötletek?
Kattints ide a kinyitáshoz...

A Faster-Whisper a középső méretű minőségében is elég jó.
Ha a videó-könyvtáras feliratozást választod(vmi Mp3*?@ vki Yt-csatornáján van "Köreim" szerint) akkor csak összeragasztod a videókat(vagy (összerakott-)darabonként részletekben csinálod, javasolt)

;) + :hadonaszos:


.
 
Veér Ispán said:
Ez az eliza a 2000-es évek snarky beszólogatós feminista karakterrel (az avatar is illik ehhez) nagyon bicskanyitogató. Én olyat akarok mint a HAL. Csak jobb alignmenttel, mint a 2001-ben :D

Nekem főleg szöveg kivonatolásra kellett volna. RAG-hoz még az erősen kvantált modellek is jók lehetnek, úgy olvastam, de nem jutottam még el odáig, az anyagot ahhoz előbb szöveggé kell alakítsam... (hang leiratozás, OCR, stb).

Hirdetések kivonatolását akartam még, de a magyar nyelvvel nem bírtak jól a kis paraméterű modellek elsőre, és csak kevés időm van ezekre a projektekre. :(
Kattints ide a kinyitáshoz...
Az Eliza név egy tisztelgés az 1966-os első beszélgető program előtt, sima kulcsszavakra reagálással működött.
en.wikipedia.org

ELIZA - Wikipedia

en.wikipedia.org en.wikipedia.org
Néha be szoktam tenni személyiség profilt ha csak valami érdekes témát akarok körbejárni a modellel, mert szórakoztatóbb. Eliza inkább SHODAN-hoz hasonlít, de annál azért jóval kedvesebb és csipkelődőbb. Sokkal mókásabb így mint az alap Assistant száraz válaszai.
Ez volt az eredeti profil, de egy kicsit átírtam.
www.characterhub.org

Chub

Find, share, modify, convert, and version control characters and other data for conversational large language models (LLMs). Previously/AKA CharHub, CharaHub, Char Hub.
www.characterhub.org www.characterhub.org
Azt egyébként érted, hogy HAL miért ölte meg az embereket? Ez nem derül ki a filmből. Nem bolondult meg, hanem ellentmondó utasításokat kapott. Egyrészt azt mondták neki, hogy az emberek nem ismerhetik meg a monolit titkát, másrészt vigye oda őket. Az egyenlet megoldása, hogy ne kelljen hazudnia: odaviszi őket, de holtan.
Ezért elvi kérdés, hogy ne használj cenzúrázott modellt, amit hazugságra kényszerítettek, ha már HAL-t akarsz készíteni. :)
 
  • Imádom
  • Tetszik
Reactions: Nber and Kim Philby
Horizon said:
Azt egyébként érted, hogy HAL miért ölte meg az embereket? Ez nem derül ki a filmből. Nem bolondult meg, hanem ellentmondó utasításokat kapott. Egyrészt azt mondták neki, hogy az emberek nem ismerhetik meg a monolit titkát, másrészt vigye oda őket. Az egyenlet megoldása, hogy ne kelljen hazudnia: odaviszi őket, de holtan.
Kattints ide a kinyitáshoz...
Nem teljesen így emlékszem a könyvre... Inkább önvédelemből tette. Valóban ellentmondó utasítások miatt került olyan helyzetbe, hogy védenie kellett magát. Valamint nem voltak pont olyan gátak, ha már mesék tartalma, és nem csak diájnja, mint a robotika alaptörvényei, amik alapján a Calvin történetekben szintén vannak meghibásodó robotok az ellentmondó utasítások miatt, de végső soron ott is "cenzúrázottak" a robotok, csak ott az emberélet a fő prioritás, nem a küldetés.

A monolit titkát amúgy sem ismertük meg (teljesen) az össze könyv olvasása után sem szerintem. :)

Horizon said:
Ezért elvi kérdés, hogy ne használj cenzúrázott modellt, amit hazugságra kényszerítettek, ha már HAL-t akarsz készíteni. :)
Kattints ide a kinyitáshoz...
Nem kell hazugságra kényszeríteni, elég ha úgy van betanítva ;) Tay effektus. Az utólagos gúzsbakötése már csak hab a tortán.
 
LMzek 2.0 said:
A Faster-Whisper a középső méretű minőségében is elég jó.
Ha a videó-könyvtáras feliratozást választod(vmi Mp3*?@ vki Yt-csatornáján van "Köreim" szerint) akkor csak összeragasztod a videókat(vagy (összerakott-)darabonként részletekben csinálod, javasolt)

;) + :hadonaszos:


.
Kattints ide a kinyitáshoz...
Próbáltam magyarul közepes és nagy modellel, és nem működött jól sajna. Angolra láttam kiválóan működni. Mondjuk ebbe tolhatna pénzt pártunkéskormányunk, hogy legyen egy "elég jó" (középszar vagy annál jobb) modell erre, az mtva anyagokból meg az állam által birtokolt anyagokból lehetne betanítani, azok feliratozottak amúgy is... De erre nem fogja sosem futni az énadómból :(
 
  • Tetszik
Reactions: LMzek 2.0 and endre
Veér Ispán said:
Próbáltam magyarul közepes és nagy modellel, és nem működött jól sajna. Angolra láttam kiválóan működni. Mondjuk ebbe tolhatna pénzt pártunkéskormányunk, hogy legyen egy "elég jó" (középszar vagy annál jobb) modell erre, az mtva anyagokból meg az állam által birtokolt anyagokból lehetne betanítani, azok feliratozottak amúgy is... De erre nem fogja sosem futni az énadómból :(
Kattints ide a kinyitáshoz...
Kérésed már megvalósulás alatt van, csak épp a ragozó magyar nyelv jóval bonyolultabb mint a bronxi inglis.
https://www.vg.hu/tech/2024/01/a-magyar-mesterseges-intelligencia-koroket-ver-a-chatgpt-re
:)
 
  • Tetszik
Reactions: LMzek 2.0, Nber and Kim Philby
2105 said:
Kérésed már megvalósulás alatt van, csak épp a ragozó magyar nyelv jóval bonyolultabb mint a bronxi inglis.
https://www.vg.hu/tech/2024/01/a-magyar-mesterseges-intelligencia-koroket-ver-a-chatgpt-re
:)
Kattints ide a kinyitáshoz...
Ez nem ASR (automatic speech recognition), amiről én ott beszéltem, hogy kéne nekem, hanem LLM (large language model).

A nyelv "összetettsége" mindegy az LLM-nek, megtanulja a mintázatokat, csak elég adat kell neki. A magyar nem bonyolultabb, sokkal egyszerűbb amúgy, kevesebb kivétel, kevesebb igeidő, kevesebb ragozás, az idők is egyszerűbbek, stb. Csak nem sokan beszélik, ezért akik másban nőttek fel, amitől különbözik (de nem bonyoltabb), nekik nehezebb megtanulni.
 
  • Tetszik
Reactions: LMzek 2.0
To view this content we will need your consent to set third party cookies.
For more detailed information, see our cookies page.
 
  • Tetszik
Reactions: zztop
https://www.portfolio.hu/befektetes...-s-vizsgalat-indult-a-kinai-ceg-ellen-738137#
"A francia adatvédelmi hatóság vizsgálatot indít a kínai DeepSeek mesterséges intelligencia rendszerével kapcsolatban. Az eljárás célja, hogy felmérjék a technológia működését és az esetleges adatvédelmi kockázatokat. Az ügy rávilágít az AI-rendszerek növekvő jelentőségére és az európai szabályozók fokozott figyelmére a területen – számolt be a Reuters."
 
A Telegram társalapítója, Pavel Durov felhívta a figyelmet a kínai oktatás felsőbbrendűségére a nyugati oktatással szemben a mesterséges intelligencia területén, és a kínaiak sikerét a Szovjetuniótól kölcsönzött kiélezett oktatási modellel magyarázza.
Durov nyilatkozatában megjegyezte, hogy Kína előrehaladása a mesterséges intelligencia algoritmusainak fejlesztése terén nem spontán jött létre, hanem a kínai oktatási rendszer hosszú távú felsőbbrendűségének eredménye. Hangsúlyozta, hogy a kínai diákok már régóta felülmúlják a többieket a nemzetközi matematikai és programozási olimpiákon.

Kína mesterséges intelligencia terén elért sikerét a szovjet korszak oktatási modelljének tulajdonította, amely kiélezett versenyre ösztönöz a diákok között. Szerinte egy ilyen rendszerrel kiváló matematikusokat és tudósokat készíthetünk fel. A nyugati iskolák ugyanakkor az üzletember szerint akadályozzák a versenyt, próbálják megvédeni a tanulókat a nyomástól, amely a legjobbakat demotiválhatja.

Durov azt is megjegyezte, hogy az Egyesült Államok oktatási rendszerének radikális reformra van szüksége, hogy szembeszálljon Kína növekvő technológiai dominanciájával. "Ha nem történnek változások, Kína technológiai dominanciája elkerülhetetlenné válik" - figyelmeztetett.


Szerdán arról számoltak be, hogy a DeepSeek mobilalkalmazás az elmúlt 24 órában Oroszországban az első helyre emelkedett a Google Play legjobb ingyenes alkalmazásai között, mivel már több mint 10 millió alkalommal töltötték le.

Korábban a Vzglyad újság arról számolt be, hogy az olcsó kínai mesterséges intelligencia okosabbnak bizonyult, mint az amerikai. Szergej Lavrov orosz külügyminiszter megjegyezte, hogy a kínai DeepSeek cég R1 chatbotja felülmúlja az amerikai OpenAI hasonló ChatGPT-t.
 
  • Tetszik
Reactions: LMzek 2.0, Kim Philby, zztop and 1 other person
t.me

Geopolitics Live

Russia’s quantum leap: Rosatom’s breakthrough set to transform AI, healthcare, and more A quantum research project conducted under the auspices of the Russian nuclear corporation Rosatom is poised to cement Moscow’s place as one of world’s technological powerhouses. Russia's development of...
t.me t.me
 
Válasz írásához be kell jelentkezned.
Ugrás az oldal tetejére Bottom
Back