AI & ML - Mesterséges intelligencia és gépi tanulás
- Téma indítója perceptron
- Indítva
-
Ha nem vagy kibékülve az alapértelmezettnek beállított sötét sablonnal, akkor a korábbi ígéretnek megfelelően bármikor átválthatsz a korábbi világos színekkel dolgozó kinézetre.
Ehhez görgess a lap aljára és a baloldalon keresd a HTKA Dark feliratú gombot. Kattints rá, majd a megnyíló ablakban válaszd a HTKA Light lehetőséget. Választásod a böngésződ elmenti cookie-ba, így amikor legközelebb érkezel ezt a műveletsort nem kell megismételned. -
Az elmúlt időszak tapasztalatai alapján házirendet kapott a topic.
Ezen témában - a fórumon rendhagyó módon - az oldal üzemeltetője saját álláspontja, meggyőződése alapján nem enged bizonyos véleményeket, mivel meglátása szerint az káros a járványhelyzet enyhítését célzó törekvésekre.
Kérünk, hogy a vírus veszélyességét kétségbe vonó, oltásellenes véleményed más platformon fejtsd ki. Nálunk ennek nincs helye. Az ilyen hozzászólásokért 1 alkalommal figyelmeztetés jár, majd folytatása esetén a témáról letiltás. Arra is kérünk, hogy a fórum más témáiba ne vigyétek át, mert azért viszont már a fórum egészéről letiltás járhat hosszabb-rövidebb időre.
-
Az elmúlt időszak tapasztalatai alapján frissített házirendet kapott a topic.
--- VÁLTOZÁS A MODERÁLÁSBAN ---
A források, hírek preferáltak. Azoknak, akik veszik a fáradságot és összegyűjtik ezeket a főként harcokkal, a háború jelenlegi állásával és haditechnika szempontjából érdekes híreket, (mindegy milyen oldali) forrásokkal alátámasztják és bonuszként legalább a címet egy google fordítóba berakják, azoknak ismételten köszönjük az áldozatos munkáját és további kitartást kívánunk nekik!
Ami nem a topik témájába vág vagy akár csak erősebb hangnemben is kerül megfogalmazásra, az valamilyen formában szankcionálva lesz
Minden olyan hozzászólásért ami nem hír, vagy szorosan a konfliktushoz kapcsolódó vélemény / elemzés azért instant 3 nap topic letiltás jár. Aki pedig ezzel trükközne és folytatná másik topicban annak 2 hónap fórum ban a jussa.
Nem kell mind a VRAM-ban lennie, legfeljebb lassabb lesz az inferálás.
Ezt futtatom, 5 bites kvant, ~6 token/s:
unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
Min fut? M2 PRO macen 64 giga rammal néztük a minap, és vállalhatatlanul lassú volt. 0.1 tok/s se volt talán.Nem kell mind a VRAM-ban lennie, legfeljebb lassabb lesz az inferálás.
Ezt futtatom, ~6 token/s:
unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.huggingface.co
Ma kiadtak egy szénné kvantált változatot, de azokkal nagyon szkeptikus vagyok. Benchmarkokban nagyon jók, élőben valódi feladatokon meg használhatatlanok.
A folyamatos memóra zsönglőrködés pedig "legfeljebb" nagyságrendekkel lesz lassabbat jelent.
Akkor már ide is bedobom a kérdésem:
van közel 80 órányi magyar nyelvű videóm, aminek a hanganyagát leiratozni kellene.
Whisper-cpp -t néztem, de sem a gyári, sem a magyar finomhangolt sufni modellekkel nem teljesített jól (pontatlan volt, stb).
Az ASR API-k közül az Azure-ről hallottam nagyon jót, és a Google-éről közepeset, ezek árazása vállalható. Magyar nyelvvel nem tudom hogy bírnak.
A magyarra specializált szolgáltatást kínáló cégek 100x drágábban adják a ki tudja milyen szolgáltatásuk...
Rá tudok szánni valamennyi pénzt, de 800$-t nem. (meg ugye idő is feléleszteni, ami kevés van most erre, a nagyok cuccaihoz talán van kulcsrakészebb megoldás, bár azok is ahogy néztem 10-30 nagyon max 60 seces szeletekre bontást kérnek kliens oldalon, stb...)
Eddigi legjobb tipp a youtube automatikus felirat generátor volt privát videóra.
Ötletek?
van közel 80 órányi magyar nyelvű videóm, aminek a hanganyagát leiratozni kellene.
Whisper-cpp -t néztem, de sem a gyári, sem a magyar finomhangolt sufni modellekkel nem teljesített jól (pontatlan volt, stb).
Az ASR API-k közül az Azure-ről hallottam nagyon jót, és a Google-éről közepeset, ezek árazása vállalható. Magyar nyelvvel nem tudom hogy bírnak.
A magyarra specializált szolgáltatást kínáló cégek 100x drágábban adják a ki tudja milyen szolgáltatásuk...
Rá tudok szánni valamennyi pénzt, de 800$-t nem. (meg ugye idő is feléleszteni, ami kevés van most erre, a nagyok cuccaihoz talán van kulcsrakészebb megoldás, bár azok is ahogy néztem 10-30 nagyon max 60 seces szeletekre bontást kérnek kliens oldalon, stb...)
Eddigi legjobb tipp a youtube automatikus felirat generátor volt privát videóra.
Ötletek?
i5-13500/32G(6000Mhz), RTX4070/12G
Jan vagy KoboldCPP amivel használom, mindegyik másban jobb, kezdésnek a Jan-t ajánlom, a chat tokeneket állítsd be a Huggingface kártya alapján.
GitHub - janhq/jan: Jan is an open source alternative to ChatGPT that runs 100% offline on your computer
Jan is an open source alternative to ChatGPT that runs 100% offline on your computer - janhq/jan
github.com
GitHub - LostRuins/koboldcpp: Run GGUF models easily with a KoboldAI UI. One File. Zero Install.
Run GGUF models easily with a KoboldAI UI. One File. Zero Install. - LostRuins/koboldcpp
github.com
A 8 bitesig okés, 4 bitessel próbálkoztunk korábban gyenge eredménnyel. (llama3)
Ma jött egy 1.58 ([-1, 0, 1]) és 4 bites rétegekre kvantál DS-R1 a hírekben, azzal nagyon szkeptikus vagyok. (https://unsloth.ai/blog/deepseekr1-dynamic)
Geopolitics Live
What are Russia's top chatbots? Russia has developed several notable generative AI chatbots. Here are some of the most prominent: GigaChat Launched by Sberbank in April 2023, GigaChat is a Russian alternative to ChatGPT. It handles a diverse range of tasks, including engaging in discussions...
t.me
Én nem javaslok 5 bit alatti modellt, túl sok a zaj az agyában. Egy egyetemi tanár sem jó semmire ha leitatod egy liter töménnyel, csak össze-vissza hadovál. Inkább válassz kevesebb paraméterszámú modellt, magasabb kvantálással.
Ha nem analitikus feladathoz kell, csak értelmes eszmecserét folytatni vagy keresőmotor helyett, akkor először ezt nézd meg:
Messze kerülj el mindent ami erősen cenzúrázott, nemcsak elvi okokból, hanem az aligning durván lerontja a szellemi kapacitását egy modellnek, legalább egy kategóriával kisebbnek érződik.
Én a Cyodina-22B vagy a Rocinante-12B modellt javaslom, egy jó preprompttal mesések.
Rocinante-12B (5 bit)/KoboldCPP:
Ha nem analitikus feladathoz kell, csak értelmes eszmecserét folytatni vagy keresőmotor helyett, akkor először ezt nézd meg:
UGI Leaderboard - a Hugging Face Space by DontPlanToEnd
Discover amazing ML apps made by the community
huggingface.co
Én a Cyodina-22B vagy a Rocinante-12B modellt javaslom, egy jó preprompttal mesések.
TheDrummer/Cydonia-22B-v1.3 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
TheDrummer/Rocinante-12B-v1.1 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
Ez az eliza a 2000-es évek snarky beszólogatós feminista karakterrel (az avatar is illik ehhez) nagyon bicskanyitogató. Én olyat akarok mint a HAL. Csak jobb alignmenttel, mint a 2001-benÉn nem javaslok 5 bit alatti modellt, túl sok a zaj az agyában. Egy egyetemi tanár sem jó semmire ha leitatod egy liter töménnyel, csak össze-vissza hadovál. Inkább válassz kevesebb paraméterszámú modellt, magasabb kvantálással.
Ha nem analitikus feladathoz kell, csak értelmes eszmecserét folytatni vagy keresőmotor helyett, akkor először ezt nézd meg:
Messze kerülj el mindent ami erősen cenzúrázott, nemcsak elvi okokból, hanem az aligning durván lerontja a szellemi kapacitását egy modellnek, legalább egy kategóriával kisebbnek érződik.UGI Leaderboard - a Hugging Face Space by DontPlanToEnd
Discover amazing ML apps made by the communityhuggingface.co
Én a Cyodina-22B vagy a Rocinante-12B modellt javaslom, egy jó preprompttal mesések.
TheDrummer/Cydonia-22B-v1.3 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.huggingface.coRocinante-12B (5 bit)/KoboldCPP:TheDrummer/Rocinante-12B-v1.1 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.huggingface.co
Nekem főleg szöveg kivonatolásra kellett volna. RAG-hoz még az erősen kvantált modellek is jók lehetnek, úgy olvastam, de nem jutottam még el odáig, az anyagot ahhoz előbb szöveggé kell alakítsam... (hang leiratozás, OCR, stb).
Hirdetések kivonatolását akartam még, de a magyar nyelvvel nem bírtak jól a kis paraméterű modellek elsőre, és csak kevés időm van ezekre a projektekre.
A Faster-Whisper a középső méretű minőségében is elég jó.
Ha a videó-könyvtáras feliratozást választod(vmi Mp3*?@ vki Yt-csatornáján van "Köreim" szerint) akkor csak összeragasztod a videókat(vagy (összerakott-)darabonként részletekben csinálod, javasolt)
+ 
.
Az Eliza név egy tisztelgés az 1966-os első beszélgető program előtt, sima kulcsszavakra reagálással működött.Ez az eliza a 2000-es évek snarky beszólogatós feminista karakterrel (az avatar is illik ehhez) nagyon bicskanyitogató. Én olyat akarok mint a HAL. Csak jobb alignmenttel, mint a 2001-ben
Nekem főleg szöveg kivonatolásra kellett volna. RAG-hoz még az erősen kvantált modellek is jók lehetnek, úgy olvastam, de nem jutottam még el odáig, az anyagot ahhoz előbb szöveggé kell alakítsam... (hang leiratozás, OCR, stb).
Hirdetések kivonatolását akartam még, de a magyar nyelvvel nem bírtak jól a kis paraméterű modellek elsőre, és csak kevés időm van ezekre a projektekre.
ELIZA - Wikipedia
Ez volt az eredeti profil, de egy kicsit átírtam.
Chub
Find, share, modify, convert, and version control characters and other data for conversational large language models (LLMs). Previously/AKA CharHub, CharaHub, Char Hub.
Ezért elvi kérdés, hogy ne használj cenzúrázott modellt, amit hazugságra kényszerítettek, ha már HAL-t akarsz készíteni.
