Neural Network

Sissejuhatus

• TODO

Tööpõhimõte

TODO

Väited

• neuron - funktsioon, millel on väärtus
• weight
• base
• activation
• forward pass
• backpropagation
• quantization

LLM mudeli omadused

• number of parameters - nt 8b (billion - 10^9)
• token
• context lenght - mudelil on max context pikkuse piir (alla selle saab kasutada ja seda otsustab llm-klient, nt 128k)

Misc

Väited

• neural network ja selle juurde kuuluv tehnoloogia aastal 2026 on pigem empiiriline kui täppisteadus
• neural network on sarnane atmosfäärifüüsikaga - molekuli tasemel on asjad väga selged, aga tohutu mastaap toob kaasa uue kvaliteediga nähtusi - neid nähtusi käsitletakse järgmise abstraktsiooni taseme tööriistadega - fluid dynamics
• emergent capabilities - neural network nähtusele on iseloomulik, et teatud nö horisondi ületamisel ilmuvad uued võimed (ootamatult)

Kasulikud lisamaterjalid

• https://www.youtube.com/watch?v=bVQUSndDllU
• https://web.htk.tlu.ee/digitaru/tarkvara2/chapter/narvivorgud-ja-pytorch/
• https://courses.cs.ut.ee/2020/Tehisintellekti_algkursus/spring/Main/PARTIIIVorgud