Analiza wydajności wybranych modeli językowych na komputerze Raspberry Pi

Thumbnail Image
Karol_Pawel_krzykowski_Piotr_Kopcial.pdf (2.69 MB)
Authors
Krzykowski, Karol
Kopciał, Piotr ORCID logo 0000-0002-6634-7264
Date
2025-10-01
Journal Title
Journal ISSN
Volume Title
Publisher
License
Creative Commons License
Creative Commons Attribution 3.0 Poland License
Abstract
W artykule omówiono możliwości implementacji wybranych dużych modeli językowych (LLM) na komputerze Raspberry Pi. W tym celu scharakteryzowano termin „duże modele językowe” (ang. Large Language Models - LLM) oraz omówiono możliwości komputera Raspberry Pi w wersji 5. Przedstawiono koncepcję, realizację oraz wyniki analizy wydajności modeli LLM. Przeanalizowano metryki dotyczące szybkości przetwarzania tokenów i czasu pracy modeli Llama 3.2, Llama 3.1, Phi 3.5 Mini oraz Gemma 2. Zbadano średnie zużycie mocy podczas korzystania z wybranych modeli oraz średnie zużycie mocy potrzebne do wygenerowania jednego tokena przez wybrane modele. Sformułowano wnioski końcowe.
Description
Keywords
Raspberry Pi  duże modele językowe  LLM  Llama  Phi 3.5 Mini  Gemma 2  Ollama  Open WebUI
Citation
Karol Paweł Krzykowski and Piotr Kopciał, "Analiza wydajności wybranych modeli językowych na komputerze Raspberry Pi," Zeszyty Naukowe WWSI, vol. 19, no. 32, pp. 7-37, 2025. [Online]. https://doi.org/10.26348/znwwsi.32.7
URI
https://open.icm.edu.pl/handle/123456789/26130
Related research dataset
Belongs to collection
Artykuły / Articles