現在のOllamaのDockerイメージではROCm 6系が使われておりEvo-X2に載っているRyzen AI Max+ 395 (Strix Halo)との組み合わせが性能面で最適とは言えないらしいことは薄々知っていたが、「まあそこそこ動くし」と手軽さ重視でうちのEVO‑X2ではこれまでollama:…

EVO-X2を使ってローカルLLMまわりを中心に色々と遊んでいる昨今。 blue1st.hateblo.jp ここ数週間のうちにQwen3 Coderやgpt-ossがリリースされてローカルLLMを取り巻く状況は大きく変化している。 コーディング用途の視点でいうと、これまでの大きいモデルは…

EVO-X2でのローカルLLM運用の延長でコード生成を試してみてる。 blue1st.hateblo.jp Clineでの開発画面 コード生成では素のチャットと違って長いコンテキストのやり取りをすることになる上に表面的な操作の裏で何往復もするので、流石にEVO-X2の性能では「結…

ローカルLLMを運用しようと思って購入したEVO-X2。 届いてから半月ぐらい放置しちゃってたんだけど、ようやっと時間と気力とが揃って触れたので、Ollamaを動かすまでにやったことのメモと実際に運用してみた感触について書いてみようと思う。 193 mm x 185.8…