tomo.
tomo.
@tomo.chise.org
(AMD APU の最大搭載メモリーが 256GB になったらすごいと思うが、現状のメモリー価格高騰を考えると安くはないだろうな。なんやかんやで Mac のコスパが良くなってきたが、Mac では NVIDIA GPU 使えないのでやれることは限られる。爆盛り MacBook Pro を端末に Ryzen AI Max+ 395 のミニ PC に NVIDIA GPU 繋げるのが便利?)
December 10, 2025 at 9:57 AM
(AMD の ROCm もやり方が分かれば、今日では結構実用的だと分かったが、現状、やっぱ遅い。とはいえ、高速化も進展中なので今後に期待。40万円台で GPU メモリー 96GB 超確保できるのは現状 Ryzen AI Max+ 395 しかないがメモリーの転送速度は遅い。DGX Spark は苦労少なさそうだがメモリーは遅くて高い。メモリー爆盛り Mac はメモリーがちょっと速めで、現状、LLM だけなら実用的? あと、AMD APU は GPU メモリー割り当てを UEFI でしなきゃだけど、Mac は OS 内で制御できるのが便利?)
December 10, 2025 at 9:52 AM
(Qwen3-VL と戦ってるが、出力の座標系がうまく制御できないし、qwenvl html や qwenvl markdown じゃ座標出してくれない。ただ、割注を理解してくれるっぽいので割と最強かも知れない。でも、プロンプトの黒魔術の世界になってきてちょっといやん)
December 9, 2025 at 9:07 AM
(プロンプトを工夫してみたところ、漢文読んでくれた。が、読ませた画像にない句読点が出てくる。白文画像読ませたら標点本が出てくる仕様?それとも、標点本覚えてて、近い標点本(の一部)が出てくる?)
December 9, 2025 at 3:58 AM
(結局、ちゃんとした結果は出なかった。ちゃんと推論できてるんだろうか?)
December 9, 2025 at 3:14 AM
(とはいえ、Large モデルが動くのは良い)
December 8, 2025 at 2:30 PM
(結局、
community.frame.work/t/compiling-...
を参考にやったらうまくいったっぽい。ソースから入れるのはまたの機会に)
Compiling VLLM from source on Strix Halo
Finally put together a recipe for compiling VLLM from source on Strix Halo. Please note that while it worked yesterday, it may stop working tomorrow if they introduce any breaking changes. Please let ...
community.frame.work
December 8, 2025 at 12:09 PM
(というか、69並列でコンパイルしてるんだけど、これが原因?)
December 8, 2025 at 4:06 AM
(CPU のメモリーを 96GB にして、swap 64GB 追加して、メモリー使用量を見てると、今のところ、最大 82GB ぐらいか)
December 8, 2025 at 4:05 AM
(Out of memory が出てた。CPU のメモリー 64GB じゃ足りないのか)
December 8, 2025 at 2:58 AM
(しようがないので、半丁に切って実験したが、高解像度にすれば頁一気にできるかな?)
November 24, 2025 at 6:19 AM
(DeepSeek-OCR の『賢さ』は空間情報量
doi.org/10.3169/itej...
に関係してるような気がするので、空間情報量が最大化するようにボケ変換を行った時が一番認識精度が上がると予測できるわけだが、確かに読めるギリギリの解像度が良い気がする。ただ、娘氏用マイクラマシンの GPU は12GBしかメモリがないので Gundam モデルの image-size を 640→768 に上げたのが限界っぽくて、もっとメモリの大きい GPU で実験したいところ)
doi.org
November 24, 2025 at 3:13 AM
% pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url download.pytorch.org/whl/cu118
% wget github.com/vllm-project...
% pip install vllm-0.8.5+cu118-cp38-abi3-manylinux1_x86_64.whl
% pip install -r requirements.txt
% pip install flash-attn==2.7.3 --no-build-isolation
download.pytorch.org
November 23, 2025 at 3:11 AM