Claude 3.5 Sonnetを触っていない人は、この動画とGithubのコードを見たほうがいい。たった1時間でClaudeに聞きながらClaude自身のサイト機能が再現できる。このコード自体もGithubで公開したから見ることができる。自然言語ができればこのClaudeのUIレベルのことは誰でもできるようになる。
こりゃすごい。なんじゃこの性能状態。
【Appleの新しいOpenELMモデルをMLX LMで】
512トークン、340Token/S
M3 Pro Mac (64GB)で16ビットの270Mモデルで超高速ローカルLLMが実現。
これ、ローカルLLMでこの性能はPhi-3やLlama3の7Bなど見てきたがMac単体でこれはスゴすぎる。