質問設計がモデルより重要:Jev対Layaテスト
同じ430ケースのテストで、証拠を示すとJevは68〜92%、Layaは84〜88%の虚偽エージェント報告を見逃した。一方、直接的な質問に変えるとJevは約1%しか誤りを見逃さなかった。モデルよりも質問設計の影響が大きいことを示す。 Link
THE JEV GUIDE · CURATED EDITION
TypeSafe Jevに関する発表、解説、デモ、コミュニティ事例をトピック別に整理しています。各項目からXの元投稿を確認できます。
キュレーション選定 · 全件ではありません · 手動更新
Sponsors
これらの製品がこのディレクトリを支援しています。 あなたの製品も載せませんか?
同じ430ケースのテストで、証拠を示すとJevは68〜92%、Layaは84〜88%の虚偽エージェント報告を見逃した。一方、直接的な質問に変えるとJevは約1%しか誤りを見逃さなかった。モデルよりも質問設計の影響が大きいことを示す。 Link
Sebastian Raschkaによるテキスト分類技術の歴史を振り返る記事で、TypeSafe AIの意思決定モデルJevを紹介する必読の内容。 Link
本論文は、ヘイトスピーチモデレーションにおけるJevなどの構造化意思決定モデルの精度と効率を調査し、コンテンツモデレーションへの示唆を提供します。 Link
ユーザーは、Jev-as-Judgeが深刻性と寛容性のバイアスを持ち、高リスクのAI評価に使用するにはこれらを除去する必要があると指摘しています。
Jev型モデルをプロセス報酬学習(PRL)の判定者として使った人がいるか尋ね、より良い判定者がPRLの復活につながり、監督の増加が学習を向上させる可能性に言及。
One card in the feed, every sixteen, on every page of it. $50 a week, cancel any week.
James BriggsがTypeSafe AIのJevモデルを分析し、OpenJev(Von)や小型GLiNERモデルと比較。わずか74MパラメータのGLiNERがDoomで驚異的な性能を示し、Jevを上回ったと報告。
Jevを取り上げ、高速なAIと知性の両立を科学的な視点で解説。完全版エピソードへのリンク付き。 Link
この投稿は、arXivの論文「Labels Override Definitions in Jev-Style Typed Decision Models」(著者:Seyedarmin Azizi、Erfan Baghaei Potraghloo、Massoud Pedram)を共有しています。 Link
ユーザーがJevおよび類似モデルの様々なタスクにおける評価結果と評価指標の概要を共有しています。
研究者は、オープンウェイトのLayaとホステッドのJevという2つのSystem-1意思決定モデルを、7,283の基本ケースと6,640のロバスト性バリアントを用いて11のエージェント意思決定ポイントで評価した。Jevが優位に立った。
この研究はJevモデルをSemantic SQLに組み込み、LLMなどで文章の意味を判定しSQLの絞り込みやJOIN条件に活用することで、行ごとの判断による時間と費用の増加を解決する提案です。
Chinese-Jevに関する論文を紹介。TypeSafeのSystem Oneモデルを中国語タスクへ拡張し、自然言語処理やコンピュータビジョンなどを扱う。 Link
Star the project on GitHub to support continued updates and curation.