TypeSafe AI, 인용 검사 도구에 추가
사용자가 인용 검사기에 @typesafeai를 추가하고 호평했으며 PaperTrellis에서 무료로 사용 가능. Jev와 의료 AI 태그 포함. Link
고위험 AI 평가에서 Jev-as-Judge의 편향 문제
사용자는 Jev-as-Judge가 심각성 및 관대함 편향을 가지며, 고위험 AI 평가에 유용하려면 이를 제거해야 한다고 지적합니다.
Have you noticed that Jev-as-Judge has severity and leniency bias that you have to remove to be useful for high stakes AI Evals?
· 0 likesOpen on X
More like this
JevBench: Jev 클래스 모델 최초 벤치마크 공개
JevBench는 Jev 클래스 모델을 위한 최초의 벤치마크입니다. TypeSafe AI의 원본 Jev가 75.3으로 1위, SemIf가 74.6으로 2위입니다. 전체 결과는 benchmarkheaven.com/jev-models에서 확인하세요. Link
Jev, 트롤리 문제 100회 연속 수행
게시물에 따르면 누군가 Jev에게 생명을 맡기고 트롤리 문제를 100회 연속 수행하게 했다. 첫 라운드에서 Jev는 99% 확률로 레버를 당겨 1명을 희생하고 5명을 구하는 선택을 했다.
