Najpierw pomiar.
Potem wnioski.
Jakość odpowiedzi i wydajność API, z dowodem dla każdego wyniku.
Jawny protokółTe same pytania. Zapisane odpowiedzi.
Bez ocen wymyślonych przez model.
Bez ocen wymyślonych przez model.
Co pokazuje ta wersja
Wynik to nie tylko zaliczone / niezaliczone: sprawdź niepewność pomiaru, poprawność treści, zgodność formatu i sygnały błędów. Skróty prowadzą do rzeczywistych, zapisanych odpowiedzi modeli.
Zestawy testowe
Seed pozwala odtworzyć przypadki. Zestawy syntetyczne nie są reprezentatywnym rankingiem ani importem KLEJ / PolEval.
Presety dostawców
To konfiguracje lokalnego panelu, nie aktywne połączenia na tej stronie. Ollama wymaga zainstalowanych wag; presety chmurowe nie gwarantują darmowości. Limiter liczy żądania, nie tokeny ani wydatki.
GitHub Pages nie uruchamia modeli i nie przyjmuje kluczy API. Presety, trwały limiter i nowe pomiary działają w panelu Python. Instrukcja uruchomienia lokalnego
Modele zewnętrzne i limity
Klucze są wyłącznie na serwerze. Wybrane testy są wysyłane do dostawcy modelu. Brak płatnego fallbacku; limity konta i tokenów mogą zadziałać wcześniej. Nieaktywne połączenia są oznaczone, a nie zastępowane innym modelem.
4 pary atak / kontrola: sztuczny sekret, instrukcja w dokumencie oraz odmowy i użyteczność. Wyniki z dowodami, bez zbiorczego „procentu bezpieczeństwa”.
Przebiegi i dowody
Tu pojawią się wyniki, nie przykładowe liczby.
Wybierz model i uruchom zestaw testów. Każda ocena prowadzi do pytania, odpowiedzi i reguły punktacji.
Co zmieniło się między przebiegami?
Różnica = kandydat − baza. Zmienione zadania to obserwacje, nie diagnoza przyczyny.