KIO 2337/25

Sygn. akt: KIO 2337/25 WYROK Warszawa, dnia 18 lipca 2025 r. Krajowa Izba Odwoławcza - w składzie: Przewodnicząca: Danuta Dziubińska Członkowie:Katarzyna Prowadzisz Małgorzata Rakowska Protokolant: Klaudia Kwadrans po rozpoznaniu na rozprawie odwołania wniesionego do Prezesa Krajowej Izby Odwoławczej w dniu 9 czerwca 2025 r. przez wykonawcę Transition Technologies PSC Spółka Akcyjna ​z siedzibą w Łodzi, ul. Wólczańska 180, 90-530 Łódź w postępowaniu prowadzonym przez Ministerstwo Spraw Zagranicznych, al. J.Ch. Szucha 23, 00-580 Warszawa Uczestnik po stronie zamawiającego - wykonawca Sygnity Spółka Akcyjna z siedzibą ​w Warszawie, ul. Postępu 17B, 02-676 Warszawa orzeka: 1.oddala odwołanie; 2.kosztami postępowania obciąża odwołującego i: 2.1.zalicza w poczet kosztów postępowania odwoławczego kwotę 15 000 zł 00 gr (piętnaście tysięcy złotych zero groszy) uiszczoną przez odwołującego tytułem wpisu od odwołania. Na orzeczenie - w terminie 14 dni od dnia jego doręczenia - przysługuje skarga za pośrednictwem Prezesa Krajowej Izby Odwoławczej do Sądu Okręgowego w Warszawie - Sądu Zamówień Publicznych. Przewodnicząca: ……………………………. Członkowie: ……………………………. ……………………………. Sygn. akt: KIO 2337/25 Uzasadnienie Ministerstwo Spraw Zagranicznych (dalej: „Zamawiający”) prowadzi w trybie przetargu nieograniczonego, na podstawie ustawy z 11 września 2019 r. - Prawo zamówień publicznych (dalej: „ustawa Pzp”), postępowanie o udzielenie zamówienia publicznego pn. „Usługi w zakresie procesu modyfikacji oprogramowania systemów konsularnych w Ministerstwie Spraw Zagranicznych i placówkach podległych Ministrowi Spraw Zagranicznych”, numer referencyjny: BPZZ.270.6.2024. Ogłoszenie o zamówieniu zostało opublikowane w Dzienniku Urzędowym Unii Europejskiej z 12 lutego 2024 r. pod numerem 87981-2024. 29 maja 2025 r. Zamawiający przekazał wykonawcom informację o unieważnieniu postępowania ze względu na niemożliwą do usunięcia wadę, która uniemożliwia zawarcie niepodlegającej unieważnieniu umowy o zamówienie publiczne. Wykonawca Transition Technologies PSC S.A. (dalej: „Odwołujący”)wniósł odwołanie wobec ww. czynności, w którym zarzucił naruszenie art. 255 pkt 6 ustawy Pzp poprzez unieważnienie postępowania ze względu na niemożliwą do usunięcia wadę, która uniemożliwia zawarcie niepodlegającej unieważnieniu umowy o zamówienie publiczne, w sytuacji, gdy taka wada nie wystąpiła. Z uwagi na powyższe zarzuty Odwołujący wniósł o uwzględnienie odwołania oraz nakazanie Zamawiającemu unieważnienia czynności unieważnienia postępowania i jego dalsze prowadzenie.  W uzasadnieniu postawionego zarzutu, Odwołujący podał, że Zamawiający dokonał unieważnienia postępowania na podstawie art. 255 pkt 6 ustawy Pzp z uwagi na niemożliwą do usunięcia wadę, która uniemożliwia zawarcie niepodlegającej unieważnieniu umowy o zamówienie publiczne. W ocenie Zamawiającego tą wadą jest przyjęcie jako jednego z kryterium oceny ofert jakościowej oceny próbek dostarczanych przez wykonawców z wykorzystaniem metody punktowej opartej na standardzie COSMIC (Common Software Measurement International Consortium) stosowanym w analizie funkcjonalnej oprogramowania i estymacji jego rozmiaru. Odwołujący wskazał, że oceny tych próbek przez Zamawiającego stały się przedmiotem odwołań wniesionych zarówno przez Odwołującego, jak i przez wykonawcę Sygnity S.A. (dalej: „Sygnity”). Odwołanie Sygnity zostało oddalone bez merytorycznego rozpoznania ze względu na brak interesu do jego wniesienia, natomiast odwołanie Odwołującego zostało częściowo uwzględnione. Krajowa Izba Odwoławcza powołała biegłego w zakresie standardów COSMIC. Odwołujący stwierdził, że z uzasadnienia decyzji o unieważnieniu postępowania, różnice w ocenie próbek między dwuosobowym zespołem eksperckim ze strony Zamawiającego a biegłym powołanym przez KIO stały się przesłanką do unieważnienia postępowania. Zamawiający wskazał, że skoro biegli nie popełnili błędów technicznych, ani nie występują nieścisłości w metodzie COSMIC, a doszli w kilku punktach do odmiennych wniosków to świadczy to o niedostosowaniu tej metody do wykorzystania jej przy ocenie ofert. Zdaniem Odwołującego nie sposób się zgodzić z takim stanowiskiem Zamawiającego. Zamawiający już kilka lat temu wdrożył w swoich systemach konsularnych metodę punktów funkcyjnych COSMIC, co zostało szczegółowo opisane w „Podręczniku wymiarowania metodą COSMIC. Systemy konsularne MSZ” opublikowanym 18 lipca 2017 r. Od tego czasu każda modyfikacja systemów konsularnych (np. Wiza-Konsul) jest wyceniana w oparciu o liczbę punkty funkcyjne COSMIC, zgodnie z procedurami zawartymi w podręczniku. Dodatkowo w 2022 roku w postępowaniu prowadzonym przez Zamawiającego pn. „Opracowanie studium wykonalności utworzenia i funkcjonowania Centralnego Organu Wizowego w Polsce” warunkiem udziału było dysponowanie przez wykonawcę ekspertem ds. technologii informatycznych (tj. architekt lub analityk systemów informatycznych), który posiada potwierdzoną certyfikatem umiejętność wymiarowania metodą punktów funkcyjnych COSMIC. Potwierdza to, że metoda ta nie tylko została zaimplementowana u Zamawiającego, ale jest używana od kilku lat. Potwierdza to także umowa zawarta z Sygnity w wyniku postępowania na Usługi w zakresie procesu modyfikacji oprogramowania systemów konsularnych w Ministerstwie Spraw Zagranicznych i placówkach podległych Ministrowi Spraw Zagranicznych (znak sprawy BDG.741.9/2019/26), czyli wcześniejszego postępowania na ten sam zakres co niniejsze postępowanie. W postępowaniu tym umowna jednostka miary szacowania rozmiaru funkcjonalności oprogramowania była taka jak w metodzie punktów funkcyjnych COSMIC.Zamawiający od kilku lat ma u siebie wdrożoną metodę punktów funkcyjnych COSMIC za pomocą której zlecał i płacił wykonawcom wynagrodzenie za realizowane prace. Metoda ta od kilku lat jest wykorzystywana przez Zamawiającego, który zleca i rozlicza za jej pomocą wykonywane prace, a w toku niniejszego postępowania twierdzi, że metoda ta jest nieodpowiednia do oceny ofert wykonawców. Metoda ta jest powszechnie stosowana przez licznych zamawiających. W Zakładzie Ubezpieczeń Społecznych metoda ta została wdrożona w latach 2011-2013 r. i tym samym stosowana od ponad 10 lat, w tym w największym projekcie w Europie, czyli KSI ZUS, ale także przy czynnościach związanych z portalem PUE ZUS. Obecnie ZUS rozlicza wszystkie projekty/umowy z Dostawcami z wykorzystaniem jednolitego standardu jakim jest wdrożony Standard Analityczno - Architektoniczny wraz z Podręcznikiem pomiaru złożoności oprogramowania metodą COSMIC. Stosowana metoda punktów funkcyjnych pozwala ZUS sprawnie zarządzać planowaniem, jak i realizacją projektów informatycznych realizowanych z wieloma dostawcami usług. Co ciekawe w ramach postępowań na realizację zadań przy portalu PUE ZUS w ramach jednego z kryteriów oceny ofert wykonawcy musieli zrealizować zadania analityczne zgodne ze standardem ZUS w oparciu o metodę punktów funkcyjnych COSMIC (a więc zadanie analogiczne do realizacji próbki w niniejszym postępowaniu). Zakład Ubezpieczeń Społecznych nie miał problemów, by przy wykorzystaniu tego kryterium rozstrzygnąć postępowania przetargowe (umowy ramowe i wykonawcze). Obok ZUS metodę punktów funkcyjnych stosują również m.in.: Agencja Restrukturyzacji i Modernizacji Rolnictwa - metoda punktów funkcyjnych IFPUG, ARiMR rozlicza za jej pomocą m.in. umowę na największy w UE system rozliczania dopłat dla rolników, czyli SIA ARiMR;Ministerstwo Funduszy i Polityki Regionalnej; Ministerstwo Rozwoju; Urząd Miasta st. Warszawy – metoda punktów funkcyjnych COSMIC. Najwięksi zamawiający publiczni w Polsce stosują od lat z powodzeniem tą metodę, także (jak ZUS) jako kryterium oceny ofert. Metodę tą od lat ma wdrożoną i stosowaną sam Zamawiający. Skoro więc metoda ta jest tak powszechnie i od lat stosowana, także jako kryterium oceny ofert, to nie można zgodzić się z twierdzeniem Zamawiającego, które legło u podstaw decyzji o unieważnieniu postępowania jakoby metoda ta była podatna na różnorodne sposoby interpretacji w praktyce i nie pozwalała na porównanie ofert w sposób jednoznaczny i zrozumiały. Twierdzenie o podatności metody punktów funkcyjnych na różne sposoby interpretacji zostało postawione przez Zamawiającego po wystąpieniu niezgodności między oceną jego ekspertów a oceną biegłego powołanego przez KIO. Fakt rozbieżności w ocenach dwóch ekspertów nie przesądza jeszcze o wadliwości metody czy o konieczności unieważnienia postępowania. Czynność unieważnienia postępowania jest najdalej idącą czynnością i winna być stosowana jedynie w przypadku niemożliwości zastosowania innego rozwiązania. W niniejszej sytuacji, tj. niezgodności w pewnej części oceny dwóch ekspertów, Zamawiający mógł zwrócić się np. do kolejnego eksperta lub wykorzystać, którąś z opinii prywatnych przedłożonych przez Odwołującego, by rozstrzygnąć pojawiające się różnice w ocenach. Następnie Odwołujący podał, że zgodnie z ugruntowanym stanowiskiem doktryny i orzecznictwa - wada naruszenie przepisów to naruszenie przez zamawiającego przepisów regulujących postępowanie (wyrok KIO z dnia 12.04.2022 r., KIO 881/22 czy M. Jaworska (red.), Prawo zamówień publicznych. Komentarz, wyd. 6, 2025). Zastosowanie kryterium oceny ofert, które spotyka się w pewnym zakresie z dwiema różnymi ocenami przez ekspertów, nie stanowi żadnego naruszenia przepisów ustawy. Nie sposób więc mówić tu o wystąpieniu wady w rozumieniu art. 255 pkt 6 ustawy Pzp. Zamawiający w pisemnej odpowiedzi na odwołanie wniósł o jego oddalenie. W uzasadnieniu swojego stanowiska Zamawiający podał m.in., że wada postępowania to naruszenie przepisów Prawa zamówień publicznych. Orzecznictwo Krajowej Izby Odwoławczej dostarcza przykładów uchybień, które można zakwalifikować jako wadę postępowania, wśród których wskazać należy opisanie kryterium oceny ofert w sposób niejasny lub taki, który wskazuje na jego braki (np. wyrok KIO z 27.04.2022 r., sygn. akt KIO 909/22, wyrok KIO z 21.03.2023 r., KIO 610/23). Zgodnie z art. 240 ustawy Pzp, Zamawiający opisuje kryteria oceny ofert w sposób jednoznaczny i zrozumiały, a dodatkowo kryteria oceny ofert i ich opis nie mogą pozostawiać zamawiającemu nieograniczonej swobody wyboru najkorzystniejszej oferty oraz umożliwiają weryfikację i porównanie poziomu oferowanego wykonania przedmiotu zamówienia na podstawie informacji przedstawianych w ofertach. Zamawiający nie ma obecnie możliwości wyeliminowania niejednoznaczności opisu metody badania próbek. Konsekwencją powyższej niejednoznaczności jest brak weryfikowalności dokonywanej oceny ofert - dla każdej strategii oceny prowadzącej do ustalenia punktacji można przedstawić kontr ocenę innego eksperta, opierającego się na innej, formalnie również poprawnej, strategii oceny. Brak weryfikowalności pozacenowego kryterium oceny ofert, nie może być uznany jako brak wady niewpływający na postępowanie w sposób umożliwiający zawarcie niepodlegającej unieważnieniu umowy (por. wyrok KIO z 16.05.2023, KIO 1188/23). Wykonawca Sygnity S.A. (dalej również: „Przystępujący”) zgłosił przystąpienie do postępowania odwoławczego po stronie Zamawiającego, stając się uczestnikiem postępowania. Przystępujący wniósł o oddalenie odwołania. Krajowa Izba Odwoławcza (w treści także: „KIO” lub „Izba”) stwierdziła, że odwołanie nie zawiera braków formalnych. Wpis w prawidłowej wysokości został wniesiony w ustawowym terminie. Nie została wypełniona żadna z przesłanek skutkujących odrzuceniem odwołania, o których mowa w art. 528 ustawy Pzp. Krajowa Izba Odwoławcza rozpoznając odwołanie, uwzględniając dokumentację postępowania oraz stanowiska zaprezentowane w sprawie, ustaliła i zważyła co następuje: Odwołujący legitymuje się uprawnieniem do skorzystania w przedmiotowym postępowaniu ze środków ochrony prawnej. Zostały bowiem wypełnione przesłanki, o których mowa w art. 505 ust. 1 ustawy Pzp. Następnie Izba ustaliła, co następuje: Zgodnie z pkt 4.1 Specyfikacji Warunków Zamówienia (dalej: „SW Z”):Przedmiotem zamówienia jest świadczenie przez Wykonawcę Usług sukcesywnego, w miarę zgłaszanych potrzeb, wykonywania modyfikacji oprogramowania Systemów konsularnych oraz serwisu i szkoleń, w Ministerstwie Spraw Zagranicznych i placówkach podległych Ministrowi Spraw Zagranicznych na zasadach opisanych w umowie oraz w załącznikach do umowy. W pkt 13 SW Z zawierającym opis kryteriów oceny ofert wraz z podaniem wag tych kryteriów i sposobu oceny ofert Zamawiający określił: 13.1Przy wyborze oferty zamawiający będzie się kierował następującymi kryteriami: Lp. Nazwa kryterium Waga (pkt) 1. Cena (C) 60 2. Kryteria techniczno - jakościowe próbki 40 SUMA: 100 (…) 13.3Przy ocenie ofert w kryterium „Kryteria techniczno-jakościowe próbki” (PJ) punkty zostaną przyznane w poniższy sposób: 1)Kryteria techniczno-jakościowe próbki – znaczenie 40 % (maksymalnie do 40 pkt) 2)Kryterium „Kryteria techniczno-jakościowe próbki” będzie rozpatrywane na podstawie oceny spełnienia wymagań opisanych w Załączniku nr 13 do SW Z oraz w Załączniku nr 14 do SW Z, na podstawie Próbki przedstawionej przez Wykonawcę. 3)Punkty w kryterium „Kryteria techniczno-jakościowe próbki” będą obliczane na podstawie wzoru: Cj PJ = x 40 65 gdzie: PJ - liczba punktów jakie otrzyma oferta badana za kryterium „Kryteria techniczno-jakościowe próbki"; Cj – liczba punktów przyznana Próbce ocenianej oferty; 65 – maksymalna liczba punktów, którą może uzyskać oferta w ramach oceny próbki. Uwaga: W przypadku niezłożenia Próbki wraz z ofertą, zgodnie z wymaganiami określonymi w pkt 8.1 i Załączniku nr 13, oferta zostanie odrzucona. Załączniki: Załącznik nr 13 do SWZ - Opis próbki modyfikacji i procedura jej oceny Załącznik nr 14 do SWZ - Próbka - kryteria oceny jakości 13.4Sumaryczna liczba punktów zostanie obliczona według wzoru: W = PC + PJ gdzie: W – łączna liczba punktów przyznanych w poszczególnych kryteriach, PC – liczba punktów przyznanych w kryterium „Cena”, PJ – liczba punktów przyznanych w kryterium „Kryteria techniczno-jakościowe próbki”, 13.5Wszystkie obliczenia dokonywane będą z dokładnością do dwóch miejsc po przecinku. (…) Załącznik nr 13 do SW Z zawiera opis próbki modyfikacji i procedurę jej oceny, w tym: 1. Cel próbki, 2. Produkty próbki, 3. Procedura przygotowania i przekazania Próbki, 4. Treść Wymagań Interesariuszy do próbki, 5. Badanie i Ocena próbki. Załącznik nr 14 do SW Z zawiera przedstawione w układzie tabelarycznym kryteria oceny jakości próbki, w tym: 1. Próbki - kryteria dopuszczenia, gdzie zostały wskazane cztery reguły, kryterium spełniania i kryterium dopuszczenia, 2. Próbki - kryteria oceny jakości, gdzie zostało wskazanych czterdzieści reguł, kryterium spełniania, przydzielenie punktacji, kryterium przyznania punktów. Ja wynika z informacji z otwarcia ofert z 15 marca 2024 r., w postępowaniu zostały złożone oferty przez wykonawców: Sygnity S.A. i Transition Technologies PSC S.A. Z informacji o wyborze najkorzystniejszej oferty z 6 maja 2024 r. wynika, że Zamawiający dokonał wyboru oferty złożonej przez Sygnity S.A. Wobec tej czynności każdy z ww. wykonawców wniósł odwołanie do KIO. W sprawie o sygn. akt KIO 1716/24 został powołany przez Izbę biegły, na którego opinię wskazuje Zamawiający w informacji o unieważnieniu postępowania. W informacji o unieważnieniu postępowania z 21 maja 2025 r. Zamawiający podał: Na podstawie art. 260 ust. 1 ustawy z dnia 11 września 2019 r. – Prawo zamówień publicznych (Dz.U. z 2024 r. poz. 1320), zwanej dalej „ustawą Pzp”, Zamawiający informuje o unieważnieniu postępowania pn. „Usługi w zakresie procesu modyfikacji oprogramowania systemów konsularnych w Ministerstwie Spraw Zagranicznych i placówkach podległych Ministrowi Spraw Zagranicznych”, znak: BPZZ.270.6.2024. Podstawa prawna: Art. 255 pkt 6 ustawy Pzp. Uzasadnienie faktyczne i prawne: Zamawiający unieważnia przedmiotowe postępowanie na podstawie art. 255 pkt 6 ustawy Pzp, z uwagi na niemożliwą do usunięcia wadę, która uniemożliwia zawarcie niepodlegającej unieważnieniu umowy o zamówienie publiczne. W dokumentacji zamówienia Zamawiający przewidział kryterium oceny ofert polegające na jakościowej ocenie próbek dostarczonych przez wykonawców, z wykorzystaniem metody punktowej opartej na standardzie COSMIC (Common Software Measurement International Consortium), stosowanym w analizie funkcjonalnej oprogramowania i estymacji jego rozmiaru. W toku postępowania, na skutek wniesienia odwołania przez obu uczestniczących w postepowaniu wykonawców do Krajowej Izby Odwoławczej, zakwestionowane zostały przedstawione przez Zamawiającego oceny próbek dokonane z udziałem specjalistów z zakresu inżynierii oprogramowania oraz szacowania funkcjonalności systemów IT, świadczących usługi na rzecz Zamawiającego w zakresie wyżej wymienionej metodyki. Usługi te świadczy firma AVILITY SP. Z O. O. w składzie G.S. oraz S.Z. na podstawie umowy nr BIT W SK 1922/2024 - BPZZ-15/202. W trakcie procedowania odwołania w Krajowej Izby Odwoławczej wyżej wymienieni eksperci zostali powołani jako biegli Zamawiającego. 16 maja 2024 r. obaj uczestniczący w postępowaniu wykonawcy, czyli Sygnity S.A. i Transition Technologies PSC S.A. złożyli odwołania m. in. na czynność oceny próbek, zarzucając zaniżenie punktów przyznanych swojej ofercie podczas oceny. Wykonawca Sygnity S.A. dodatkowo zarzucił Zamawiającemu zawyżoną ocenę próbki TT PSC S.A. Następnie obaj wykonawcy złożyli odpowiedzi na odwołania wykonawcy konkurencyjnego. Powoływali się w tych odpowiedziach na opinie i ekspertyzy naukowców i ekspertów w dziedzinie analizy systemów informatycznych i wymiarowania oprogramowania metodą COSMIC: •Sygnity S.A. do odpowiedzi na odwołanie dołączył opinię dr inż. Bogumiły Hnatkowskiej, prof. Wydziału Informatyki i Telekomunikacji Politechniki Wrocławskiej, •TT PSC S.A. do odpowiedzi na odwołanie dołączył opinie: odr hab. B.C., prof. Szkoły Głównej Handlowej w Warszawie, oJ.Ś., Międzynarodowego Doradcy organizacji COSMIC na obszar Polski, szkoleniowca i egzaminatora COSMIC, oA.K., magistra informatyki. Zamawiający szczegółowo odniósł się do zarzutów przedstawionych w odwołaniach oraz odpowiedziach na odwołania, z tym w opiniach ekspertów, przy czym w sumie: •uznał 9 zarzutów, •nie zgodził się z 62 zarzutami, W kolejnych pismach obaj wykonawcy odnieśli się do argumentacji Zamawiającego, w większości ją odrzucając i formułując kontrargumenty. Krajowa Izba Odwoławcza powołała biegłego S.P., który poddał analizie 16 punktów oceny próbki TT PSC, z czego: •uznał ocenę Zamawiającego za prawidłową w zakresie 7 punktów, •uznał ocenę Zamawiającego za nieprawidłową w zakresie 9 punktów. Zamawiający w odpowiedzi na opinię biegłego odniósł się do 9 punktów oceny, w których biegły uznał ocenę zamawiającego za nieprawidłową, uznając argumentację biegłego w 2 przypadkach i odrzucając ją w 7 przypadkach. To, że wykonawcy w swoich odwołaniach i pismach nie zgadzają się z oceną Zamawiającego obniżającą ich punktację, i starają się wykazać jej wadliwość, nie powinno dziwić. Zamawiający obalił znaczną większość argumentacji wykonawców. Tak samo nie dziwi zawartość opinii ekspertów, zleconych tym ekspertom przez wykonawców. W takiej opinii ekspert stara się wykazać to, co jest korzystne dla wykonawcy, który ekspertyzę u niego zamówił. Takie opinie ze swej istoty nie są obiektywne. Zamawiający z łatwością obalił większość argumentacji zamieszczonych w tych opiniach. Niepokojąca jest natomiast duża różnica w ocenie niezależnego biegłego S.P. w stosunku do oceny Zamawiającego. W niektórych przypadkach różnice są całkowicie podstawowe i zasadnicze, jak np. w niezgodności KJ nr 21: „Reguła (w tym warunek początkowy i końcowy) nie specyfikuje przepływu obiektów”. Zamawiający jako kryteria oceny tej reguły określił: „Wszystkie reguły spełniają warunek określony w regule. Np. Warunek początkowy: ‘…do przypadku użycia przekazywany jest obiekt klasy Płatnik…’, nie jest poprawnym warunkiem początkowym, natomiast poprawne jest ograniczenie ‘...przekazany obiekt jest w stanie Płatnik::Wyrejestrowany…’”: Zamawiający uznał to kryterium za niespełnione, ponieważ próbka wykonawcy TT PSC zawiera regułę R2 „Pobierane jest ostrzeżenie dla kraju …”. Zamawiający stwierdził, że sposób sformułowania reguły R2 przez wykonawcę dokładnie odpowiada przykładowi podanemu w kryterium jako niepoprawny i opiera się na tej samej – wykluczonej przez Zamawiającego – konstrukcji składniowej (orzeczenie w trybie biernym – „przekazywany jest”, „pobierane jest”). Zamawiający uznał, iż jest to wystarczająca przesłanka dla stwierdzenia niepoprawności próbki w tym zakresie i nie przyznał próbce punktu. Biegły powołany przez KIO natomiast przyjął odmienny punkt widzenia, wskazując, że reguła R2 w próbce wykonawcy „nie specyfikuje przepływu obiektu, tylko warunki, które opisują warunki dla przepływu obiektu”. Zaznaczył przy tym, że „sformułowanie, od którego zaczyna się reguła ‘Pobierane jest ostrzeżenie …’ jest frazą wprowadzającą, przywołującą kontekst reguły, a nie główną treść reguły”. Zignorował przy tym fakt, że ta fraza wprowadzająca jest wprost wskazana w KJ nr 21 jako niepoprawna. Podobne rozbieżności między opinią biegłego a stanowiskiem Zamawiającego można by przytoczyć dla pozostałych 6 przypadków, w których Zamawiający nie uznaje opinii biegłego. Niektóre zarzuty wykonawców do oceny próbek dotyczyły nie samego wymiarowania pełnego metodą COSMIC, ale także: •spełnienia wymagań interesariuszy do próbki, zawartych w rozdziale 4 Załącznika nr 13 do SWZ, •zawartości modelu w języku UML, który był podstawą tego wymiarowania. Zamawiający w rozdziale 5 Załącznika nr 13 do SWZ sformułował m. in. następujące zasady oceny próbek: „1.1 Próbka stanowiąca dokument składany na podstawie art. 106 ust. 1 ustawy na potwierdzenie spełniania przez oferowane usługi wymagań określonych przez Zamawiającego w Opisie Przedmiotu Zamówienia będzie badana zgodnie z wymaganiami określonym w pkt 1. Załącznika nr 14 do SWZ. 1.2 Niewykazanie spełnienia przez próbkę choćby jednego wymagania określonego w Załączniku nr 13 i w pkt 1. Załącznika nr 14 do SW Z spowoduje odrzucenie oferty na podstawie art.226 ust. 1 pkt 5 ustawy Prawo zamówień publicznych jako oferty, której treść jest niezgodna z warunkami zamówienia.” Te dwa zapisy są ze sobą w sprzeczności, ponieważ z punktu 1.2 wynika konieczność sprawdzenia spełnienia wymagań zarówno z załącznika nr 13, jak i z punktu 1. Załącznika nr 14 do SW Z, natomiast zgodnie z punktem 1.1, próbka ma być badana jedynie na zgodność z wymaganiami z punktu 1 Załącznika nr 14 do SWZ. Zamawiający w swojej ocenie próbek przyjął literalne brzmienie punktu 1.1 i nie oceniał próbek na zgodność z wymaganiami określonymi w Załączniku nr 13 do SW Z. To podejście wzbudziło jednak kontrowersje wobec wykazanej sprzeczności między punktami 1.1 i 1.2 rozdziału 5 Załącznika nr 13 do SW Z. Odmienne do Zamawiającego stanowisko w tym zakresie wyraził wykonawca Sygnity w piśmie z dnia 17 czerwca 2024: „Zamawiający miał obowiązek wziąć pod uwagę, iż próbka nie spełnia treści Wymagania 5 z Załącznika nr 13 do SW Z i w oparciu o treść pkt 5.2 tego Załącznika odrzucić ofertę TT PSC.” Zamawiający nie oceniał także poprawności modelu UML, który był podstawą wymiarowania, mimo że próbka TT PSC zawierała wiele błędów merytorycznych i notacyjnych UML, wskazanych w odwołaniu złożonym przez Sygnity. Zamawiający nie odniósł się do tych zarzutów odwołania Sygnity, ponieważ zgodność modeli UML ze specyfikacją UML i ich poprawność semantyczna nie były formalnie przedmiotem oceny. To podejście może jednak budzić kontrowersje, ponieważ model UML – choć nie jest wprost przedmiotem oceny – to jest podstawą wymiarowania, które już ocenie podlegało. Odmienne od Zamawiającego stanowisko w tym zakresie wyraził wykonawca Sygnity w piśmie z dnia 17 czerwca 2024: „AOM jest bezsprzecznie powiązany bezpośrednio z wymiarowaniem pełnym i powinien podlegać ocenie”. Powyższe argumenty są kolejnym uzasadniającym brak możliwości jednoznacznej i obiektywnej oceny próbek. Powołany przez KIO biegły Sylwester Pietrzak w podsumowaniu swojej oceny zwrócił uwagę na istotny aspekt: „Kryteria te [oceny zgodności z Podręcznikiem wymiarowania] nie określają, czym jest jednostkowy brak zgodności z Podręcznikiem, który skutkuje odjęciem 1,25 pkt z oceny. To oraz złożona struktura samej Próbki (przypadki użycia, kroki przypadków użycia, typy danych, sposób raportowania wyników wymiarowania), a także Podręcznika (wytyczne, rozszerzenia, reguły, dokumenty powiązane) pozwalają przyjąć różne strategie oceny, w zależności jak zdefiniowany zostanie ten jednostkowy brak zgodności. Przykładowo: •jednostkowy brak zgodności dotyczy naruszenia konkretnej reguły Podręcznika, a kolejne naruszenia tej samej reguły są traktowane jako ten sam brak zgodności Próbki z podręcznikiem, •kolejne naruszenie tej samej reguły jest traktowane jako kolejny brak zgodności Próbki z Podręcznikiem, •kolejne naruszenie tej samej reguły jest traktowane jako kolejny brak zgodności Próbki z Podręcznikiem, ale jeżeli dotyczy innego przypadku użycia, •jednostkowy brak zgodności dotyczy pojedynczego niewłaściwie policzonego lub niepoliczonego przesunięcia danych, bez względu na to z ilu reguł to wynika, •jednostkowy brak zgodności dotyczy niewłaściwie określonej liczby przesunięć danych określonego typu w ramach pojedynczego przypadku użycia, itd. itp. Każdy z tych opisów określa inną strategię oceny, która mogłaby dać inne rezultaty oceny tej samej Próbki, żadna z nich nie jest sprzeczna z opisem kryterium.” Zwraca na to uwagę także dr Beata Czarnacka-Chrobot w opinii opracowanej na zlecenie TT PSC. Zamawiający kwestionuje przyjęte kryterium oceny ofert jako niewystarczająco obiektywne i podatne na różnice interpretacyjne. W odpowiedzi na zarzuty, Zamawiający podjął decyzję o przeprowadzeniu pogłębionej weryfikacji sposobu zastosowania metodyki COSMIC w ocenach próbek. Każdy z biegłych dokonał odrębnej analizy przedstawionych próbek ofertowych, stosując przy tym tę samą ramę metodyczną COSMIC. Pomimo formalnej zgodności metodologicznej, uzyskane wyniki znacznie się różniły – zarówno w zakresie przypisanych wartości punktowych, jak i w interpretacji poszczególnych funkcjonalności analizowanych produktów. Rozbieżności te dotyczyły m.in.: •różnego podejścia do klasyfikacji komponentów funkcjonalnych; •odmiennych interpretacji zakresu i liczby procesów funkcjonalnych dla identycznych modułów próbek; •braku zgodności co do liczby punktów COSMIC przypisywanych poszczególnym funkcjom. Choć metodyka COSMIC jako system miar cechuje się określoną strukturą i zasadami stosowania, jego implementacja w niniejszym postępowaniu pokazała znaczną wrażliwość na subiektywne interpretacje ekspertów, nawet przy ich wysokim poziomie kompetencji i doświadczenia zawodowego. Wskazane różnice w ocenach biegłych nie wynikają z błędów technicznych ani nieścisłości w samej metodzie COSMIC, ale z jej podatności na różnorodne sposoby interpretacji w praktyce. Tymczasem istotą kryteriów oceny ofert zakładających ich mierzalność jest możliwość oceny ofert w sposób jednoznaczny i zrozumiały. Kryteria, które ma wyróżniać cecha transparentności, powinny być nie tylko znane wszystkim uczestnikom postępowania o udzielenie zamówienia publicznego, ale również w taki sam sposób powinno być rozumiane przez wszystkich uczestników postępowania. Ma to eliminować ryzyko związane z nierównym traktowaniem wykonawców. Konkludując, przyjęte kryterium oceny ofert nie gwarantuje powtarzalności wyników, a tym bardziej nie zapewnia porównywalności ocen wykonawców. Efektem tego jest brak możliwości jednoznacznego ustalenia, która oferta jest najkorzystniejsza w rozumieniu art. 239 ust. 1 oraz art. 240 ust. 1 ustawy Pzp. Zamawiający uznał, że w świetle tych ustaleń postępowanie obarczone jest nieusuwalną wadą – tj. przyjęciem wadliwego kryterium oceny ofert, które nie pozwala na dokonanie obiektywnego i transparentnego wyboru oferty. Po otwarciu ofert Zamawiający nie posiada możliwości wprowadzenia zmiany treści dokumentów zamówienia w sposób, który umożliwiłby usunięcie tej wady – zgodnie z art. 137 ust. 1 ustawy Pzp, zmiana kryteriów oceny ofert po terminie składania ofert jest niedopuszczalna. Wobec powyższego, działając na podstawie art. 255 pkt 6 ustawy Pzp, Zamawiający unieważnia niniejsze postępowanie. Izba zważyła, co następuje: Odwołanie podlega oddaleniu. W pierwszej kolejności zaznaczenia wymaga, że Izba orzeka w granicach zarzutów postawionych w odwołaniu. Przez zarzut rozumie się podstawę prawną oraz okoliczności faktyczne, które zdaniem wykonawcy korzystającego ze środka ochrony prawnej, wskazują, na naruszenie wskazanego w odwołaniu przepisu. W okolicznościach analizowanej sprawy Odwołujący kwestionuje w odwołaniu stanowisko Zamawiającego, który uznał, że przyjęte kryterium oceny ofert (sporządzenie próbki w oparciu o metodę punktów funkcyjnych) nie pozwala na porównanie ofert. W tym zakresie w odwołaniu Odwołujący podniósł, że −metoda punktów funkcyjnych jest powszechnie stosowana przez największych zamawiających w Polsce, zarówno przy zlecaniu i rozliczaniu prac w toku trwania umów, jak i jako kryterium oceny ofert; metodę stosuje od lat sam Zamawiający; nie sposób więc uznać, że metoda ta nie pozwala na ocenę ofert; −fakt rozbieżności zdań między dwoma biegłymi i to w pewnym zakresie nie przesądza jeszcze o wadliwości całego postępowania, a rozbieżność ta mogła być rozstrzygnięta w inny sposób (m.in. opinia innego biegłego, wykorzystanie opinii prywatnych); −przywołana przez Zamawiającego okoliczność nie stanowi naruszenia przepisów regulujących postępowanie, a tym samym - zgodnie z dominującym stanowiskiem doktryny i KIO - nie może być traktowana jako wada postępowania w rozumieniu art. 255 pkt 6 ustawy Pzp. W ocenie Izby, w zakresie pierwszych dwóch z ww. argumentacji Odwołującego, należy podzielić stanowisko Zamawiającego, który w odpowiedzi na odwołanie podał, nie kwestionuje przydatności metody punktów funkcyjnych COSMIC dla rozliczania prac wykonawców ani też nie kwestionuje możliwości stosowania w tym celu obowiązującego u Zamawiającego od szeregu lat Podręcznika wymiarowania. Problem dotyczy natomiast sformułowanej w SW Z metody oceny próbek, tj. przyjętych przez Zamawiającego kryteriów oceny zgodności próbek z Podręcznikiem oraz zasad przyznawania oraz odejmowania punktów z oceny, które zostały opisane w sposób, który pozwala na różnorodne sposoby interpretacji. W analizowanej sprawie nie jest sporne, że jak zostało wskazane w Informacji o unieważnieniu postepowania, opisane w SW Z kryteria oceny zgodności z Podręcznikiem wymiarowania nie określają, czym jest jednostkowy brak zgodności z Podręcznikiem, który skutkuje odjęciem 1,25 pkt z oceny, co wraz ze złożoną strukturą samej Próbki (przypadki użycia, kroki przypadków użycia, typy danych, sposób raportowania wyników wymiarowania), a także Podręcznika (wytyczne, rozszerzenia, reguły, dokumenty powiązane) pozwala przyjąć różne strategie oceny, w zależności jak zdefiniowany zostanie ten jednostkowy brak zgodności. Nie jest też sporne, że może to być rozumiane m.in. w ten sposób, że: 1)jednostkowy brak zgodności dotyczy naruszenia konkretnej reguły Podręcznika, a kolejne naruszenia tej samej reguły są traktowane jako ten sam brak zgodności Próbki z podręcznikiem, 2)kolejne naruszenie tej samej reguły jest traktowane jako kolejny brak zgodności Próbki z Podręcznikiem, 3)kolejne naruszenie tej samej reguły jest traktowane jako kolejny brak zgodności Próbki z Podręcznikiem, ale jeżeli dotyczy innego przypadku użycia, 4)jednostkowy brak zgodności dotyczy pojedynczego niewłaściwie policzonego lub niepoliczonego przesunięcia danych, bez względu na to z ilu reguł to wynika, 5)jednostkowy brak zgodności dotyczy niewłaściwie określonej liczby przesunięć danych określonego typu w ramach pojedynczego przypadku użycia, itd. itp. Odwołujący nie zakwestionował przedstawionego przez Zmawiającego stanowiska, że każdy z tych wariantów określa inną strategię oceny, która mogłaby dać inne rezultaty oceny tej samej próbki, przy czym żadna z nich nie jest sprzeczna z opisem kryterium. Na rozprawie Odwołujący podał natomiast, że jego zdaniem powinien zostać przyjęty przez Zamawiającego jeden z ww. sposobów rozumienia jednostkowego braku zgodności i według niego powinna zostać przeprowadzona przez niego ocena każdej ze złożonych próbek. Takie stanowisko w ocenie Izby oznacza to, że w analizowanej sprawie, opis sposobu oceny ofert w kryterium jakościowym, którego waga wynosi 40%, miałby być dopiero określony przez Zamawiającego po złożeniu ofert przez wykonawców, co przeczy m.in. zasadzie, o której mowa w art. 16 pkt 2 ustawy Pzp, zgodnie z którym Zamawiający jest zobowiązany przygotować i przeprowadzić postępowanie o udzielenie zamówienia w sposób przejrzysty. Oferty powinny być oceniane zgodnie z postanowieniami SW Z obowiązującymi na dzień składania ofert, które powinny być zgodne z przepisem art. 240 ustawy Pzp, a nie z zasadami ustalonymi dopiero po otrzymaniu ofert. Tym bardziej, że jak wyżej wskazano, w zależności od dokonanego na tym etapie wyboru strategii, mogłyby wystąpić inne wyniki oceny tej samej próbki. Zgodzić się należy z Zamawiającym, że zaistniałej wady w opisie oceny kryterium jakościowego nie byłyby w stanie zmienić sugerowane przez Odwołującego działania takie jak skorzystanie z opinii innego eksperta (kolejnej opinii jaką należałby pozyskać) lub wykorzystanie opinii prywatnych złożonych w toku postępowania o zamówienie. Opinie te bowiem zawsze będą oceniane pod kątem zgodności z metodą oceny próbek opisaną w SW Z a ta, jak okazało się w praktyce i jak wykazał to biegły powołany przez Izbę (w poprzedniej sprawie odwoławczej, przywołanej przez Zamawiającego), okazała się niejednoznaczna i, w zależności od przyjętej przez oceniającego strategii oceny, prowadzi do różnych, formalnie poprawnych, rezultatów. W analizowanej sprawie nie ma sporu co do tego, że złożone w toku postępowania o zamówienie opinie ekspertów w dziedzinie metodyki COSMIC, wskazują, że w różny sposób dokonali oni oceny tej samej próbki. Powyższe wskazuje, że w sprawie zostało wykazane, że SW Z, w zakresie opisu kryterium jakościowego, zawiera istotne braki, które uniemożliwiają dokonanie oceny ofert w tym kryterium w sposób, który nie naruszałby podstawowych zasad udzielania zamówień publicznych. Brakujące elementy w opisie oceny ofert w ramach jakościowego kryterium oceny ofert, zawartym w SWZ, nie mogą być na tym etapie uzupełnione. Zgodnie z art. 255 pkt 6 ustawy Pzp: Zamawiający unieważnia postępowanie o udzielenie zamówienia, jeżeli postępowanie obarczone jest niemożliwą do usunięcia wadą uniemożliwiającą zawarcie niepodlegającej unieważnieniu umowy w sprawie zamówienia publicznego Dla zastosowania tej przesłanki, konieczne jest zatem wystąpienie wady postępowania, która jest nieusuwalna i która uniemożliwia zawarcie niepodlegającej unieważnieniu umowy. Jak wyżej zostało stwierdzone, w zakresie opisu oceny ofert w kryterium jakościowym, SW Z zawiera istotne wady, niemożliwe do usunięcia na tym etapie postępowania, które skutkują brakiem możliwości dokonania oceny ofert bez naruszenia zasad obowiązujących na gruncie zamówień publicznych. Odwołujący w odwołaniu nie wykazał, że powyższe wady nie są tego rodzaju, że uniemożliwiają zawarcie niepodlegającej unieważnieniu umowy. Nie wskazał na przepis art. 457 ust. 1 pkt 1 ustawy Pzp, czy braki w przedstawionej przez Zamawiającego Informacji o unieważnieniu postępowania. Odwołujący ograniczył się do wskazania w odwołaniu, że „wada naruszenie przepisów to naruszenie przez zamawiającego przepisów regulujących postępowanie” i sygnatury jednego z orzeczeń Izby oraz odesłania do jednego z komentarzy. Tymczasem, jak zauważył Zamawiający, orzecznictwo Krajowej Izby Odwoławczej dostarcza przykładów uchybień, które można zakwalifikować jako wadę postępowania, wśród których występuje m.in. opisanie kryterium oceny ofert w sposób niejasny lub taki, który wskazuje na jego braki (np. wyrok KIO z 27 kwietnia 2022 r., sygn. akt KIO 909/22, wyrok KIO z 21 marca 2023 r., KIO 610/23). Okoliczność, iż w tym aspekcie można mówić o istnieniu dwóch stanowisk co do wykładni art. 457 ust. 1 pkt 1 ustawy Pzp, tj. węższej odnoszącej się wyłącznie do zaniechania obowiązków publikacyjnych oraz szerszej, wskazującej na niezależne od siebie podstawy unieważnienia umowy, tj. 1) udzielenia zamówienia z naruszeniem przepisów ustawy Pzp, 2) udzielenie zamówienia bez wymaganego ogłoszenia, na co zwrócił uwagę m.in. Sąd Okręgowy w Warszawie w wyroku z 21 stycznia 2025 r. w sprawie sygn. akt XXIII Zs 161/24, w którym przedstawił swoją ocenę w rozpatrywanej sprawie z uwzględnieniem obydwu interpretacji, tym bardziej wymagała od Odwołującego postawienia w odwołaniu w odpowiedni sposób zarzutu oraz wykazania braku wypełnienia się przesłanki unieważniania postępowania wskazanej przez Zamawiającego. To jednak nie nastąpiło. Zgodnie z art. 555 ustawy Pzp Izba nie może orzekać co do zarzutów, które nie były zawarte w odwołaniu. Stosownie do art. 552 ust. 1 Pzp 1. Wydając wyrok, Izba bierze za podstawę stan rzeczy ustalony w toku postępowania odwoławczego. Zgodnie z przepisem art. 554 ust. 1 pkt 1 ustawy Pzp, Izba uwzględnia odwołanie w całości lub w części, jeżeli stwierdzi naruszenie przepisów ustawy, które miało wpływ lub może mieć istotny wpływ na wynik postępowania o udzielenie zamówienia, konkursu lub systemu kwalifikowania wykonawców. W analizowanej sprawie nie zostało wykazane naruszenie przepisów ustawy, które miało wpływ na wynik postępowania o udzielenie zamówienia. W związku z tym odwołanie podlegało oddaleniu. Zgodnie z art. 557 ustawy Pzp, w wyroku oraz w postanowieniu kończącym postępowanie odwoławcze Izba rozstrzyga o kosztach postępowania odwoławczego. Biorąc powyższe pod uwagę, o kosztach postępowania odwoławczego orzeczono stosownie do wyniku postępowania na podstawie art. 557 i art. 575 ustawy Pzp oraz w oparciu o przepisy § 5 pkt 1 i 2 lit. a rozporządzenia Prezesa Rady Ministrów z dnia 30 grudnia 2020 r. w sprawie szczegółowych rodzajów kosztów postępowania odwoławczego, ich rozliczania oraz wysokości i sposobu pobierania wpisu od odwołania (Dz. U. z 2020 r. poz. 2437). Izba nie uwzględniła wniosku Zamawiającego o zasądzenie na jego rzecz kosztów zastępstwa prawnego z uwagi na brak złożenia przez pełnomocnika rachunku lub spisu kosztów. Mając powyższe na uwadze orzeczono jak w sentencji. Przewodnicząca:………….………………… Członkowie: ………….………………… ………….…………………