rodzaj: WYROK
data dokumentu: 2021-12-07
rok: 2021
data dokumentu: 2021-12-07
rok: 2021
sygnatury akt.:
KIO 3423/21
KIO 3423/21
po rozpoznaniu na rozprawie w dniu 3 grudnia 2021r., w Warszawie, odwołania wniesionego
do Prezesa Krajowej Izby Odwoławczej w dniu 22 listopada 2021r. przez wykonawców
Konsorcjum: Sages sp. z o.o. z siedzibą w Warszawie, Instytut Podstaw Informatyki
PAN z siedzibą w Warszawie oraz Talkie Sp. z o.o. z siedzibą w Gdańsku, w
postępowaniu prowadzonym przez Instytut Badań Edukacyjnych z siedzibą w Warszawie
przy udziale wykonawców Konsorcjum: Emplocity S.A. z siedzibą w Warszawie oraz
ERMLAB Sp. z o.o. z siedzibą w Olsztynie zgłaszających przystąpienie do postępowania
odwoławczego po stronie zamawiającego
do Prezesa Krajowej Izby Odwoławczej w dniu 22 listopada 2021r. przez wykonawców
Konsorcjum: Sages sp. z o.o. z siedzibą w Warszawie, Instytut Podstaw Informatyki
PAN z siedzibą w Warszawie oraz Talkie Sp. z o.o. z siedzibą w Gdańsku, w
postępowaniu prowadzonym przez Instytut Badań Edukacyjnych z siedzibą w Warszawie
przy udziale wykonawców Konsorcjum: Emplocity S.A. z siedzibą w Warszawie oraz
ERMLAB Sp. z o.o. z siedzibą w Olsztynie zgłaszających przystąpienie do postępowania
odwoławczego po stronie zamawiającego
orzeka:
1.
umarza postępowanie odwoławcze w zakresie zarzutu nr 3 odwołania dotyczącego
naruszenia art. 18 ust. 3 ustawy
– Prawo zamówień publicznych w zw. z art. 11 ust. 2
ustawy o zwalczaniu nieuczciwej konkurencji w związku z jego wycofaniem przez
Odwołującego;
2.
oddala odwołanie;
3.
kosztami postępowania odciąża Odwołującego i zalicza w poczet kosztów
postępowania kwotę 15 000 zł 00 gr (piętnaście tysięcy złotych zero groszy) uiszczoną
przez Odwołujących tytułem wpisu od odwołania.
Stosownie do art. 579 i 580 ust. 1 i 2 ustawy z dnia 11 września 2019 r. - Prawo
zamówień publicznych (Dz. U. z 2021 r., poz. 1129 ze zm.) na niniejszy wyrok - w terminie
14 dni od dnia jego doręczenia - przysługuje skarga za pośrednictwem Prezesa Krajowej
Izby Odwoławczej do Sądu Okręgowego w Warszawie.
Sygn. akt KIO 3423/21
Przewodniczący:……………………………………
UZASADNIENIE
Zamawiający - Instytut Badań Edukacyjnych w Warszawie prowadzi na podstawie
przepisów ustawy z dnia 11 września 2019r. – Prawo zamówień publicznych (Dz.U. z 2021r.,
poz. 1129 ze zm.; dalej: „Pzp”) postępowanie o udzielenie zamówienia publicznego w
zakresie wykonania narzędzia do automatycznego wspomagania doradztwa, tj. usługi
teleinformatycznej wspomagającej doradztwo zawodowe i wspomagające osoby w
planowaniu uczenia się przez całe życie za pomocą rozwiązań sztucznej inteligencji -
"Wirtualny asystent".
Ogłoszenie o zamówieniu zostało opublikowane w Dzienniku Urzędowym Unii
Europejskiej pod numerem 2021/S 174-
454136 w dniu 8 września 2021 r.
W dniu 22 listopada 2021r. wykonawcy wspólnie ubiegający się o udzielenie
zamówienia Konsorcjum: Sages Sp. z o.o. z siedzibą w Warszawie, Instytut Podstaw
Informatyki PAN z siedzibą w Warszawie oraz Talkie Sp. z o.o. z siedzibą w Gdańsku wnieśli
do Pr
ezesa Krajowej Izby Odwoławczej odwołanie, w którym zarzucili Zamawiającemu:
1.
naruszenie art. 226 ust. 1 pkt. 5 Pzp, poprzez dokonanie nieprawidłowej
czynności badania i oceny oferty wykonawców wspólnie ubiegających się o udzielenie
zamówienia Konsorcjum: Emplocity S.A. z siedzibą w Warszawie oraz Ermlab sp. z o.o. z
siedzibą w Olsztynie (dalej: „Przystępujący”) w zakresie spełniania warunków udziału w
postępowaniu, a w konsekwencji zaniechanie dokonania czynności wykluczenia
Przystępującego z postępowania i odrzucenia oferty złożonej przez tego wykonawcę,
pomimo, iż Przystępujący nie wykazał, że spełnia wskazane w SWZ warunki udziału w
postępowaniu w zakresie wymaganego doświadczenia oraz legitymowania się przez
personel
tego
wykonawcy
wyznaczony
do
reali
zacji zamówienia odpowiednimi
kwalifikacjami,
2.
naruszenie art. 239 ust. 1 Pzp, poprzez dokonanie nieprawidłowej czynności
badania i oceny oferty Odwołującego oraz oferty Przystępującego w zakresie kryterium
dotyczącego koncepcji funkcjonowania chatbota, poprzez nieuzasadnione obniżenie
punktacji oferty Odwołującego w ramach ww. kryterium przy jednoczesnym bezpodstawnym
zawyżeniu oceny Przystępującego w tym samym zakresie,
3.
naruszenie art. 18 ust. 3 p.z.p. w zw. z art. 11 ust. 2 ustawy z 16 kwietnia
19
93r. o zwalczaniu nieuczciwej konkurencji („dalej: „uznk”), poprzez zaniechanie odtajnienia
całości dokumentacji złożonej przez Przystępującego w postępowaniu wraz z ofertą, pomimo
niewykazania przez tego wykonawcę, iż dokumentacja złożona w postępowaniu stanowi
tajemnicę jego przedsiębiorstwa.
Sygn. akt KIO 3423/21
W związku z powyższymi zarzutami Odwołujący wniósł o uwzględnienie odwołania w
całości oraz nakazanie Zamawiającemu:
a.
odtajnienia pełnej treści wszelkich dokumentów złożonych w postępowaniu
przez Przystępującego wraz z ofertą,
b.
dokonania ponownej oceny ofert złożonych w postępowaniu i w ramach tej
ponownej oceny ofert: (i) dokonanie wyboru oferty Odwołującego jako najkorzystniejszej w
postępowaniu w oparciu o obowiązujące w postępowaniu kryteria oceny ofert, a także (ii)
wykluczenie Przystępującego z postępowania i odrzucenie oferty Przystępującego jako
niespełniającej warunków określonych w SWZ,
Uzasadniając zarzuty odwołania, Odwołujący wskazał, że Zamawiający w § 7 SWZ
wskazał na szereg warunków, które muszą zostać spełnione, aby wykonawca mógł
skutecznie ubiegać się o udzielenie zamówienia w postępowaniu. W zakresie posiadania
przez wykonawcę niezbędnych zdolności technicznych i zawodowych wskazanych w § 7 ust.
pkt 4 SWZ Zamawiający wprowadził warunek dotyczący posiadania przez wykonawcę
odpowiedniego doświadczenia oraz legitymowania się przez jego personel odpowiednimi
kwalifikacjami. W ocenie Odwołującego oferta Przystępującego nie spełnia wskazanych
przez Zamawiającego wymogów legitymowania się przez wykonawcę zarówno odpowiednim
potencjałem w zakresie niezbędnego doświadczenia, jak i odpowiednimi kwalifikacjami
personelu mającego realizować zamówienie.
Odwołujący wyjaśnił, że w ramach tego warunku Zamawiający w § 7 ust. 1 pkt 4 ppkt
A (ii) SWZ wskazał, że wymaga od wykonawcy, aby wykazał, „że w okresie ostatnich trzech
lat przed upływem składania ofert (a jeżeli okres prowadzenia działalności jest krótszy – w
tym okresie), należycie wykonał: co najmniej 3 usługi polegające na zaprojektowaniu i
wyproduko
waniu chatbota wykorzystującego NLP o łącznej wartości co najmniej 200.000,00
złotych” .
Na potwierdzenie spełniania ww. wymagań wykonawca zgodnie z § 8 ust. 2 pkt 7
SWZ zobowiązany był do przedstawienia m.in. „dowodów określających, czy te dostawy lub
us
ługi zostały wykonane lub są wykonywane należycie, przy czym dowodami, o których
mowa, są referencje bądź inne dokumenty sporządzone przez podmiot, na rzecz którego
dostawy lub usługi zostały wykonane”. Przystępujący w ramach swojej oferty przedstawił
szer
eg referencji, które jednak w ocenie Odwołującego nie potwierdzają spełniania przez
niego warunków wskazanych przez Zamawiającego w SWZ.
Odnosząc się do referencji wystawionej przez Grupę Żywiec S.A. Odwołujący
wskazał, że nie wskazuje ona, że czatbot, który został zrealizowany przez Przystępującego
dla tego podmiotu w jakikolwiek sposób wykorzystywał metody z dziedziny NLP wymaganej
przez Zamawiającego. Dodatkowo nie zostało wskazane, że prace zrealizowane przez
Sygn. akt KIO 3423/21
Przystępującego zostały wykonane w sposób „należyty”. Wątpliwości Odwołującego budzi
także zakres zrealizowanych prac przez tego wykonawcę. Zamawiający w SWZ wymaga
potwierdzenia wykonania prac w przedmiocie zaprojektowania i wyprodukowania chatbota.
Referencja przedstawiona przez Przystępującego wskazuje natomiast na wykonanie prac
dotyczących zaprojektowania i wdrożenia chatbota, co nie jest spójne z warunkami SWZ.
Odnosząc się do referencji – JTI Polska sp. z o.o. Odwołujący również stwierdził, że
nie wskazuje ona, że czatbot, który został zrealizowany przez Przystępującego dla tego
podmiotu w jakikolwiek sposób wykorzystywał metody z dziedziny NLP wymaganej przez
Zamawiającego. Dodatkowo nie zostało wskazane, że prace zrealizowane przez
Przystępującego zostały wykonane w sposób „należyty”. Referencja ta w żaden też sposób
nie wskazuje na zakres prac jaki został zrealizowany przez Przystępującego. Z tego względu
nie jest możliwa weryfikacja czy wykonawca ten w rzeczywistości dysponuje
doświadczeniem w zakresie projektowania i wyprodukowania czatbota wykorzystującego
technikę NLP.
Również w opinii Odwołującego referencja wystawiona przez ING Bank Śląski S.A.
nie wskazuje, że czatbot, który został zrealizowany przez Przystępującego dla tego podmiotu
w jakikolwiek sposób wykorzystywał metody z dziedziny NLP wymaganej przez
Zamawiającego. Dodatkowo nie zostało wskazane, że prace zrealizowane przez
Przystępującego zostały wykonane w sposób „należyty”. Wątpliwości Odwołującego budzi
także zakres zrealizowanych prac przez tego wykonawcę. Zamawiający w SWZ wymaga
potwierdzenia wykonania prac w przedmiocie zaprojektowania i wyprodukowania czatbota.
Referencja przedstawiona przez Przystępującego wskazuje natomiast na wykonanie prac
dotyczących zaprojektowania i wdrożenia chatbota, co nie jest spójne z warunkami SWZ.
Tożsame zastrzeżenia Odwołujący podniósł do referencji wystawionych przez
MetLife TUnŻiR S.A. oraz PKO Bank Polski S.A. Transcom Worldwide Poland sp. z o.o.
Odwołujący podkreślił ponadto, że łączna wartość zrealizowanych prac wynosi 208
762,98 zł brutto. Zamawiający z kolei wymagał legitymowania się przez wykonawcę
wykonaniem co najmniej 3 usług polegających na zaprojektowaniu i wyprodukowaniu
chatbota wykorzystującego NLP o łącznej wartości co najmniej 200.000.00 zł. Oznacza to,
że stwierdzenie, iż chociaż jedna (którakolwiek) z referencji przedstawionych przez
Przystępującego w ramach swojej oferty nie potwierdza legitymowania się przez tego
wykonawcę wymaganym doświadczeniem, prowadzi wprost do uznania, że Przystępujący
nie spełnia warunku udziału w postępowaniu w zakresie koniecznego doświadczenia.
Łączna bowiem wartość pozostałych zrealizowanych projektów przez tego wykonawcę nie
przekroczy wymaganej wartości 200 000,00 zł.
Dodatkowo Odwołujący wskazał, że referencje przedstawione przez spółkę Ermlab
sp. z.o.o (członek konsorcjum Przystępującego) w ramach postępowania dotyczące (i) usługi
Sygn. akt KIO 3423/21
anotacji danych oraz (ii) opracowania automatycznej sztucznej inteligencji wykorzystującej
sieci neuronowej zostały wystawione przez spółkę Emplocity S.A., czyli konsorcjanta spółki
Ermlab sp. z.o.o w postępowaniu. Oznacza to de facto, że te referencje były wystawiane w
formule „samej sobie”, przez członka konsorcjum na rzecz drugiego członka tego samego
konsorcjum. Co jeszcze istotne to fakt, że obie referencje zostały wystawione 21
października 2021 r. co wprost wskazuje, że zostało to przeprowadzone wyłącznie na
potrzeby Postępowania i wykazania, że zostały spełnione warunki udziału w nim. W opinii
Odwołującego powyższe sprawia, że referencje te są całkowicie niewiarygodne i w żaden
sposób nie potwierdzają posiadania przez Ermlab sp. z o.o. odpowiedniego doświadczenia
wymaganego przez Zamawiającego. Samo zaś udzielanie referencji wewnątrz
konsorcjalnych celem uzyskania korzyści w postaci spełnienia warunku udziału w
Postępowaniu powinno być przedmiotem szczególnie wnikliwego badania przez
Zamawiającego.
Następnie Odwołujący wskazał, że Zamawiający w § 7 ust. 1 pkt 4 ppkt B (6) SWZ
wskazał, że wymaga od wykonawcy, aby wykazał, „że dysponuje lub będzie dysponował
osobami które będą uczestniczyć w realizacji zamówienia, spełniającymi poniższe
wymagania:
Anotator -
Wymagane kwalifikacje: Posiada doświadczenie w realizacji co najmniej 2
(dwóch) usług polegających na anotacji danych (przygotowaniu danych tak, aby mogły one
stanowić dane treningowe dla algorytmów uczenia maszynowego), które to usługi zostały
ukończone w ciągu 3 lat przed terminem składania ofert” .
Odwołujący podkreślił, że Przystępujący na potwierdzenie spełniania ww. warunku
przedstawi
ło wykaz osób, które uczestniczyłyby w wykonywaniu zamówienia wraz z
informacją na temat ich kwalifikacji zawodowych, doświadczenia i wykształcenia
niezbędnego do wykonania zamówienia, a także zakresu wykonywanych przez nie
czynności:
− M.S. (Programista z 4-letnim doświadczeniem. Ukończył studia informatyczne na
Uniwersytecie Warmińsko-Mazurskim w Olsztynie. Zajmuje się tworzeniem i rozwojem
oprogramowania systemów informatycznych przeznaczonych do przetwarzania i analizy
zbiorów danych. Interesuję się hobbystycznie analizą numeryczną.)
i.
Przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i
predykcji sytuacji kryzysowych w serwisach społecznościowych,
ii.
Przygotowanie zbiorów danych na potrzeby treningu algorytmów segmentacji
użytkowników Internetu,
− P.B. (Absolwentka Uniwersytetu Warmińsko - Mazurskiego w Olsztynie na kierunku
dziennikarstwo i komunikacja społeczna. Specjalista ds. content marketingu, team lider i
Sygn. akt KIO 3423/21
copywriter kreatywny. Łączy analityczne myślenie z twórczością kreatywną. Od kilku lat
związana z branżą emarketingu)
i.
Przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i
predykcji sytuacji kryzysowych w serwisach społecznościowych,
ii.
Przygotowanie zbiorów danych na potrzeby treningu algorytmów segmentacji
użytkowników Internetu,
− I.P. (Absolwentka studiów licencjackich na kierunku dziennikarstwo i komunikacja
społeczna na Uniwersytecie Warmińsko - Mazurskim w Olsztynie. Redaktorka serwisów
internetowych. Główne zainteresowania to social media, copywriting i content marketing.)
i.
Przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i
predykcji sytuacji kryzysowych w serwisach społecznościowych,
ii.
Przygotowanie zbiorów danych na potrzeby treningu algorytmów segmentacji
użytkowników Internetu
W ocenie Odwołującego jednak żadna z ww. osób nie legitymuje się odpowiednim
doświadczeniem oraz kwalifikacjami wymaganymi przez Zamawiającego i spełniającym
warunki wskazane w SWZ. W powyższym bowiem zakresie – co należy wyraźnie podkreślić
– nie każde przygotowanie zbiorów danych na potrzeby treningu algorytmów jest
przeprowadzane w kontekście anotacji. Anotacja stanowi bowiem szczególny rodzaj
specjalizacji i usługi. Anotator danych, w kontekście danych tekstowych jest bowiem osobą o
wiedzy i doświadczeniu najczęściej z obszaru lingwistyki, językoznawstwa, wiedzy o języku,
która postępując według ustalonych instrukcji anotacji dokonuje znakowania tekstu.
Znakowanie może polegać na: dzieleniu tekstu na paragrafy, zdania i segmenty, opisywania
segmentów dodatkowymi informacjami, takimi jak znaczniki (tagi), łączenia segmentów
relacjami (tworzeniu struktur grafowych), a także poprawiania istniejącego tekstu. Czynność
ta wykonywana jest poprzez bezpośrednią pracę ręczną anotatora, z wykorzystaniem
dedykowanego oprogramowania, może być też wspomagane przez sugestie generowane
przez systemy automatyczne.
Odwołujący zauważył, że istotną częścią zamówienia opisaną w OPZ są prace
anotacyjne, które przewidziane zostały do zrealizowania przez potencjalnego wykonawcę.
Zgodnie z OPZ (część II, p. 2) w celu realizacji funkcjonalności nazwanej Przewodnik po
Zintegrowanym Systemie Kwalifikacji: „Zamawiający dostarczy zbiór dokumentów, które
powinny służyć trenowaniu opisanego modułu – w serwisie znajdują się obecnie 54
publikacje: dokumenty w formacie PDF oraz MS Word. Zawierają one tekst, tabele oraz
schematy (np. instrukcje postępowania, kolejne kroki instytucji wprowadzających
kwalifikacje, itp.). Ocenia się, że zbiór publikacji posłuży do przygotowania około 200 intencji.
Zadaniem Wykonawcy jest anotowanie wskazanych publikacji. W tym celu Wykonawca
opracuje klucz oraz wykorzystując opracowany klucz, pilotażowo anotuje 3 wskazane przez
Sygn. akt KIO 3423/21
Zamawiającego publikacje. Zarówno klucz, jak i wyniki pilotażowego anotowania będą
przedmiotem konsultacji z Zamawiającym i posłużą opracowaniu ostatecznego rozwiązania,
służącego anotowaniu przez Wykonawcę wszystkich 54 publikacji". Z kolei w celu realizacji
funkcjonalności nazwanej „Wirtualne Doradztwo Zawodowe”: „(...) Wykonawca pod
kierunkiem Zamawiającego dokona anotacji danych – ponad 10 000 kwalifikacji z ZRK – pod
kątem zainteresowań i uzdolnień, które mogą stanowić podstawę dopasowania do wymagań
czy oczekiwań użytkownika". W związku z powyższym Odwołujący wskazał, że z niezbędne
jest wzbogacenie istniejących 54 publikacji dodatkowymi informacjami, służącymi do
powiązania intencji użytkownika z informacjami znajdującymi się w publikacjach. Praca ta
polega między innymi na:
-
oznaczeniu w tekście fragmentów, które odpowiadają na pytania użytkownika
czatbota,
-
przekształceniu informacji zawartych w tabelach i schematach na postać tekstową,
-
ręcznym przygotowaniu odpowiedzi na pytania użytkownika na podstawie treści
publikacji.
Zamawiający wymaga opracowania przez wykonawcę "klucza" – instrukcję anotacji –
i na tej podstawie oznakowania początkowo 3 publikacji, a następnie (po konsultacji pilotażu)
wszystkich 54. Podobnie, należy zaanotować dodatkowymi informacjami ponad 10 000
kwalifikacji z ZR
K. Proces przygotowania instrukcji anotacji, a następnie ręcznej pracy
związanej ze wzbogacaniem informacji zawartych w tekście lub zbiorze tekstów jest
definicyjnym określeniem roli anotatora w projekcie – osoby, która polegając na swoim
wykształceniu dotyczącym wiedzy o języku, doświadczeniu i wykonując ręczną pracę
znakowania jest w stanie przygotować dane do trenowania modeli uczenia maszynowego.
Odwołujący podkreślił, że Przystępujący przedstawia w swojej ofercie m.in. p. M.S. jako
osobę, która miałaby realizować anotację w ramach zamówienia, samemu jednocześnie
podkreślając, że p. Stefaniak jest programistą, a nie anotatorem, który w przeciwieństwie do
programisty dodaje do zasobów tekstowych informacje za pomocą pracy ręcznej, bazując na
swojej wiedzy
językowej oraz wiedzy dziedzinowej. Programista przetwarza z kolei dane w
sposób automatyczny: praca programisty w projekcie związanym z danymi tekstowymi może
polegać na filtrowaniu danych, konwersji formatów i innych zadaniach związanych z
przetwarzanie
m danych, tworzeniu narzędzi do anotacji dla anotatorów, co jednak nie
powoduje dodania do nich nowych informacji, które wcześniej się tam nie znajdowały.
Odwołujący podkreślił, że sam Zamawiający wyraźnie rozróżnia rolę programisty oraz rolę
anotatora, oc
zekując od wykonawcy dokonania wyceny godziny pracy (przy realizacji modułu
eksperymentalnego) w podziale na te dwa stanowiska. Tym samym w opinii Odwołującego
Przystępujący nie wykazał dysponowania przez siebie personelem wymaganym treścią
SWZ. Nie przeds
tawiono bowiem, aby osoby wymienione w złożonym wykazie personelu
Sygn. akt KIO 3423/21
posiadały doświadczenie w pracy nad danymi w zakresie anotacji. Tymczasem ma to
kluczowe znaczenie z punktu widzenia przedmiotu postępowania i czynności, które będą
wykonywane w ramach reali
zacji zawartego kontraktu. Niewłaściwa bowiem obsada
kluczowych pozycji w ramach zamówienia (tj. praca anotatora) uniemożliwia poprawną
realizację jego przedmiotu. Zamawiający powinien zatem mieć gwarancję, iż osoby
wskazane przez wykonawcę jako jego kluczowy personel mają kwalifikacje realnie
odpowiadające przedmiotowi późniejszego świadczenia. W omawianym przypadku, w ocenie
Odwołującego, okoliczność ta nie została jednak wykazana.
Uzasadniając zarzut dotyczący nieuzasadnionego zaniżenie punktacji oferty
Odwołującego przy jednoczesnym bezpodstawnym zawyżeniu punktacji oferty
Przystępującego w zakresie kryterium koncepcji, Odwołujący wskazał, że Zamawiający jako
jedno z kryteriów oceny w ramach postępowaniu ustanowił konieczność sporządzenia przez
wykon
awców koncepcji funkcjonowania czatbota w ramach modułu Wirtualnego Asystenta
Doradztwa Zawodowego. Zamawiający w SWZ wskazał, że: „Dla wybranego spośród 3
przytoczonych w załączniku nr 9 do SWZ przykładów opisów osób (person) korzystających z
czatbota (je
j potrzeb oraz oczekiwań) oraz przy wykorzystaniu źródła danych, na podstawie
których czatbot powinien udzielać odpowiedzi na pytania tej osoby (kwalifikacje z ZRK oraz
informacje z portalu www.kwalifikacje.edu.pl), należy przygotować koncepcję, która będzie
zawierać:
-
proponowany schemat rozmowy (tzw. flow) osoby z czatbotem (dialog
zawierający 30 par pytań i odpowiedzi) obejmujących: o pytania zadawane przez osobę
korzystającą z czatbota;
-
pytania, które zada czatbot (pytania otwarte lub opcje wyboru) pozwalające
doprecyzować zakres udzielanej odpowiedzi;
-
propozycję treści odpowiedzi udzielanych przez czatbota (tekst, odesłania do
materiałów, propozycje zapoznania się z treściami z ZRK – np. konkretny fragment opisu
danej kwalifikacji, odesłania do zewnętrznych źródeł wiedzy, narzędzi lub aplikacji);
-
propozycję dodatkowych tematów rozmowy, które może zaproponować
czatbot;
-
opis funkcjonalności czatbota, które zostały wykorzystane w rozmowie (np.
pytania zamknięte, pozwalające doprecyzować zakres udzielanej odpowiedzi, odesłania do
określonych źródeł informacji) z uzasadnieniem ich zastosowania oraz krótkim wskazaniem,
w jaki sposób mogą zostać wdrożone (np. integracja z innymi aplikacjami, zastosowanie
określonej technologii, itp.) – opis powinien zawierać do 5 funkcjonalności kluczowych z
perspektywy opracowywanego schematu rozmowy i nie powinien być dłuższy niż 5400
znaków (3 strony znormalizowanego maszynopisu).
Sygn. akt KIO 3423/21
Z kolei w zakresie oceny koncepcji zrealizowanych przed wykonawców Zamawiający
wsk
azał, że „każdy z członków Komisji Przetargowej dokona indywidualnie oceny w
następujący sposób:
-
schemat rozmowy z czatbotem
– 15 punktów, w tym:
-
adekwatność informacji udzielanych przez czatbota (na ile odpowiadają na
potrzeby osoby korzystającej z czatbota) – 0-5 punktów;
-
wskazanie kluczowych dla danej osoby informacji wyjaśniających
prezentowane przez czatbota treści (np. definicje, wyjaśnienia pojęć, wskazówki jak
rozumieć dane treści) – 0-5 punktów;
-
zastosowanie adekwatnych sposobów pozwalających na doprecyzowanie
zakresu informacji udzielanych osobie
– 0-5 punktów punkty w zakresie 0-5 - przyznawane
wg. skali szkolnej
-
opis funkcjonalności czatbota – 15 punktów, w tym:
-
3 punkty za każdą funkcjonalność, która została wskazana, o ile uzasadniono
jej zastosowanie w odniesieniu do potrzeb osoby korzystającej z czatbota (2 punkty) oraz
wskazano, w jaki sposób może zostać wdrożona (1 punkt). Ocenie podlegać będzie 5
pierwszych opisanych funkcjonalności. Jeżeli w ofercie znajdzie się więcej niż 5
funkcjonalności, pozostałe nie będą brane pod uwagę przy ocenie oferty.
-
poprawność stosowania terminologii ZSK – 5 punktów (zasada odejmowania
punktów za niepoprawnie używaną terminologię):
-
-
1 punkt za każdy błąd w używaniu terminologii ZSK w dialogach, zawężając
ocenę do wypowiedzi udzielanych przez czatbot”.
Odwołujący wyjaśnił, że Przystępujący uzyskał w ramach oceny przez
Zamawiającego koncepcji funkcjonowania czatbota 33 punkty na 35 możliwych. W ocenie
Odwołującego jest to skrajnie zawyżona punktacja, które nie oddaje realiów przygotowanej
przez Przystępujący koncepcji. Podkreślił, że dla Zamawiającego kluczowym aspektem w
realizacji zamówienia jest integracja „Wirtualnego Asystenta” z Zintegrowanym Rejestrem
Kwalifikac
ji. Wskazuje na to wprost OPZ: „Przedmiotem zamówienia jest usługa polegająca
na stworzeniu, wdrożeniu, dostarczeniu dostępu na czas realizacji zamówienia, utrzymaniu
oraz instalacji na serwerach IBE i rozwoju czatbota
– Wirtualnego Asystenta,
zaimplementowanego w serwisie Zintegrowanego Rejestru Kwalifikacji (dalej: ZRK). Czatbot
będzie pełnił role: 1) przewodnika po ZRK, 2) przewodnika po ZSK oraz 3) asystenta
podstawowego doradztwa zawodowego ograniczonego dziedzinowo do zakresu ZRK”,
„Czatbot będzie wspierać proces doradztwa zawodowego na podstawowym poziomie i w
zakresie umożliwionym przez zawartość danych w ZRK, a w przyszłości może
wykorzystywać do tego doradztwa także pozostałe aplikacje tworzone przez IBE”.
„Uruchomienie Wirtualnego Asystenta ma rozszerzyć możliwości doradztwa o praktyczny i
Sygn. akt KIO 3423/21
intuicyjny w obsłudze dostęp do kwalifikacji zebranych w ZRK”, „Ujmując krótko zadanie
Wirtualnego Asystenta, praca czatbota polega na zebraniu informacji / preferencji
Użytkownika, następnie na tej podstawie ukierunkowanie dalszego dialogu i przekazanie
informacji Użytkownikowi na zadane pytanie lub odniesienie się do poruszonego tematu w
ramach wiedzy o ZSK, w tym ZRK". Tymczasem Przystępujący w zasadniczej mierze
stworzył swoją koncepcję funkcjonowania czatbota w całkowitym oderwaniu od
Zintegrowanego Rejestru Kwalifikacji. Przystępujący w przygotowanej koncepcji w zasadzie
nie korzysta z terminologii ZRK. Umożliwia to co prawda uniknięcie przez tego
Przystępującego punktów ujemnych w ramach oceny tego kryterium, jednak całkowicie
wypacza sens przygotowanej koncepcji, która w istocie nie odpowiada celowi prowadzonego
przez Zamawiającego postępowania – realizacji Wirtualnego Asystenta zintegrowanego z
ZRK. Powyższe, według Odwołującego, potwierdza, że Przystępującemu niesłusznie
przyznano 33 punkty w kategorii "adekwatność" / "wskazanie kluczowych dla danej osoby
informacji" / "zastosowanie adekwatnych sposobów pozwalających na doprecyzowanie
zakresu informacji udzielanych osobie" / "poprawność stosowania terminologii ZRK", gdyż
kluczowy zasób wymieniony w OPZ został zasadniczo pominięty w opisanym rozwiązaniu,
co oznacza, że rozwiązanie to nie spełnia wymagań OPZ i nie jest z nim zgodne. W
konsekwencji nie można tak wysoko jak Zamawiający punktować rozwiązania, które ignoruje
integrację z ZRK, bowiem taki jest zasadniczy cel projektu opisanego w OPZ. Odwołujący
zaznaczył, że kompleksowe omówienie błędów Przystępującego w swojej koncepcji jest
jednak dla Odwołującego z uwagi na bezpodstawną odmowę Zamawiającego jej odtajnienia.
Ponadto, szeroka i kompleksowa wiedza rynkowa, którą dysponuje Odwołujący wprost
wskazuje, że Przystępujący nie posiada odpowiednich kwalifikacji, kompetencji i
doświadczenia, aby przygotować koncepcję funkcjonowania czatbotu w sposób, który
u
możliwiałby jej ocenienie na zasadzie maksymalną liczbą punktów. Podkreślił, że w
relatywnie krótkim czasie jaki został wyznaczony przez Zamawiającego na złożenie ofert, nie
jest możliwe, aby Przystępujący pozyskał dodatkowe kompetencje/doświadczenie w tym
zakresie, których wcześniej nie posiadało. Oferta Przystępującego jedynie szczątkowo
odnosi się do ZRK, gdyż podmiot ten nie posiada wystarczających doświadczeń w tym
zakresie. Odmiennie natomiast kształtuje się doświadczenie Odwołującego – jeden z
członków konsorcjum Odwołującego – IPIPAN zrealizował bowiem wiele podobnych
projektów, dzięki czemu jest na polskim rynku ekspertem w tym zakresie. Nie jest zatem
możliwe, aby Przystępujący nie posiadający porównywalnego doświadczenia do
Odwołującego, a także podobnych kompetencji i kwalifikacji uzyskał istotnie wyższą ocenę w
kryterium opracowania koncepcji funkcjonowania chatbota niż Odwołujący, który zrealizował
co najmniej kilka podobnych projektów na rzecz Zamawiającego.
Sygn. akt KIO 3423/21
Dalej Odwołujący wskazał, że ocena jego koncepcji w zakresie kryterium (i) schemat
rozmowy z czatbotem oraz (ii) poprawność stosowania terminologii ZSK została również
błędnie przeprowadzona, z tym jednak zastrzeżeniem, że w przypadku Odwołującego
Zamawiający zaniżył punktację realnie przysługującą Odwołującemu w ramach ww.
kryteriów.
Kryterium
– schemat rozmowy z czatbotem
Oceniając ofertę złożoną przez Odwołującego w postępowaniu Zamawiający w
zakresie koncepcji funkcjonowania czatbota i opisu funkcjonalności czatbota przyznał
Odwołującemu maksymalną liczbę punktów – 15. Jednak już w kategorii schemat rozmowy z
czatbotem Zamawiający przyznał jedynie 10 na 15 możliwych do zdobycia punktów
wskazując przy tym, że:
Ocena 1:
„Adekwatność informacji – czatbot proponuje rozmówcy: 1) kwalifikację ze
szkolnictwa zawodowego
– archiwalną, a więc taką, której już nie można pozyskać, opis jest
dostępny na stronie ZRK, czatbot nie reflektuje się, że ta informacja jest nieadekwatna i
podaje dalsze informacje, 2) czatbot proponuje studia jednolite (5-l
etnie), jako przykład
konkretnej realizacji studiów wskazuje jednak studia II stopnia (2-letnie), jako wymaganie do
podjęcia wskazanych studiów podaje świadectwo ukończenia szkoły średniej – co nie jest
precyzyjne, ponieważ są różne świadectwa, zapewne chodziło o świadectwo dojrzałości oraz
certyfikat z języka obcego – nie wiadomo, na jakiej podstawie, opis kwalifikacji nie
wprowadza takiej informacji
– oba wymagania są błędne w kontekście studiów II stopnia,
które podejmuje się po studiach I stopnia, a więc wymagają dyplomu ukończenia studiów I
stopnia, 3) czatbot wskazuje kwalifikację ze szkolnictwa zawodowego, którą można uzyskać
po ukończeniu 2-letniej szkoły policealnej oraz po uzyskaniu kwalifikacji poprzedzającej –
jest to nieadekwatna informacja dla
rozmówcy, który już ukończył edukację (również
policealną) i szuka pracy: 0,0
Objaśnianie prezentowanych treści: 5, 0 Adekwatność sposobów doprecyzowania:
5,0” Ocena 2:
„Adekwatność informacji – 0 pkt
1.
Niezgodnie z opisem persony, rozmówca chatbota błędnie wskazuje
posiadaną kwalifikację – wskazuje Świadczenie usług opiekuńczo – wspierających osobie
starszej zamiast Opiekun w domu społecznym. Błąd ten determinuje dalszy przebieg
wywiadu
– osoba nie uzyskuje informacji adekwatnych do swoich potrzeb.
2.
Błędnie
wskazana
kwalifikacja:
Świadczenie usług
pielęgnacyjno-
opiekuńczych osobie chorej i samodzielnej jest kwalifikacją archiwalną.
Sygn. akt KIO 3423/21
3.
Błędnie wskazana kwalifikacja: Pielęgniarstwo studia II stopnia - chatbota nie
wskazuje, że wymagane są studia I stopnia poprzedzające studia II stopnia
4.
Błędnie wskazana kwalifikacja: Ratownik medyczny - szkolnictwo zawodowe -
nieadekwatnie do potrzeb, rozmówca szuka pracy, jest absolwentem szkoły policealnej
Kluczowe informacje wyjaśniające – 5 pkt Sposoby doprecyzowania informacji – 5
pkt”
Ocena 3:
„adekwatność – 0 informacje wyjaśniające – 5 adekwatność sposobów na
doprecyzowanie
– 5.
Za nieadekwatne rekomendacje należy uznać w zachowaniu czatbota:
a)
polecenie kwalifikacji archiwalnej Świadczenie usług pielęgnacyjno-
opiekuńczych osobie chorej i samodzielnej (od 2019) – kwalifikacji tej nie można zdobyć,
b)
polecenie kwalifikacji Pielęgniarstwo ze szkolnictwa wyższego II stopnia
osobie, która nie posiada dyplomu I stopnia (opisany użytkownik czatbota, absolwent szkoły
policealnej, nie będzie w stanie jej zdobyć),
c)
czatbot udziela informacji o kwalifikacji II stopnia i podaje nieadekwatne
informacje o wymaganiach dla tej kwalifikacji: znajomość języka obcego na poziomie B1 i
świadectwo ukończenia szkoły średniej,
d)
udzielenie informacji o zarobkach na podstawie Ekonomicznych Losów
Absolwentów dla kwalifikacji branżowej Świadczenie usług pielęgnacyjno-opiekuńczych
osobie chorej i samodzielnej (od 2019)
– ELA obejmuje informacje dotyczące kwalifikacji ze
szkolnictwa wyższego, ale nie branżowego,
e)
czatbot błędnie uznaje, że M. posiada kwalifikację Świadczenie usług
pielęgnacyjno-opiekuńczych osobie starszej. Zgodnie z opisem persony posiada on
kwalifikację Opiekun w domu pomocy społecznej.
Za każdą nieadekwatność odjęto 1 punkt, łącznie 5.”
Odwołujący zauważył, że w przypadku dwóch ocen (rzekomo dokonanych
niezależnie) pojawia się ten sam błąd – wskazanie kwalifikacji „Świadczenie usług
pielęgnacyjno - opiekuńczych osobie chorej i samodzielnej”, choć ta kwalifikacja nie pojawia
się w przygotowanym przez Odwołującego scenariuszu (pojawia się „Świadczenie usług
pielęgnacyjno - opiekuńczych osobie chorej i niesamodzielnej”). Oceny nieprawidłowo
stwierdzają, że chatbot „wskazuje Świadczenie usług opiekuńczo – wspierających osobie
starszej zamiast Opiekun w domu społecznym”. Jest to wybór dokonywany przez
Użytkownika i nie ma związku z rekomendacjami Systemu. Ponadto, Użytkownik ma prawo
nie wiedzieć jaką dokładnie kwalifikację zdobył, nie jest to jednak wada oferowanego
systemu, lecz wynik wyboru samego użytkownika. Za ten fakt odjęty został bezpodstawnie 1
Sygn. akt KIO 3423/21
punkt w dokonanej ocenie przez Zamawiającego. Według Odwołującego, oceny
nieprawidłowo stwierdzają także, że chatbot poleca „Świadczenie usług pielęgnacyjno -
opiekuńczych osobie chorej i niesamodzielnej” – chatbot prezentuje tę kwalifikację jako jedną
z dostępnych w ZRK. Podobnie kwalifikacja ta prezentowana jest na oficjalnych stronach
Zintegrowanego Systemu Kwalifikacji . Za ten fakt został również bezpodstawnie odjęty 1
punkt w dokonanej ocenie.
Odwołujący podkreślił, że jeden z członków konsorcjum Odwołującego - Instytut
Podstaw Informatyki PAN jest podmiotem posiadającym najszersze i całkowicie unikalne w
skali kraju doświadczenie w zakresie realizacji projektów wymagających dokładnej analizy
zawartości rejestru, utworzenia narzędzi do grupowania, klasyfikacji kwalifikacji, a także ich
wyszukiwania. Instytut Podstaw Informatyki PAN w tym zakresie zrealizował projekty
związane z Zintegrowanym Rejestrem Kwalifikacji dla Instytutu Badań Edukacyjnych
dotyczące m.in.:
− Analizy istniejących rozwiązań opisujących grupowanie kwalifikacji - ekspertyza
dotycząca automatycznej analizy i porównywania kwalifikacji w celu ich grupowania ,
− Pilotażu rozwiązania grupowania kwalifikacji wraz z grupowaniem kwalifikacji ,
− Wykonania narzędzia analitycznego, umożliwiającego analizę dużej liczby
kwalifikacji, ich porządkowanie i systematyzowanie .
Powyższe, według Odwołującego potwierdza, że doświadczenie w sposób oczywisty
przekłada się na realizację koncepcji funkcjonowania czatbotu, jej jakość i kompletność, co
powinno znaleźć odzwierciedlenie w przyznanej Odwołującemu odpowiedni wysokiej ocenie
koncepcji.
(ii.)
Kryterium
– poprawność stosowania terminologii ZSK
W zakresie kategorii poprawności stosowania terminologii ZSK Zamawiający przyznał
Odwołującemu jedynie 3 na 5 możliwych do zdobycia punktów uzasadniający to w
następujący sposób: „3 pkt w tym: czatbot pyta: „którą kwalifikację zrealizowałeś?” – nie
można „zrealizować” kwalifikacji – można ją pozyskać, posiadać -1,0; czatbot wymienia
“świadectwo ukończenia szkoły średniej” w kontekście podjęcia studiów II stopnia – pojęcie
takiego świadectwa jest zbyt szerokie, błąd terminologiczny polega na tym, że takiej
kwalifikacji nie ma, w kontekście studiów powinien posługiwać się terminem świadectwo
dojrzałości -1,0”.
Powyższa punktacja Zamawiającego jest również w ocenie Odwołującego błędna i w
sposób nieuprawniony zaniża wynik punktowy przygotowanej koncepcji. Zamawiający w
żaden sposób nie wyjaśnia na jakiej podstawie przyjmowane są konkretne rozstrzygnięcia
terminologiczne wskazane w ocenie koncepcji. Publicznie dostępny "Słownik ZSK" jedynie
wskazuje np. że "kwalifikację można zdobyć". Sformułowania wynikają jedynie z analizy
stosowanych w dokumencie zwrotów, a lista sformułowań, które byłby dla Zamawiającego
Sygn. akt KIO 3423/21
poprawne nie została w żaden sposób zawarta w jakimkolwiek obowiązującym wykonawców
katalogu. Nie jest również wprost wykluczone użycie innego rodzaju sformułowania, jak na
przykład "zrealizować kwalifikację", a słownikowo są to wyrazy bliskoznaczne: zrealizować:
"sprawić, że jakieś plany, marzenia, zamiary itp. staną się rzeczywistością", zdobyć:
"pozyskać coś, o co się zabiegało". Z tego względu użycie sformułowania zamiennego nie
może być postrzegane jako błąd w przygotowaniu koncepcji i skutkować obniżeniem
punktacji Odwołującego.
W konsekwencji Odwołujący stwierdził, że ocena oferty Odwołującego w zakresie
koncepcji funkcjonowania „Wirtualnego Asystenta” została sporządzona w sposób błędny i
nierzetelny. Dodatkowo wskazuje na to fakt, że dla tak skomplikowanego i złożonego
przedmiotu zamówienia, ocena punktowa wszystkich trzech członków komisji była
identyczna. Punktacja członków komisji nie różniła się w odniesieniu do któregokolwiek z
kryteriów oceny, co może wskazywać na brak przeprowadzenia faktycznej i realnej oceny
koncepcji przez każdego z członków komisji i oparcie się w tym zakresie wyłącznie na
ustaleniach jednego członka komisji. Byłoby to sprzeczne z ideą komisyjnej oceny koncepcji
przedkładanych przez wykonawców, a także świadczyłoby o nierzetelności i niskiej jakości
przeprowadzonej oceny ofert w postępowaniu.
Zamawiający w odpowiedzi na odwołanie z dnia 29 listopada 2021r. oświadczył, że
uwzględnia w części zarzuty przedstawione w przedmiotowym odwołaniu tj. w odniesieniu do
zarzutu wskazanego w pkt. 3 odwołania, czyli naruszenia naruszenie art. 18 ust. 3 p.z.p. w
zw. z art. 11 ust. 2 uznk, poprzez zaniechanie odtajnie
nia całości dokumentacji złożonej
przez Przystępującego w postępowaniu wraz z ofertą, pomimo niewykazania przez tego
wykonawcę, iż dokumentacja złożona w postępowaniu stanowi tajemnicę jego
przedsiębiorstwa.
W dniu 1 grudnia 2021r. Zamawiający złożył kolejną odpowiedź na odwołanie
wnosząc o oddalenie pozostałych zarzutów odwołania jako bezzasadnych.
Odnosząc się do zarzutów dotyczących niespełnienia przez Przystępującego
warunków udziału w postępowaniu zauważył, że Odwołujący skierował zastrzeżenia jedynie
do treści referencji przekazanych przez Konsorcjum, pomijając całkowicie treść złożonego
wykazu. Zamawiający wskazał, że wszystkie zastrzeżenia Odwołującego w tym zakresie są
niezasadne, ponieważ dokument referencji wystawiany przez kontrahenta nie musi zawierać
określonych elementów np. w zakresie wartości, czy też elementów zrealizowanych w
ramach potwierdzanej usługi - wystarczającym jest by była możliwa identyfikacja referencji z
pozycją wskazaną w wykazie przygotowanym przez wykonawcę – tak w tym przypadku jest
w odniesieniu do każdego dokumentu referencji. Co oczywiste – sprawdzenie spełnienia
warunków udziału odbywa się poprzez analizę wykazu przygotowywanego na użytek danego
Sygn. akt KIO 3423/21
postępowania – referencje mają jedynie charakter posiłkowy. Zamawiający stwierdził
ponadto, że elementem referencji jest potwierdzenie należytości wykonania potwierdzanej
usługi – przy czym nie musi to być zrealizowane – jak tego wymaga odwołujący – z
wykorzystaniem słowa „należyte”. Potwierdzeniem „należytości” jest każde sformułowanie
świadczące o pozytywnym odbiorze przez kontrahenta wykonanych usług (dotychczasowej
współpracy). Mając na względzie cel referencji – czyli swoistych listów polecających dla
innych Zamawiających - za równoznaczne z pozytywnym odbiorem usługi (czyli należytości
wykonania danej usługi) należy również uznać rekomendacje dla Wykonawcy – co ma
miejsce w zdecydowanej ilości kwestionowanych przypadków.
Odnosząc się do zastrzeżeń Odwołującego co do zrealizowanego przez
Przystępującego „przerobu” powyżej 200 tys. zł – z racji tego że żadne z zastrzeżeń
dotyczące referencji nie okazało się zasadne – to również zarzut braku wymaganego
przerobu
– nie potwierdził się. Zamawiający podkreślił ponadto, że żaden przepis prawa nie
wyklucza możliwości posłużenia się doświadczeniem w usługach zrealizowanych na rzecz
innego konsorcjanta. Co więcej - współpraca i znajomość „biznesowa” pomiędzy
konsorcjantami są oczywistą i naturalną bazą dla zawiązania konsorcjum. Zarzuty są
gołosłowne i bezpodstawne.
Odnosząc się do zarzutów dotyczących braku kwalifikacji osób wskazanych na
stanowiska anotatora, Zamawiający wskazał, że z racji nieokreśloności terminu
oznaczającego tę czynność i osoby ją wykonujące Zamawiający w nawiasie doprecyzował
co rozumie pod pojęciem anotacji. Co ważniejsze – Zamawiający przyjął szeroką definicję –
pomijając słowo „tekstowych” – czego nie zauważa Odwołujący, czyniąc z tego braku oś
swoich twierdzeń o nieadekwatności doświadczenia ekspertów Przystępującego. Jak
wyjaśnił Zamawiający to pominięcie jest świadome i ma na celu maksymalne otwarcie
zamówienia na rynek. Zamawiający jest świadomy, że anotacją danych tekstowych w sensie
wskazanym w odwołaniu zajmuje się w Polsce stosunkowo niewiele osób, z którymi
konsorcjant odwołującego (IPI PAN) ma o wiele łatwiejszą możliwość nawiązania kontaktu i
współpracy niż inne podmioty. Stąd też aby umożliwić realną konkurencję na rynku szeroko
zdefiniował pojęcia anotacji – odnosząc je do każdego rodzaju danych – a nie tylko do - jak
chce odwołujący - „danych tekstowych”. Ponadto Zamawiający podkreślił, że czym innym
jest wymóg określony w OPZ – czyli w odniesieniu do tego co rzeczywiście będą robić
anonatorzy, a czym innym są wymogi odnośnie spełnienia „minimalnych” warunków udziału.
Innymi słowy osoby spełniające minimalne warunki udziału – zdaniem Zamawiającego – po
odpowiednim przeszkoleniu, co jest zakładane w zadaniach anotacji danych – są w stanie
prawidłowo zrealizować zamówienie. W świetle tak zdefiniowanego wymogu – każda z osób
wskazanych w ofercie Przystępującego spełnia wymogi SWZ.
Sygn. akt KIO 3423/21
Odnosząc się do zarzutów dotyczących nieuzasadnione zaniżenie punktacji oferty
odwołującego
przy
jednoczesnym
bezpodstawnym
zawyżeniu
punktacji
oferty
Przystępującego w zakresie kryterium koncepcji, Zamawiający stwierdził że są one
gołosłowne. Nie wiadomo, na jakiej podstawie Odwołujący mówi o „skrajnie zawyżonej
punktacji” (pkt. 50). Nie jest prawdą, że koncepcja funkcjonowania czatbota opracowana
przez Przystępującego jest w całkowitym oderwaniu od Zintegrowanego Rejestru
Kwalifik
acji. Koncepcja czatbota przygotowana przez tego wykonawcę i przedstawiona w
dialogu korzysta z terminologii i zasobów danych w ZRK, zakłada także integrację z portalem
ZSK/ZRK.
Zamawiający podkreślił, że ten element koncepcji był oceniany za pomocą skali
szkolnej
– 0-5. Odejmowanie punktów za konkretne błędy wskazane w kartach ocen i
przytoczone w odwołaniu ma charakter pomocniczy, wskazujący braki uzasadniające niską
lub zerową ocenę. Podkreślenia wymaga że opracowanie dialogu z czatbotem – wbrew
peanom
na temat własnych kompetencji Odwołującego– jest minimalistyczne co do formy i
treści i obarczone licznymi błędami merytorycznymi (wskazanymi w ocenie poszczególnych
członków komisji). Niezależenie od powyższego, zwracamy uwagę że punkty zostały odjęte
tyl
ko w podkryterium adekwatności dialogu – właśnie ze względu na błędy merytoryczne,
takie jak np. podpowiedź zdobycia kwalifikacji archiwalnej – tj. niemożliwej w danym miejscu
i czasie do zdobycia
– bądź też możliwości zdobycia kwalifikacji – której bez skończenia
określonych studiów nie można pozyskać – co dla osoby szukającej pracy jest całkowicie
nieprzydatne.
Zamawiający zauważył Odwołujący kwestionuje prawo do odjęcia punktów w sytuacji,
gdy w schemacie rozmowy pojawia się błędny wybór użytkownika. Odwołujący twierdzi, że to
nie jest błąd systemu (czyli Wykonawcy), lecz błąd użytkownika, który może się zdarzyć i nie
powinien być oceniany negatywnie jako błąd Wykonawcy. Rzekomy błąd użytkownika
czatbota (który wybiera nieposiadaną przez siebie kwalifikację) w scenariuszu
przygotowanym przez Wykonawcę jest w istocie błędem Wykonawcy. Wykonawca
przygotował swój dialog w sposób oparty na błędnym wyobrażeniu wybranej przez siebie do
tego zadania jednej z trzech person posiadanych przez nią kwalifikacji, jej umiejętności i
potrzeb. Z tego względu, według Zamawiającego, należy uznać dialog za nieadekwatny
względem potrzeb persony przedstawionej w SWZ. Zamawiający wskazał, że z twierdzeniem
Odwołującego można by się zgodzić, gdyby opracowany schemat rozmowy w przypadku
takiego błędu wskazał ten błąd i naprowadził użytkownika z powrotem na właściwą ścieżkę –
zgodną z logiką postawionego zadania. Tutaj tego nie ma. Ponadto, Zamawiający wskazał,
że błędem jest wskazanie – jako możliwej do uzyskania kwalifikacji archiwalnej – czyli
niemożliwej do uzyskania w danym miejscu i czasie. Fakt, że oficjalny rejestr kwalifikacji
prezentuje takie archiwalne możliwości, podobnie jak przyszłe możliwości (czyli kwalifikacje
Sygn. akt KIO 3423/21
jeszcze niezatwierdzone, w trakcie procesu akceptacji) ni
e sanuje błędnych wyborów
dokonanych przez Wykonawcę w rozmowie – mającej zaprezentować m.in. znajomość
systemu ZSK.
W opinii Zamawiającego, gołosłowne jest również twierdzenie Odwołującego jakoby
ocena ofert była jedynie „rzekomo” niezależna. Członkowie Komisji Przetargowej dokonali
oceny indywidualnej, mieli również 2 spotkania uzgodnieniowe, nie jest wykluczone – w
czasach google’a i pracy zdalnej - że korzystano z już istniejących fragmentów opracowań –
co nie znaczy, że ocena merytoryczna była niesamodzielna. O samodzielności ocen –
chociaż nie jest to zarzut, który został podniesiony w petitum odwołania, a skoro tak to KIO
nie będzie go rozpatrywać – świadczą zacytowane w odwołaniu fragmenty ocen
indywidualnych.
Odnosząc się do zarzutów dotyczących oceny w kryterium – poprawność stosowania
terminologii ZSK, Zamawiający wskazał, że całość zarzutu jest oparta na obronie
poprawności zastosowania w ofercie zwrotu „zrealizowania kwalifikacji”. Odwołujący nie
widzi różnicy między "zrealizowaniem kwalifikacji" a "zdobywaniem kwalifikacji". Wynika to z
faktu, że w języku potocznym wyraz "kwalifikacja" jest bliskoznaczny wyrazowi
"umiejętność". Tymczasem w Zintegrowanym Systemie Kwalifikacji słowo "kwalifikacja"
dotyczy zdobywanych w procesie potwierdzania umiejętności certyfikatów oraz świadectw i
dyplomów, które są dokumentami urzędowymi, opisanymi przepisami prawa. Widać to na
przykładzie używanych sformułowań: "zdobyć świadectwo dojrzałości", "potwierdzić
kwalifikację przygotowanie deserów restauracyjnych" w odróżnieniu od niepoprawnych
sformułowań: "zrealizować świadectwo dojrzałości", "zrealizować kwalifikację przygotowanie
deserów restauracyjnych". Skutkiem "zdobycia", "potwierdzenia" kwalifikacji jest otrzymanie
przez osobę zainteresowaną odpowiedniego świadectwa, dyplomu, certyfikatu, który
uprawnia do podjęcia dalszej nauki lub pracy zawodowej. Odwołujący wymienia słowa
“zrealizować” oraz “zdobyć” jako bliskoznaczne. Dopuszczalne jest powiedzenie
“zrealizować marzenia”, ale nie jest poprawne sformułowanie “zdobyć marzenia”.
Bliskoznaczność słów nie przemawia za możliwością ich wymiennego stosowania w każdym
kontekście. Inny przykład: słowa “funkcja” i “stanowisko” są bliskoznaczne, jednakże choć
poprawne jest połączenie “pełnić funkcję”, nie jest poprawne “pełnić stanowisko” (poprawne
jest z kolei “zajmować stanowisko”, ale nie “zajmować funkcję” – zob. np. Wielki słownik
poprawnej polszczyzny).
Krajowa Izba Odwoławcza uwzględniając dokumentację z przedmiotowego
postępowania o udzielenie zamówienia publicznego, jak również oświadczenia,
stanowiska stron złożone w trakcie rozprawy, ustaliła i zważyła, co następuje:
Sygn. akt KIO 3423/21
odwołanie nie zasługiwało na uwzględnienie.
Izba stwierdziła, iż nie została wypełniona żadna z przesłanek skutkujących
odrzuceniem
odwołania na podstawie art. 528 Pzp i skierowała sprawę na rozprawę.
Ponadto Izba ustaliła, że Odwołujący posiada interes we wniesienia odwołania wynikający z
art. 505 Pzp.
Izba dopuściła do udziału w postępowaniu wykonawców wspólnie ubiegających się o
udz
ielenie zamówienia Konsorcjum: Emplocity S.A. z siedzibą w Warszawie oraz ERMLAB
Sp. z o.o. z siedzibą w Olsztynie zgłaszających przystąpienie do postępowania
odwoławczego po stronie Zamawiającego, stwierdzając, iż spełnione zostały przesłanki, o
których mowa w art. 525 ust. 1-3 Pzp.
Izba umorzyła postępowanie odwoławcze w zakresie zarzutu nr 3 odwołania
dotyczącego naruszenia art. 18 ust. 3 Pzp w zw. z art. 11 ust. 2 uznk z uwagi na wycofanie
go przez Odwołującego.
Izba dopuściła i przeprowadziła dowody z dokumentacji postępowania przekazanej
przez Zamawiającego w tym m.in. z treści referencji złożonych przez Przystępującego,
złożonego przez tego wykonawcę wykazu osób i usług, a także arkuszy ocen zarówno
Odwołującego i Przystępującego.
Izba oddaliła wnioski dowodowe złożone przez Odwołującego z opinii prywatnych
stwierdzając, że opinię prywatną uznać należy jedynie dowód tego, że osoba lub osoby,
które ją podpisały wyraziły zawarty w niej pogląd, nie korzystają one natomiast z
domnie
mania zgodności z prawdą zawartych w niej twierdzeń (por. wyrok KIO z dnia 22
maja 2020 r., sygn. akt KIO 342/20). Co ważne, taki dowód nie może mieć charakteru
przesądzającego o zasadności zarzutu odwołania. W kontekście opinii prywatnych nie
można bowiem wykluczyć swoistego „dopasowywania” opinii prywatnej do potrzeb
zlecającego czy motywu finansowego (skoro zlecono komuś wykonanie za wynagrodzeniem
stosownego opracowania w określonym celu, zleceniobiorca może czuć się w obowiązku
wykonać zamówienie, by cel ten został osiągnięty).
Na podstawie ww. dokumentów Izba ustaliła, że stan faktyczny spraw nie jest sporny
i został przedstawiony przez strony adekwatnie do treści przywołanych powyżej
dokumentów.
Izba ustaliła:
Przystępujący w trakcie postępowania przetargowego złożył Zamawiającemu
następujące referencje:
Sygn. akt KIO 3423/21
Referencja
– Grupa Żywiec S.A.: „Potwierdzamy dotychczasową współpracę z firmą
Emplocity S.A. Zrealizowana usługa polegała na zaprojektowaniu i wdrożeniu aplikacji, czyli
chatbota do komunikacji wew
nętrznej. Na nasze potrzeby przygotowana została aplikacja
desktopowa dla Windows oraz mobilna dla Android oraz panel administracyjny do
zarządzania bazą wiedzy i analizą statystyk. Prace wdrożeniowe rozpoczęły się w grudniu
2018, a wdrożenie chatbota miało miejsce w marcu 2019 roku”.
Ponadto Izba ustaliła, że Przystępujący w piśmie z dnia 27 października 2021r. złożył
oświadczenie o współpracy: „oświadcza, że w marcu 2019 wykonało usługę polegającą na
zaprojektowaniu i wyprodukowaniu chatbota wykorzystującego NLP i wspierającego
komunikację wewnętrzną dla Grupy Żywiec S.A. Na potrzeby klienta przygotowana została
aplikacja desktopowa dla Windows oraz mobilna dla Android oraz panel administracyjny do
zarządzania bazą wiedzy i analizą statystyk. Wartość realizowanej przez Emplocity S.A.
usługi wynosiła 102 367,98zł brutto.”. Do powyższego pisma został dołączony protokół
odbioru, w którym w punkcie 1 wskazano, że „etap Aplikacji „Chatbot” został zrealizowany w
ustalonym przez Strony terminie. W punkcie 2. Zleca
jący oświadczył, że: „w/w Etap został
wykonany przez Wykonawcę zgodnie z zaleceniami Zlecającego”. W punkcie 3. Zlecający
oświadczył, że „akceptuje sposób wykonania oraz funkcjonowania przedstawionego przez
Wykonawcę Etapu prac”. W przedłożonym natomiast poświadczeniu z dnia 8 marca 2021r.
Grupa Żywiec S.A. potwierdziła, że spółka Emplocity sp. z o.o. z siedzibą w Warszawie
dokonała wdrożenia aplikacji Chatbot.
Referencja
– JTI Polska sp. z o.o.: „Od lipca 2021 roku, dzięki współpracy z Emplocity
S.A., kor
zystamy z innowacyjnego narzędzia, zwanego Chatboťem, dzięki któremu osoby
zainteresowane Japan Tobacco International mogą uzyskać sprawdzone i rzetelne
informacje dotyczące naszej firmy, z dowolnego miejsca oraz urządzenia, w dowolnym
czasie, zarówno w języku polskim, jak i angielskim.
Dzięki implementacji ChatBota możemy być dostępni dla kandydatów 24 godziny na
dobę, co udowadnia, że jesteśmy przyjazną, otwartą i skupioną na ludziach organizacją.
Niniejszym rekomendujemy Emplocity S.A., jako godnego polecenia partnera
biznesowego.”.
Referencja
– ING Bank Śląski S.A.: „ING Bank Śląski S.A. potwierdza, iż
współpracuje z Firmą Emplocity S.A. z siedzibą w Warszawie (00-695) przy ulicy
Nowogrodzkiej 51. Z usług firmy Emplocity S.A. dotyczących projektowania i wdrażania
chatbotów korzystamy od grudnia 2019 roku. Usługa chatbota w naszym banku wspiera
procesy rekrutacyjne prowadzone głównie na stanowiska dedykowane młodym talentom i
stanowiska związane z obsługą klienta. Współpraca przebiega w sposób prawidłowy, w
Sygn. akt KIO 3423/21
związku z tym polecamy firmę Emplocity S.A. jako sprawdzonego dostawcę chatbotów.
Niniejszy list referencyjny obowiązuje przez okres trzech miesięcy od daty wystawienia. Po
upływie tego terminu powinien być zaktualizowany.”
Referencja
– MetLife TUnŻiR S.A.: „Pragniemy poinformować, że od sierpnia 2020
roku współpracujemy z firmą Emplocity S.A. W ramach współpracy został dla nas
zaprojektowany chatbot rekrutacyjny zamieszczony na naszej stronie www, a profile
dopasowanych kandydatów przekazywane są do naszego systemu rekrutacyjnego.
Dodatkowo wykonawca zapewnia ciągłość działania przygotowanego oprogramowania,
gwarantując spełnienie założonych funkcjonalności aplikacji chatbota wraz z utrzymaniem
pracy serwera, na którym hostowana jest aplikacja internetowa. Polecamy firmę Emplocity
S.A. jako rzetelnego i sprawdzonego partnera biznesowego”.
Referencja
– PKO Bank Polski S.A.: „(…) Firma zaprojektowała i
wyprodukowała chatbota NLP dla PKO BP S.A. Jest to chatbot rekrutacyjny tzw. Emplobot,
który prowadzi w sposób inteligentny rozmowę rekrutacyjną, tworzy unikatowy profil
kandydata i dopasowuje go do jednej z wielu otwartych rekrutacji. (…) Dotychczasowa
współpraca przebiega zadowalająco pod względem jakości świadczonych usług i rzetelnego
podejścia pracowników Firmy do wykonywania przedmiotu umowy”.
Referencja
– Transcom Worldwide Poland sp. z o.o.: „Informujemy, iż w listopadzie
2019r. firma Emplocity S.A. zaprojektowała i wyprodukowała chatbota rekrutacyjnego NLP
dla naszej organizacji. W ramach zawa
rtej umowy usługa wdrożenia obejmowała
implementację aplikacji na naszej stronie www oraz pozostałych kanałach komunikacyjnych
tj.: Facebook Ads, postach w social mediach, ogłoszeniach o pracę. Chatbot wykorzystując
machine learning oraz przetwarzanie języka naturalnego, prowadził wstępną rozmowę
rekrutacyjną z potencjalnymi kandydatami oraz analizował przesłane aplikacje.
Rekomendujemy Emplocity S.A. jako rzetelnego i godnego polecenia partnera
biznesowego.”.
Uwzględniając powyższe ustalenia Izba zważyła:
Na wstępie wskazać należy, że zgodnie z § 9 ust. 1 pkt 2 rozporządzenia Ministra
Rozwoju, Pracy i Technologii z dnia 23 grudnia 2020 r. w sprawie podmiotowych środków
dowodowych oraz innych dokumentów lub oświadczeń, jakich może żądać zamawiający od
wykon
awcy (Dz.U. z 2020 r. poz. 2415), Zamawiający w celu potwierdzenia spełniania przez
wykonawcę warunków udziału w postępowaniu lub kryteriów selekcji dotyczących zdolności
technicznej lub zawodowej, może, w zależności od charakteru, znaczenia, przeznaczenia lub
zakresu robót budowlanych, dostaw lub usług, żądać wykazu dostaw lub usług wykonanych,
a w przypadku świadczeń powtarzających się lub ciągłych również wykonywanych, w okresie
Sygn. akt KIO 3423/21
ostatnich 3 lat, a jeżeli okres prowadzenia działalności jest krótszy - w tym okresie, wraz z
podaniem ich wartości, przedmiotu, dat wykonania i podmiotów, na rzecz których dostawy
lub usługi zostały wykonane lub są wykonywane, oraz załączeniem dowodów określających,
czy te dostawy lub usługi zostały wykonane lub są wykonywane należycie, przy czym
dowodami, o których mowa, są referencje bądź inne dokumenty sporządzone przez podmiot,
na rzecz którego dostawy lub usługi zostały wykonane, a w przypadku świadczeń
powtarzających się lub ciągłych są wykonywane, a jeżeli wykonawca z przyczyn
niezależnych od niego nie jest w stanie uzyskać tych dokumentów - oświadczenie
wykonawcy; w przypadku świadczeń powtarzających się lub ciągłych nadal wykonywanych
referencje bądź inne dokumenty potwierdzające ich należyte wykonywanie powinny być
wystaw
ione w okresie ostatnich 3 miesięcy.
Przechodząc do merytorycznego rozpoznania zarzutów odwołania dotyczących
niewykazania przez Przystępującego spełnienia warunków udziału w postępowaniu w
zakresie wymaganego doświadczenia, zauważyć należy, że sprowadzały się one do
zakwestionowania jedynie treści referencji. Odwołujący wskazywał na fakt, że w treści wyżej
przytoczonych referencji brak jest wskazania, że usługi bądź dostawy zostały zrealizowane w
sposób „należyty”, a ponadto wskazywał, że ich treść nie wskazuje na zakres prac jaki został
zrealizowany przez Przystępującego.
Podkreślić więc po pierwsze należy, że referencje nie są wystawiane na potrzeby
konkretnego postępowania, ale mają charakter ogólny, nie można zatem wymagać i
egzekwować od wykonawcy, aby z ich treści wynikało spełnienie konkretnego,
zindywidualizowanego warunku. Dokument referencji nie musi też wprost zawierać
stwierdzenia, że określona dostawa lub usługa została wykonana należycie, bowiem istotne
jest, aby z treści dokumentu wynikała prawidłowość wykonania dostawy lub usług. Zauważyć
należy, że przez należyte wykonanie zamówienia należy rozumieć zgodnie z art. 355 § 1
kodeksu cywilnego staranność ogólnie wymaganą w stosunkach danego rodzaju, przy czym
ocena należytej staranności powinna uwzględniać całokształt zachowań dłużnika, a nie tylko
prawidłowe techniczne wykonanie czynności. Dokument referencyjny musi posiadać treść,
niezależnie czy w postaci stwierdzenia wprost czy też opisowy, ale pozwalający na
wyciągnięcie wniosku wynikającego z przepisu § 9 ust. 1 pkt 2 ww. rozporządzenia o
należytym wykonaniu lub wykonywaniu dostawy lub usługi.
W ocenie Izby analiza przedłożonych na wezwanie Zamawiającego referencji, a także
protokołu odbioru i poświadczenia pochodzącego od spółki Grupa Żywiec S.A. pozwala
uznać, że usługi w sposób szczegółowy opisane przez Przystępującego w złożonym wykazie
usług zostały wykonane należycie, pomimo braku takiego właśnie określenia. Nawet bowiem
jeśli w protokołach odbioru czy referencjach nie zamieszczono sformułowania „należyte
wykonanie”, to należało ocenić, czy przedstawione tam informacje zawierają taką ocenę
Sygn. akt KIO 3423/21
wyrażoną przy użyciu innych sformułowań. Jeśli odbiorca dostawy oświadcza, że odebrał ją
bez zastrzeżeń, to znaczy to tyle, że nie było zastrzeżeń co do jakości jej wykonania, czyli że
wykonano ją należycie. W ocenie Izby natomiast, z przedłożonych przez Przystępującego
dokumentów powyższe okoliczności w sposób nie budzący żadnych wątpliwości wynikają.
Kolejno wskazać należy, że z treści referencji nie musi wynikać szczegółowy opis
zakresu zamówienia. Zdaniem Izby Odwołujący błędnie i w sposób nieuzasadniony wymaga,
aby treść referencji zawiera informacje, żądane przez Zamawiającego na potwierdzenie
spełnienia warunku udziału w postępowaniu, albowiem potwierdzeniem spełnienia warunku
jest oświadczenie wykonawcy w formie wykazu, a referencje mają za zadanie potwierdzać
jedynie prawidłowość wykonywanej usługi referencyjnej. Powyższe potwierdzają wprost
przepisy Pzp i ww. rozporządzenia. Nie może zatem ulegać najmniejszej wątpliwości, że
dokumentem potwierdzającym zakres wykonanych usług jest wykaz usług wraz z podaniem
ich wartości, przedmiotu, dat wykonania i podmiotów, na rzecz których dostawy lub usługi
zostały wykonane.
Również za bezzasadny Izba uznała zarzut dotyczący wystawienia referencji przez
drugiego członka Konsorcjum. Podkreślić należy, że jak wskazał na rozprawie
Przystępujący, referencje zostały wystawione przez spółkę Ermlab za zrealizowanie usługi,
która wykonana została przed zawarciem umowy Konsorcjum. Już to potwierdza więc, że w
postępowaniu nie ma miejsca wystawienie referencji „samej sobie”.
Tym samym zarzuty Odwołującego w tym zakresie, należało uznać za bezzasadne.
Odnosząc się do zarzut dotyczącego niespełnienia przez Przystępującego warunku
dotyczącego posiadania przez personel odpowiednich kwalifikacji, wskazać należy, że
zgodnie z rozdziałem § 7 ust. 1 pkt 4 ppkt B.6 SWZ w zakresie kwalifikacji personelu
Zamawiający wskazał, że uzna warunek za spełniony jeżeli Wykonawca wykaże, że
dysponuje lub będzie dysponował osobami które będą uczestniczyć w realizacji zamówienia,
spełniającymi poniższe wymagania: Anotator (4 osoby) - posiada doświadczenie w realizacji
co najmniej 2 (dwóch) usług polegających na anotacji danych (przygotowaniu danych tak,
aby mogły one stanowić dane treningowe dla algorytmów uczenia maszynowego), które to
usługi zostały ukończone w ciągu 3 lat przed terminem składania ofert (lub jeżeli okres
prowadzenia działalności jest krótszy, w tym okresie).
Izba ustaliła, że z złożonym przez Przystępującego wykazie wskazał on na
stanowisko anotatora konkretne osoby, podając przy ich nazwiskach następujące
doświadczenie: przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i
predykcji sytuacji kryzysowych w ser
wisach społecznościowych, oraz przygotowanie zbiorów
danych na potrzeby treningu algorytmów segmentacji użytkowników Internetu.
W opinii Izby doświadczenie to w pełni koresponduje z tak postawionym przez
Zamawiającego warunkiem udziału w postępowaniu. Izba stwierdziła, że fakt, że p. Stefaniak
Sygn. akt KIO 3423/21
jest programistą w żaden sposób nie wyklucza on możliwości wykonywania pracy anotatora.
W SWZ taki zakaz się nie znalazł. Co więcej Zamawiający nie postawił żadnych innych
oczekiwań dotyczących wykształcenia tych osób, a więc jeżeli Przystępujący miał
wątpliwości co do sformułowania brzmienia warunku, np. poprzez konieczność poszerzenia
wymagań w tym zakresie winien był skorzystać w odpowiednim czasie z przysługujących w
postępowaniu przetargowym środków ochrony prawnej. Zamawiający również – co istotne –
samodzielnie zdefiniował co należy rozumieć pod pojęciem anotacji, więc wszelkie wywody
Odwołującego w tym zakresie, jak też formułowanie własnej definicji tego pojęcia są
nieuprawnione. Podkreślić bowiem należy, że obowiązkiem Zamawiającego jest dokonanie
oceny ofert przez pryzmat szczegółowych postanowień SWZ.
W konsekwencji powyższych rozważań Izba oddaliła ww. zarzut.
Izba za niezasadne uznała też zarzuty kwestionujące prawidłowość oceny jego oferty
oraz oferty złożonej przez Przystępującego.
Izba ustaliła, że Zamawiający w § 16 pkt 3 SWZ „Kryterium 3 „Koncepcja (diagram w
oparciu o zadanie z personą i przykładami kwalifikacji” (35 pkt)” Zamawiający ustalił, że
zadaniem Wykonawcy jest opracowanie fragmentu koncepcji funkcjonowania czatbota w
ramach modułu Wirtualnego Asystenta Doradztwa Zawodowego. Dla wybranego spośród 3
przytoczonych w załączniku nr 9 do SWZ przykładów opisów osób (person) korzystających z
czatbota (jej potrzeb oraz oczekiwań) oraz przy wykorzystaniu źródła danych, na podstawie
których czatbot powinien udzielać odpowiedzi na pytania tej osoby (kwalifikacje z ZRK oraz
informacje z portalu www.kwalifikacie.edu.pl), należy przygotować koncepcję, która będzie
zawierać:
-
proponowany schemat rozmowy (tzw. flow) osoby z czatbotem (dialog
zawierający 30 par pytań i odpowiedzi) obejmujących:
-
pytania zadawane przez osobę korzystającą z czatbota; o pytania, które zada
czatbot (pytania otwarte lub opcje wyboru) pozwalające doprecyzować zakres udzielanej
odpo
wiedzi; o propozycję treści odpowiedzi udzielanych przez czatbota (tekst, odesłania do
materiałów, propozycje zapoznania się z treściami z ZRK — np. konkretny fragment opisu
danej kwalifikacji, odesłania do zewnętrznych źródeł wiedzy, narzędzi lub aplikacji); o
propozycję dodatkowych tematów rozmowy, które może zaproponować czatbot; opis
funkcjonalności czatbota, które zostały wykorzystane w rozmowie (np. pytania zamknięte,
pozwalające doprecyzować zakres udzielanej odpowiedzi, odesłania do określonych źródeł
informacji) z uzasadnieniem ich zastosowania oraz krótkim wskazaniem, w jaki sposób mogą
zostać wdrożone (np. integracja z innymi aplikacjami, zastosowanie określonej technologii,
opis powinien zawierać do 5 funkcjonalności kluczowych z perspektywy opracowywanego
Sygn. akt KIO 3423/21
schematu rozmowy i nie powinien być dłuższy niż 5400 znaków (3 strony znormalizowanego
maszynopisu).
Jednocześnie Zamawiający ustalił, że każdy z członków Komisji Przetargowej dokona
indywidualnie oceny w następujący o sposób:
ZRK Zintegrowany Rejestr Kwalifikacji
-
schemat rozmowy z czatbotem
— 15 punktów, w tym:
-
adekwatność informacji udzielanych przez czatbota (= na ile odpowiadają na
potrzeby osoby korzystającej z czatbota) — 0-5 punktów;
- wskazanie kluczowych dla danej osoby informa
cji wyjaśniających prezentowane
przez czatbota treści (np. definicje, wyjaśnienia pojęć, wskazówki jak rozumieć dane treści)
— 0-5 punktów;
-
zastosowanie adekwatnych sposobów pozwalających na doprecyzowanie zakresu
informacji udzielanych osobie
— 0-5 punktów .
punkty w zakresie 0-5 - przyznawane wg. skali szkolnej
opis funkcjonalności czatbota — 15 punktów, w tym:
-
3 punkty za każdą funkcjonalność, która została wskazana, o ile uzasadniono
jej zastosowanie w odniesieniu do potrzeb osoby
korzystającej z czatbota (2 punkty) oraz
wskazano, w jaki sposób może zostać wdrożona (1 punkt). Ocenie podlegać będzie 5
pierwszych opisanych funkcjonalności. Jeżeli w ofercie znajdzie się więcej niż 5
funkcjonalności, pozostałe nie będą brane pod uwagę przy ocenie oferty.
-
poprawność stosowania terminologii ZSK— 5 punktów (zasada odejmowania
punktów za niepoprawnie używaną terminologię):
-
-
1 punkt za każdy błąd w używaniu terminologii ZSK w dialogach, zawężając
ocenę do wypowiedzi udzielanych przez czatbot.
Izba ustaliła ponadto, że w karcie oceny sporządzonej przez p. Marcina
Będkowskiego
Przyznano w kryterium adekwatność – 0, informacje wyjaśniające – 5, adekwatność
sposobów na doprecyzowanie – 5.
Oceniający za nieadekwatne rekomendacje uznał w zachowaniu czatbota:
a) polecenie kwalifikacji archiwalnej Świadczenie usług pielęgnacyjno-opiekuńczych
osobie chorej i samodzielnej (od 2019)
– kwalifikacji tej nie można zdobyć,
b) polecenie kwalifikacji Pielęgniarstwo ze szkolnictwa wyższego II stopnia osobie,
która nie posiada dyplomu I stopnia (opisany użytkownik czatbota, absolwent szkoły
policealnej, nie będzie w stanie jej zdobyć),
c) czatbot udziela informacji o kwalifikacji II stopnia i podaje nieadekwatne informacje
o wymaganiach dla tej kwalifikacji: z
najomość języka obcego na poziomie B1 i świadectwo
ukończenia szkoły średniej,
Sygn. akt KIO 3423/21
d) udzielenie informacji o zarobkach na podstawie Ekonomicznych Losów
Absolwentów dla kwalifikacji branżowej Świadczenie usług pielęgnacyjno-opiekuńczych
osobie chorej i samodzielnej (od 2019)
– ELA obejmuje informacje dotyczące kwalifikacji ze
szkolnictwa wyższego, ale nie branżowego,
e) czatbot błędnie uznaje, że M. posiada kwalifikację Świadczenie usług
pielęgnacyjno-opiekuńczych osobie starszej. Zgodnie z opisem persony posiada on
kwalifikację Opiekun w domu pomocy społecznej.
Za każdą nieadekwatność odjęto 1 punkt, łącznie 5 (…)
W dialogu pojawia się błąd „zrealizować kwalifikację” – kwalifikację można zdobyć: -1
punkt. Czatbot wymienia jako kwalifikację „świadectwo ukończenia szkoły średniej”, podczas
gdy w ZSK funkcjonuje kwalifikacja o nazwie „Świadectwo dojrzałości“: -1 punkt.
Izba ponadto ustaliła, że w karcie oceny sporządzonej przez p. M.K. wskazano w
odniesieniu do schematu rozmowy z chatbotem, iż jest on częściowo adekwatny do opisu
persony. Oceniająca przyznała w podkryterium adekwatność informacji – 0 pkt wskazując:
1.
Niezgodnie z opisem persony, rozmówca chatbota błędnie wskazuje
posiadaną kwalifikację – wskazuje Świadczenie usług opiekuńczo – wspierających osobie
starszej zamiast Opiekun w domu społecznym. Błąd ten determinuje dalszy przebieg
wywiadu
– osoba nie uzyskuje informacji adekwatnych do swoich potrzeb.
2.
Błędnie wskazana kwalifikacja: Świadczenie usług pielęgnacyjno -
opiekuńczych osobie chorej i samodzielnej jest kwalifikacją archiwalną
3.
Błędnie wskazana kwalifikacja: Pielęgniarstwo studia II stopnia - chatbot nie
wskazuje, że wymagane są studia I stopnia poprzedzające studia II stopnia
4.
Błędnie wskazana kwalifikacja: Ratownik medyczny - szkolnictwo zawodowe -
nieadekwatnie do potrzeb, rozmówca szuka pracy, jest absolwentem szkoły policealnej
Kluczowe informacje wyjaśniające – 5 pkt
Sposoby doprecyzowania informacji
– 5 pkt
(…) Zrealizować kwalifikację – błędnie użyto sformułowanie, świadectwo szkoły
średniej zamiast świadectwo dojrzałości – błędnie użyto sformułowanie.
W karcie oceny sporządzonej przez p. J.R.-W. wskazano: „Adekwatność informacji –
czatbot proponuje rozmówcy: 1) kwalifikację ze szkolnictwa zawodowego – archiwalną, a
więc taką, której już nie można pozyskać, opis jest dostępny na stronie ZRK, czatbot nie
reflektuje się, że ta informacja jest nieadekwatna i podaje dalsze informacje, 2) czatbot
proponuje studia jednolite (5-
letnie), jako przykład konkretnej realizacji studiów wskazuje
jednak studia II stopnia (2-
letnie), jako wymaganie do podjęcia wskazanych studiów podaje
świadectwo ukończenia szkoły średniej – co nie jest precyzyjne, ponieważ są różne
Sygn. akt KIO 3423/21
świadectwa, zapewne chodziło o świadectwo dojrzałości oraz certyfikat z języka obcego –
nie wiadomo, na jakiej podstawie, opis kwalifikacji nie wprowadza takiej informacji
– oba
wymagania są błędne w kontekście studiów II stopnia, które podejmuje się po studiach I
stopnia, a więc wymagają dyplomu ukończenia studiów I stopnia, 3) czatbot wskazuje
kwalifikację ze szkolnictwa zawodowego, którą można uzyskać po ukończeniu 2-letniej
szkoły policealnej oraz po uzyskaniu kwalifikacji poprzedzającej – jest to nieadekwatna
informacja dla rozmówcy, który już ukończył edukację (również policealną) i szuka pracy:
0,0”. Ponadto oceniająca wskazała: „czatbot pyta: „którą kwalifikację zrealizowałeś?” – nie
można „zrealizować” kwalifikacji – można ją pozyskać, posiadać -1,0 czatbot wymienia
“świadectwo ukończenia szkoły średniej” w kontekście podjęcia studiów II stopnia – pojęcie
takiego świadectwa jest zbyt szerokie, błąd terminologiczny polega na tym, że takiej
kwalifikacji nie ma, w kontekście studiów powinien posługiwać się terminem świadectwo
dojrzałości -1,0”.
Izba uznała po pierwsze, że Odwołujący w żaden sposób nie wykazał, że koncepcja
funkcjonowania czatbota opracowana przez Przystępującego jest w całkowitym oderwaniu
od Zintegrowanego Rejestru Kwalifikacji. Fakt, że według Odwołującego, Przystępujący nie
posiada odpowiednich kwalifikacji, kompeten
cji i doświadczenia, aby przygotować koncepcję
funkcjonowania czatbotu w sposób, który umożliwiałby jej ocenienie na zasadzie
maksymalną liczbą punktów nie może uzasadniać postawionego zarzutu. Izba podzieliła
stanowisko Zamawiającego, że koncepcja czatbota przygotowana przez Emplocity i
przedstawiona w dialogu korzysta z terminologii i zasobów danych w ZRK, zakłada także
integrację z portalem ZSK/ZRK, jednakże z uwagi na objęcie tajemnicą przedsiębiorstwa
całości koncepcji, niemożliwe jest na tym etapie odniesienie się do jej treści i założeń.
W odniesieniu do oceny oferty Odwołującego dla „kryterium adekwatność" to jak
wynika z SWZ oceniana była w tym kryterium adekwatność informacji udzielanych przez
czatbota, tzn. na ile odpowiadają na potrzeby osoby korzystającej z czatbota. W ocenie Izby
skoro np. jak wynika z karty oceny czatbot w sposób nieprawidłowy udzielał informacji o
kwalifikacji II stopnia i podawał nieadekwatne informacje o wymaganiach dla tej kwalifikacji:
znajomość języka obcego na poziomie B1 i świadectwo ukończenia szkoły średniej, to
istniały podstawy do uznania, że informacje te są dla użytkownika nieadekwatne. W opinii
Izby wszelkie przytoczone w kartach ocen zarzuty co do nieadekwatności przygotowanej
koncepcji uzasadniały brak przyznania. Członkowie komisji w sposób wyraźny wskazali w
kartach ocen, że w ich ocenie uwzględnione zostały stwierdzone przez nich
nieprawidłowości, mankamenty w przygotowaniu koncepcji.
Izba stwierdziła ponadto, że fakt, iż w kartach ocen sporządzonych przez różne osoby
znalazły się podobne argumenty w zakresie nieprawidłowości koncepcji, świadczy jedynie o
Sygn. akt KIO 3423/21
tym, że każda z osób oceniających dostrzegła te same mankamenty przygotowanej
koncepcji, co jednoznacznie potwierdza, że nieprawidłowości te były od razu zauważalne i
istotne. Nie świadczyły natomiast o niesamodzielnej ocenie.
Ponadto Izba stwierdziła, że skoro w kryterium „poprawność stosowania terminologii
ZSK” oceniane było jak wynika z SWZ wskazanie kluczowych dla danej osoby informacji
wyjaśniających prezentowane przez czatbota treści (np. definicje, wyjaśnienia pojęć,
wskazówki jak rozumieć dane treści), to w ocenie Izby posługiwanie się przez Odwołującego
pojęciami jak np. „zrealizowanie kwalifikacji” było nieprawidłowe, z uwagi na fakt, że
powyższe sformułowanie nie występuje w takiej konfiguracji w języku potocznym. W związku
z czym nie można uznać, że Odwołujący w sposób prawidłowy zastosował określoną
terminologię, a wszelkie odstępstwa od wymagań Zamawiającego musiały być oceniane
proporcjonalnie do ich znaczenia i wagi przewidzianej w SWZ.
Izba nie stwierdziła zatem nieprawidłowej oceny przez Komisję przetargową oferty
Przystępującego i Odwołującego stwierdzając, że przyznane punkty uwzględniały popełnione
błędy, a więc nie doszło do naruszenia przepisu art. 239 ust. 1 Pzp.
Mając powyższe na względzie orzeczono jak w sentencji.
O kosztach postępowania odwoławczego Izba orzekła na podstawie art. 557 i 575
Pzp.
Przewodniczący: ……………………………………………………
1.
umarza postępowanie odwoławcze w zakresie zarzutu nr 3 odwołania dotyczącego
naruszenia art. 18 ust. 3 ustawy
– Prawo zamówień publicznych w zw. z art. 11 ust. 2
ustawy o zwalczaniu nieuczciwej konkurencji w związku z jego wycofaniem przez
Odwołującego;
2.
oddala odwołanie;
3.
kosztami postępowania odciąża Odwołującego i zalicza w poczet kosztów
postępowania kwotę 15 000 zł 00 gr (piętnaście tysięcy złotych zero groszy) uiszczoną
przez Odwołujących tytułem wpisu od odwołania.
Stosownie do art. 579 i 580 ust. 1 i 2 ustawy z dnia 11 września 2019 r. - Prawo
zamówień publicznych (Dz. U. z 2021 r., poz. 1129 ze zm.) na niniejszy wyrok - w terminie
14 dni od dnia jego doręczenia - przysługuje skarga za pośrednictwem Prezesa Krajowej
Izby Odwoławczej do Sądu Okręgowego w Warszawie.
Sygn. akt KIO 3423/21
Przewodniczący:……………………………………
UZASADNIENIE
Zamawiający - Instytut Badań Edukacyjnych w Warszawie prowadzi na podstawie
przepisów ustawy z dnia 11 września 2019r. – Prawo zamówień publicznych (Dz.U. z 2021r.,
poz. 1129 ze zm.; dalej: „Pzp”) postępowanie o udzielenie zamówienia publicznego w
zakresie wykonania narzędzia do automatycznego wspomagania doradztwa, tj. usługi
teleinformatycznej wspomagającej doradztwo zawodowe i wspomagające osoby w
planowaniu uczenia się przez całe życie za pomocą rozwiązań sztucznej inteligencji -
"Wirtualny asystent".
Ogłoszenie o zamówieniu zostało opublikowane w Dzienniku Urzędowym Unii
Europejskiej pod numerem 2021/S 174-
454136 w dniu 8 września 2021 r.
W dniu 22 listopada 2021r. wykonawcy wspólnie ubiegający się o udzielenie
zamówienia Konsorcjum: Sages Sp. z o.o. z siedzibą w Warszawie, Instytut Podstaw
Informatyki PAN z siedzibą w Warszawie oraz Talkie Sp. z o.o. z siedzibą w Gdańsku wnieśli
do Pr
ezesa Krajowej Izby Odwoławczej odwołanie, w którym zarzucili Zamawiającemu:
1.
naruszenie art. 226 ust. 1 pkt. 5 Pzp, poprzez dokonanie nieprawidłowej
czynności badania i oceny oferty wykonawców wspólnie ubiegających się o udzielenie
zamówienia Konsorcjum: Emplocity S.A. z siedzibą w Warszawie oraz Ermlab sp. z o.o. z
siedzibą w Olsztynie (dalej: „Przystępujący”) w zakresie spełniania warunków udziału w
postępowaniu, a w konsekwencji zaniechanie dokonania czynności wykluczenia
Przystępującego z postępowania i odrzucenia oferty złożonej przez tego wykonawcę,
pomimo, iż Przystępujący nie wykazał, że spełnia wskazane w SWZ warunki udziału w
postępowaniu w zakresie wymaganego doświadczenia oraz legitymowania się przez
personel
tego
wykonawcy
wyznaczony
do
reali
zacji zamówienia odpowiednimi
kwalifikacjami,
2.
naruszenie art. 239 ust. 1 Pzp, poprzez dokonanie nieprawidłowej czynności
badania i oceny oferty Odwołującego oraz oferty Przystępującego w zakresie kryterium
dotyczącego koncepcji funkcjonowania chatbota, poprzez nieuzasadnione obniżenie
punktacji oferty Odwołującego w ramach ww. kryterium przy jednoczesnym bezpodstawnym
zawyżeniu oceny Przystępującego w tym samym zakresie,
3.
naruszenie art. 18 ust. 3 p.z.p. w zw. z art. 11 ust. 2 ustawy z 16 kwietnia
19
93r. o zwalczaniu nieuczciwej konkurencji („dalej: „uznk”), poprzez zaniechanie odtajnienia
całości dokumentacji złożonej przez Przystępującego w postępowaniu wraz z ofertą, pomimo
niewykazania przez tego wykonawcę, iż dokumentacja złożona w postępowaniu stanowi
tajemnicę jego przedsiębiorstwa.
Sygn. akt KIO 3423/21
W związku z powyższymi zarzutami Odwołujący wniósł o uwzględnienie odwołania w
całości oraz nakazanie Zamawiającemu:
a.
odtajnienia pełnej treści wszelkich dokumentów złożonych w postępowaniu
przez Przystępującego wraz z ofertą,
b.
dokonania ponownej oceny ofert złożonych w postępowaniu i w ramach tej
ponownej oceny ofert: (i) dokonanie wyboru oferty Odwołującego jako najkorzystniejszej w
postępowaniu w oparciu o obowiązujące w postępowaniu kryteria oceny ofert, a także (ii)
wykluczenie Przystępującego z postępowania i odrzucenie oferty Przystępującego jako
niespełniającej warunków określonych w SWZ,
Uzasadniając zarzuty odwołania, Odwołujący wskazał, że Zamawiający w § 7 SWZ
wskazał na szereg warunków, które muszą zostać spełnione, aby wykonawca mógł
skutecznie ubiegać się o udzielenie zamówienia w postępowaniu. W zakresie posiadania
przez wykonawcę niezbędnych zdolności technicznych i zawodowych wskazanych w § 7 ust.
pkt 4 SWZ Zamawiający wprowadził warunek dotyczący posiadania przez wykonawcę
odpowiedniego doświadczenia oraz legitymowania się przez jego personel odpowiednimi
kwalifikacjami. W ocenie Odwołującego oferta Przystępującego nie spełnia wskazanych
przez Zamawiającego wymogów legitymowania się przez wykonawcę zarówno odpowiednim
potencjałem w zakresie niezbędnego doświadczenia, jak i odpowiednimi kwalifikacjami
personelu mającego realizować zamówienie.
Odwołujący wyjaśnił, że w ramach tego warunku Zamawiający w § 7 ust. 1 pkt 4 ppkt
A (ii) SWZ wskazał, że wymaga od wykonawcy, aby wykazał, „że w okresie ostatnich trzech
lat przed upływem składania ofert (a jeżeli okres prowadzenia działalności jest krótszy – w
tym okresie), należycie wykonał: co najmniej 3 usługi polegające na zaprojektowaniu i
wyproduko
waniu chatbota wykorzystującego NLP o łącznej wartości co najmniej 200.000,00
złotych” .
Na potwierdzenie spełniania ww. wymagań wykonawca zgodnie z § 8 ust. 2 pkt 7
SWZ zobowiązany był do przedstawienia m.in. „dowodów określających, czy te dostawy lub
us
ługi zostały wykonane lub są wykonywane należycie, przy czym dowodami, o których
mowa, są referencje bądź inne dokumenty sporządzone przez podmiot, na rzecz którego
dostawy lub usługi zostały wykonane”. Przystępujący w ramach swojej oferty przedstawił
szer
eg referencji, które jednak w ocenie Odwołującego nie potwierdzają spełniania przez
niego warunków wskazanych przez Zamawiającego w SWZ.
Odnosząc się do referencji wystawionej przez Grupę Żywiec S.A. Odwołujący
wskazał, że nie wskazuje ona, że czatbot, który został zrealizowany przez Przystępującego
dla tego podmiotu w jakikolwiek sposób wykorzystywał metody z dziedziny NLP wymaganej
przez Zamawiającego. Dodatkowo nie zostało wskazane, że prace zrealizowane przez
Sygn. akt KIO 3423/21
Przystępującego zostały wykonane w sposób „należyty”. Wątpliwości Odwołującego budzi
także zakres zrealizowanych prac przez tego wykonawcę. Zamawiający w SWZ wymaga
potwierdzenia wykonania prac w przedmiocie zaprojektowania i wyprodukowania chatbota.
Referencja przedstawiona przez Przystępującego wskazuje natomiast na wykonanie prac
dotyczących zaprojektowania i wdrożenia chatbota, co nie jest spójne z warunkami SWZ.
Odnosząc się do referencji – JTI Polska sp. z o.o. Odwołujący również stwierdził, że
nie wskazuje ona, że czatbot, który został zrealizowany przez Przystępującego dla tego
podmiotu w jakikolwiek sposób wykorzystywał metody z dziedziny NLP wymaganej przez
Zamawiającego. Dodatkowo nie zostało wskazane, że prace zrealizowane przez
Przystępującego zostały wykonane w sposób „należyty”. Referencja ta w żaden też sposób
nie wskazuje na zakres prac jaki został zrealizowany przez Przystępującego. Z tego względu
nie jest możliwa weryfikacja czy wykonawca ten w rzeczywistości dysponuje
doświadczeniem w zakresie projektowania i wyprodukowania czatbota wykorzystującego
technikę NLP.
Również w opinii Odwołującego referencja wystawiona przez ING Bank Śląski S.A.
nie wskazuje, że czatbot, który został zrealizowany przez Przystępującego dla tego podmiotu
w jakikolwiek sposób wykorzystywał metody z dziedziny NLP wymaganej przez
Zamawiającego. Dodatkowo nie zostało wskazane, że prace zrealizowane przez
Przystępującego zostały wykonane w sposób „należyty”. Wątpliwości Odwołującego budzi
także zakres zrealizowanych prac przez tego wykonawcę. Zamawiający w SWZ wymaga
potwierdzenia wykonania prac w przedmiocie zaprojektowania i wyprodukowania czatbota.
Referencja przedstawiona przez Przystępującego wskazuje natomiast na wykonanie prac
dotyczących zaprojektowania i wdrożenia chatbota, co nie jest spójne z warunkami SWZ.
Tożsame zastrzeżenia Odwołujący podniósł do referencji wystawionych przez
MetLife TUnŻiR S.A. oraz PKO Bank Polski S.A. Transcom Worldwide Poland sp. z o.o.
Odwołujący podkreślił ponadto, że łączna wartość zrealizowanych prac wynosi 208
762,98 zł brutto. Zamawiający z kolei wymagał legitymowania się przez wykonawcę
wykonaniem co najmniej 3 usług polegających na zaprojektowaniu i wyprodukowaniu
chatbota wykorzystującego NLP o łącznej wartości co najmniej 200.000.00 zł. Oznacza to,
że stwierdzenie, iż chociaż jedna (którakolwiek) z referencji przedstawionych przez
Przystępującego w ramach swojej oferty nie potwierdza legitymowania się przez tego
wykonawcę wymaganym doświadczeniem, prowadzi wprost do uznania, że Przystępujący
nie spełnia warunku udziału w postępowaniu w zakresie koniecznego doświadczenia.
Łączna bowiem wartość pozostałych zrealizowanych projektów przez tego wykonawcę nie
przekroczy wymaganej wartości 200 000,00 zł.
Dodatkowo Odwołujący wskazał, że referencje przedstawione przez spółkę Ermlab
sp. z.o.o (członek konsorcjum Przystępującego) w ramach postępowania dotyczące (i) usługi
Sygn. akt KIO 3423/21
anotacji danych oraz (ii) opracowania automatycznej sztucznej inteligencji wykorzystującej
sieci neuronowej zostały wystawione przez spółkę Emplocity S.A., czyli konsorcjanta spółki
Ermlab sp. z.o.o w postępowaniu. Oznacza to de facto, że te referencje były wystawiane w
formule „samej sobie”, przez członka konsorcjum na rzecz drugiego członka tego samego
konsorcjum. Co jeszcze istotne to fakt, że obie referencje zostały wystawione 21
października 2021 r. co wprost wskazuje, że zostało to przeprowadzone wyłącznie na
potrzeby Postępowania i wykazania, że zostały spełnione warunki udziału w nim. W opinii
Odwołującego powyższe sprawia, że referencje te są całkowicie niewiarygodne i w żaden
sposób nie potwierdzają posiadania przez Ermlab sp. z o.o. odpowiedniego doświadczenia
wymaganego przez Zamawiającego. Samo zaś udzielanie referencji wewnątrz
konsorcjalnych celem uzyskania korzyści w postaci spełnienia warunku udziału w
Postępowaniu powinno być przedmiotem szczególnie wnikliwego badania przez
Zamawiającego.
Następnie Odwołujący wskazał, że Zamawiający w § 7 ust. 1 pkt 4 ppkt B (6) SWZ
wskazał, że wymaga od wykonawcy, aby wykazał, „że dysponuje lub będzie dysponował
osobami które będą uczestniczyć w realizacji zamówienia, spełniającymi poniższe
wymagania:
Anotator -
Wymagane kwalifikacje: Posiada doświadczenie w realizacji co najmniej 2
(dwóch) usług polegających na anotacji danych (przygotowaniu danych tak, aby mogły one
stanowić dane treningowe dla algorytmów uczenia maszynowego), które to usługi zostały
ukończone w ciągu 3 lat przed terminem składania ofert” .
Odwołujący podkreślił, że Przystępujący na potwierdzenie spełniania ww. warunku
przedstawi
ło wykaz osób, które uczestniczyłyby w wykonywaniu zamówienia wraz z
informacją na temat ich kwalifikacji zawodowych, doświadczenia i wykształcenia
niezbędnego do wykonania zamówienia, a także zakresu wykonywanych przez nie
czynności:
− M.S. (Programista z 4-letnim doświadczeniem. Ukończył studia informatyczne na
Uniwersytecie Warmińsko-Mazurskim w Olsztynie. Zajmuje się tworzeniem i rozwojem
oprogramowania systemów informatycznych przeznaczonych do przetwarzania i analizy
zbiorów danych. Interesuję się hobbystycznie analizą numeryczną.)
i.
Przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i
predykcji sytuacji kryzysowych w serwisach społecznościowych,
ii.
Przygotowanie zbiorów danych na potrzeby treningu algorytmów segmentacji
użytkowników Internetu,
− P.B. (Absolwentka Uniwersytetu Warmińsko - Mazurskiego w Olsztynie na kierunku
dziennikarstwo i komunikacja społeczna. Specjalista ds. content marketingu, team lider i
Sygn. akt KIO 3423/21
copywriter kreatywny. Łączy analityczne myślenie z twórczością kreatywną. Od kilku lat
związana z branżą emarketingu)
i.
Przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i
predykcji sytuacji kryzysowych w serwisach społecznościowych,
ii.
Przygotowanie zbiorów danych na potrzeby treningu algorytmów segmentacji
użytkowników Internetu,
− I.P. (Absolwentka studiów licencjackich na kierunku dziennikarstwo i komunikacja
społeczna na Uniwersytecie Warmińsko - Mazurskim w Olsztynie. Redaktorka serwisów
internetowych. Główne zainteresowania to social media, copywriting i content marketing.)
i.
Przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i
predykcji sytuacji kryzysowych w serwisach społecznościowych,
ii.
Przygotowanie zbiorów danych na potrzeby treningu algorytmów segmentacji
użytkowników Internetu
W ocenie Odwołującego jednak żadna z ww. osób nie legitymuje się odpowiednim
doświadczeniem oraz kwalifikacjami wymaganymi przez Zamawiającego i spełniającym
warunki wskazane w SWZ. W powyższym bowiem zakresie – co należy wyraźnie podkreślić
– nie każde przygotowanie zbiorów danych na potrzeby treningu algorytmów jest
przeprowadzane w kontekście anotacji. Anotacja stanowi bowiem szczególny rodzaj
specjalizacji i usługi. Anotator danych, w kontekście danych tekstowych jest bowiem osobą o
wiedzy i doświadczeniu najczęściej z obszaru lingwistyki, językoznawstwa, wiedzy o języku,
która postępując według ustalonych instrukcji anotacji dokonuje znakowania tekstu.
Znakowanie może polegać na: dzieleniu tekstu na paragrafy, zdania i segmenty, opisywania
segmentów dodatkowymi informacjami, takimi jak znaczniki (tagi), łączenia segmentów
relacjami (tworzeniu struktur grafowych), a także poprawiania istniejącego tekstu. Czynność
ta wykonywana jest poprzez bezpośrednią pracę ręczną anotatora, z wykorzystaniem
dedykowanego oprogramowania, może być też wspomagane przez sugestie generowane
przez systemy automatyczne.
Odwołujący zauważył, że istotną częścią zamówienia opisaną w OPZ są prace
anotacyjne, które przewidziane zostały do zrealizowania przez potencjalnego wykonawcę.
Zgodnie z OPZ (część II, p. 2) w celu realizacji funkcjonalności nazwanej Przewodnik po
Zintegrowanym Systemie Kwalifikacji: „Zamawiający dostarczy zbiór dokumentów, które
powinny służyć trenowaniu opisanego modułu – w serwisie znajdują się obecnie 54
publikacje: dokumenty w formacie PDF oraz MS Word. Zawierają one tekst, tabele oraz
schematy (np. instrukcje postępowania, kolejne kroki instytucji wprowadzających
kwalifikacje, itp.). Ocenia się, że zbiór publikacji posłuży do przygotowania około 200 intencji.
Zadaniem Wykonawcy jest anotowanie wskazanych publikacji. W tym celu Wykonawca
opracuje klucz oraz wykorzystując opracowany klucz, pilotażowo anotuje 3 wskazane przez
Sygn. akt KIO 3423/21
Zamawiającego publikacje. Zarówno klucz, jak i wyniki pilotażowego anotowania będą
przedmiotem konsultacji z Zamawiającym i posłużą opracowaniu ostatecznego rozwiązania,
służącego anotowaniu przez Wykonawcę wszystkich 54 publikacji". Z kolei w celu realizacji
funkcjonalności nazwanej „Wirtualne Doradztwo Zawodowe”: „(...) Wykonawca pod
kierunkiem Zamawiającego dokona anotacji danych – ponad 10 000 kwalifikacji z ZRK – pod
kątem zainteresowań i uzdolnień, które mogą stanowić podstawę dopasowania do wymagań
czy oczekiwań użytkownika". W związku z powyższym Odwołujący wskazał, że z niezbędne
jest wzbogacenie istniejących 54 publikacji dodatkowymi informacjami, służącymi do
powiązania intencji użytkownika z informacjami znajdującymi się w publikacjach. Praca ta
polega między innymi na:
-
oznaczeniu w tekście fragmentów, które odpowiadają na pytania użytkownika
czatbota,
-
przekształceniu informacji zawartych w tabelach i schematach na postać tekstową,
-
ręcznym przygotowaniu odpowiedzi na pytania użytkownika na podstawie treści
publikacji.
Zamawiający wymaga opracowania przez wykonawcę "klucza" – instrukcję anotacji –
i na tej podstawie oznakowania początkowo 3 publikacji, a następnie (po konsultacji pilotażu)
wszystkich 54. Podobnie, należy zaanotować dodatkowymi informacjami ponad 10 000
kwalifikacji z ZR
K. Proces przygotowania instrukcji anotacji, a następnie ręcznej pracy
związanej ze wzbogacaniem informacji zawartych w tekście lub zbiorze tekstów jest
definicyjnym określeniem roli anotatora w projekcie – osoby, która polegając na swoim
wykształceniu dotyczącym wiedzy o języku, doświadczeniu i wykonując ręczną pracę
znakowania jest w stanie przygotować dane do trenowania modeli uczenia maszynowego.
Odwołujący podkreślił, że Przystępujący przedstawia w swojej ofercie m.in. p. M.S. jako
osobę, która miałaby realizować anotację w ramach zamówienia, samemu jednocześnie
podkreślając, że p. Stefaniak jest programistą, a nie anotatorem, który w przeciwieństwie do
programisty dodaje do zasobów tekstowych informacje za pomocą pracy ręcznej, bazując na
swojej wiedzy
językowej oraz wiedzy dziedzinowej. Programista przetwarza z kolei dane w
sposób automatyczny: praca programisty w projekcie związanym z danymi tekstowymi może
polegać na filtrowaniu danych, konwersji formatów i innych zadaniach związanych z
przetwarzanie
m danych, tworzeniu narzędzi do anotacji dla anotatorów, co jednak nie
powoduje dodania do nich nowych informacji, które wcześniej się tam nie znajdowały.
Odwołujący podkreślił, że sam Zamawiający wyraźnie rozróżnia rolę programisty oraz rolę
anotatora, oc
zekując od wykonawcy dokonania wyceny godziny pracy (przy realizacji modułu
eksperymentalnego) w podziale na te dwa stanowiska. Tym samym w opinii Odwołującego
Przystępujący nie wykazał dysponowania przez siebie personelem wymaganym treścią
SWZ. Nie przeds
tawiono bowiem, aby osoby wymienione w złożonym wykazie personelu
Sygn. akt KIO 3423/21
posiadały doświadczenie w pracy nad danymi w zakresie anotacji. Tymczasem ma to
kluczowe znaczenie z punktu widzenia przedmiotu postępowania i czynności, które będą
wykonywane w ramach reali
zacji zawartego kontraktu. Niewłaściwa bowiem obsada
kluczowych pozycji w ramach zamówienia (tj. praca anotatora) uniemożliwia poprawną
realizację jego przedmiotu. Zamawiający powinien zatem mieć gwarancję, iż osoby
wskazane przez wykonawcę jako jego kluczowy personel mają kwalifikacje realnie
odpowiadające przedmiotowi późniejszego świadczenia. W omawianym przypadku, w ocenie
Odwołującego, okoliczność ta nie została jednak wykazana.
Uzasadniając zarzut dotyczący nieuzasadnionego zaniżenie punktacji oferty
Odwołującego przy jednoczesnym bezpodstawnym zawyżeniu punktacji oferty
Przystępującego w zakresie kryterium koncepcji, Odwołujący wskazał, że Zamawiający jako
jedno z kryteriów oceny w ramach postępowaniu ustanowił konieczność sporządzenia przez
wykon
awców koncepcji funkcjonowania czatbota w ramach modułu Wirtualnego Asystenta
Doradztwa Zawodowego. Zamawiający w SWZ wskazał, że: „Dla wybranego spośród 3
przytoczonych w załączniku nr 9 do SWZ przykładów opisów osób (person) korzystających z
czatbota (je
j potrzeb oraz oczekiwań) oraz przy wykorzystaniu źródła danych, na podstawie
których czatbot powinien udzielać odpowiedzi na pytania tej osoby (kwalifikacje z ZRK oraz
informacje z portalu www.kwalifikacje.edu.pl), należy przygotować koncepcję, która będzie
zawierać:
-
proponowany schemat rozmowy (tzw. flow) osoby z czatbotem (dialog
zawierający 30 par pytań i odpowiedzi) obejmujących: o pytania zadawane przez osobę
korzystającą z czatbota;
-
pytania, które zada czatbot (pytania otwarte lub opcje wyboru) pozwalające
doprecyzować zakres udzielanej odpowiedzi;
-
propozycję treści odpowiedzi udzielanych przez czatbota (tekst, odesłania do
materiałów, propozycje zapoznania się z treściami z ZRK – np. konkretny fragment opisu
danej kwalifikacji, odesłania do zewnętrznych źródeł wiedzy, narzędzi lub aplikacji);
-
propozycję dodatkowych tematów rozmowy, które może zaproponować
czatbot;
-
opis funkcjonalności czatbota, które zostały wykorzystane w rozmowie (np.
pytania zamknięte, pozwalające doprecyzować zakres udzielanej odpowiedzi, odesłania do
określonych źródeł informacji) z uzasadnieniem ich zastosowania oraz krótkim wskazaniem,
w jaki sposób mogą zostać wdrożone (np. integracja z innymi aplikacjami, zastosowanie
określonej technologii, itp.) – opis powinien zawierać do 5 funkcjonalności kluczowych z
perspektywy opracowywanego schematu rozmowy i nie powinien być dłuższy niż 5400
znaków (3 strony znormalizowanego maszynopisu).
Sygn. akt KIO 3423/21
Z kolei w zakresie oceny koncepcji zrealizowanych przed wykonawców Zamawiający
wsk
azał, że „każdy z członków Komisji Przetargowej dokona indywidualnie oceny w
następujący sposób:
-
schemat rozmowy z czatbotem
– 15 punktów, w tym:
-
adekwatność informacji udzielanych przez czatbota (na ile odpowiadają na
potrzeby osoby korzystającej z czatbota) – 0-5 punktów;
-
wskazanie kluczowych dla danej osoby informacji wyjaśniających
prezentowane przez czatbota treści (np. definicje, wyjaśnienia pojęć, wskazówki jak
rozumieć dane treści) – 0-5 punktów;
-
zastosowanie adekwatnych sposobów pozwalających na doprecyzowanie
zakresu informacji udzielanych osobie
– 0-5 punktów punkty w zakresie 0-5 - przyznawane
wg. skali szkolnej
-
opis funkcjonalności czatbota – 15 punktów, w tym:
-
3 punkty za każdą funkcjonalność, która została wskazana, o ile uzasadniono
jej zastosowanie w odniesieniu do potrzeb osoby korzystającej z czatbota (2 punkty) oraz
wskazano, w jaki sposób może zostać wdrożona (1 punkt). Ocenie podlegać będzie 5
pierwszych opisanych funkcjonalności. Jeżeli w ofercie znajdzie się więcej niż 5
funkcjonalności, pozostałe nie będą brane pod uwagę przy ocenie oferty.
-
poprawność stosowania terminologii ZSK – 5 punktów (zasada odejmowania
punktów za niepoprawnie używaną terminologię):
-
-
1 punkt za każdy błąd w używaniu terminologii ZSK w dialogach, zawężając
ocenę do wypowiedzi udzielanych przez czatbot”.
Odwołujący wyjaśnił, że Przystępujący uzyskał w ramach oceny przez
Zamawiającego koncepcji funkcjonowania czatbota 33 punkty na 35 możliwych. W ocenie
Odwołującego jest to skrajnie zawyżona punktacja, które nie oddaje realiów przygotowanej
przez Przystępujący koncepcji. Podkreślił, że dla Zamawiającego kluczowym aspektem w
realizacji zamówienia jest integracja „Wirtualnego Asystenta” z Zintegrowanym Rejestrem
Kwalifikac
ji. Wskazuje na to wprost OPZ: „Przedmiotem zamówienia jest usługa polegająca
na stworzeniu, wdrożeniu, dostarczeniu dostępu na czas realizacji zamówienia, utrzymaniu
oraz instalacji na serwerach IBE i rozwoju czatbota
– Wirtualnego Asystenta,
zaimplementowanego w serwisie Zintegrowanego Rejestru Kwalifikacji (dalej: ZRK). Czatbot
będzie pełnił role: 1) przewodnika po ZRK, 2) przewodnika po ZSK oraz 3) asystenta
podstawowego doradztwa zawodowego ograniczonego dziedzinowo do zakresu ZRK”,
„Czatbot będzie wspierać proces doradztwa zawodowego na podstawowym poziomie i w
zakresie umożliwionym przez zawartość danych w ZRK, a w przyszłości może
wykorzystywać do tego doradztwa także pozostałe aplikacje tworzone przez IBE”.
„Uruchomienie Wirtualnego Asystenta ma rozszerzyć możliwości doradztwa o praktyczny i
Sygn. akt KIO 3423/21
intuicyjny w obsłudze dostęp do kwalifikacji zebranych w ZRK”, „Ujmując krótko zadanie
Wirtualnego Asystenta, praca czatbota polega na zebraniu informacji / preferencji
Użytkownika, następnie na tej podstawie ukierunkowanie dalszego dialogu i przekazanie
informacji Użytkownikowi na zadane pytanie lub odniesienie się do poruszonego tematu w
ramach wiedzy o ZSK, w tym ZRK". Tymczasem Przystępujący w zasadniczej mierze
stworzył swoją koncepcję funkcjonowania czatbota w całkowitym oderwaniu od
Zintegrowanego Rejestru Kwalifikacji. Przystępujący w przygotowanej koncepcji w zasadzie
nie korzysta z terminologii ZRK. Umożliwia to co prawda uniknięcie przez tego
Przystępującego punktów ujemnych w ramach oceny tego kryterium, jednak całkowicie
wypacza sens przygotowanej koncepcji, która w istocie nie odpowiada celowi prowadzonego
przez Zamawiającego postępowania – realizacji Wirtualnego Asystenta zintegrowanego z
ZRK. Powyższe, według Odwołującego, potwierdza, że Przystępującemu niesłusznie
przyznano 33 punkty w kategorii "adekwatność" / "wskazanie kluczowych dla danej osoby
informacji" / "zastosowanie adekwatnych sposobów pozwalających na doprecyzowanie
zakresu informacji udzielanych osobie" / "poprawność stosowania terminologii ZRK", gdyż
kluczowy zasób wymieniony w OPZ został zasadniczo pominięty w opisanym rozwiązaniu,
co oznacza, że rozwiązanie to nie spełnia wymagań OPZ i nie jest z nim zgodne. W
konsekwencji nie można tak wysoko jak Zamawiający punktować rozwiązania, które ignoruje
integrację z ZRK, bowiem taki jest zasadniczy cel projektu opisanego w OPZ. Odwołujący
zaznaczył, że kompleksowe omówienie błędów Przystępującego w swojej koncepcji jest
jednak dla Odwołującego z uwagi na bezpodstawną odmowę Zamawiającego jej odtajnienia.
Ponadto, szeroka i kompleksowa wiedza rynkowa, którą dysponuje Odwołujący wprost
wskazuje, że Przystępujący nie posiada odpowiednich kwalifikacji, kompetencji i
doświadczenia, aby przygotować koncepcję funkcjonowania czatbotu w sposób, który
u
możliwiałby jej ocenienie na zasadzie maksymalną liczbą punktów. Podkreślił, że w
relatywnie krótkim czasie jaki został wyznaczony przez Zamawiającego na złożenie ofert, nie
jest możliwe, aby Przystępujący pozyskał dodatkowe kompetencje/doświadczenie w tym
zakresie, których wcześniej nie posiadało. Oferta Przystępującego jedynie szczątkowo
odnosi się do ZRK, gdyż podmiot ten nie posiada wystarczających doświadczeń w tym
zakresie. Odmiennie natomiast kształtuje się doświadczenie Odwołującego – jeden z
członków konsorcjum Odwołującego – IPIPAN zrealizował bowiem wiele podobnych
projektów, dzięki czemu jest na polskim rynku ekspertem w tym zakresie. Nie jest zatem
możliwe, aby Przystępujący nie posiadający porównywalnego doświadczenia do
Odwołującego, a także podobnych kompetencji i kwalifikacji uzyskał istotnie wyższą ocenę w
kryterium opracowania koncepcji funkcjonowania chatbota niż Odwołujący, który zrealizował
co najmniej kilka podobnych projektów na rzecz Zamawiającego.
Sygn. akt KIO 3423/21
Dalej Odwołujący wskazał, że ocena jego koncepcji w zakresie kryterium (i) schemat
rozmowy z czatbotem oraz (ii) poprawność stosowania terminologii ZSK została również
błędnie przeprowadzona, z tym jednak zastrzeżeniem, że w przypadku Odwołującego
Zamawiający zaniżył punktację realnie przysługującą Odwołującemu w ramach ww.
kryteriów.
Kryterium
– schemat rozmowy z czatbotem
Oceniając ofertę złożoną przez Odwołującego w postępowaniu Zamawiający w
zakresie koncepcji funkcjonowania czatbota i opisu funkcjonalności czatbota przyznał
Odwołującemu maksymalną liczbę punktów – 15. Jednak już w kategorii schemat rozmowy z
czatbotem Zamawiający przyznał jedynie 10 na 15 możliwych do zdobycia punktów
wskazując przy tym, że:
Ocena 1:
„Adekwatność informacji – czatbot proponuje rozmówcy: 1) kwalifikację ze
szkolnictwa zawodowego
– archiwalną, a więc taką, której już nie można pozyskać, opis jest
dostępny na stronie ZRK, czatbot nie reflektuje się, że ta informacja jest nieadekwatna i
podaje dalsze informacje, 2) czatbot proponuje studia jednolite (5-l
etnie), jako przykład
konkretnej realizacji studiów wskazuje jednak studia II stopnia (2-letnie), jako wymaganie do
podjęcia wskazanych studiów podaje świadectwo ukończenia szkoły średniej – co nie jest
precyzyjne, ponieważ są różne świadectwa, zapewne chodziło o świadectwo dojrzałości oraz
certyfikat z języka obcego – nie wiadomo, na jakiej podstawie, opis kwalifikacji nie
wprowadza takiej informacji
– oba wymagania są błędne w kontekście studiów II stopnia,
które podejmuje się po studiach I stopnia, a więc wymagają dyplomu ukończenia studiów I
stopnia, 3) czatbot wskazuje kwalifikację ze szkolnictwa zawodowego, którą można uzyskać
po ukończeniu 2-letniej szkoły policealnej oraz po uzyskaniu kwalifikacji poprzedzającej –
jest to nieadekwatna informacja dla
rozmówcy, który już ukończył edukację (również
policealną) i szuka pracy: 0,0
Objaśnianie prezentowanych treści: 5, 0 Adekwatność sposobów doprecyzowania:
5,0” Ocena 2:
„Adekwatność informacji – 0 pkt
1.
Niezgodnie z opisem persony, rozmówca chatbota błędnie wskazuje
posiadaną kwalifikację – wskazuje Świadczenie usług opiekuńczo – wspierających osobie
starszej zamiast Opiekun w domu społecznym. Błąd ten determinuje dalszy przebieg
wywiadu
– osoba nie uzyskuje informacji adekwatnych do swoich potrzeb.
2.
Błędnie
wskazana
kwalifikacja:
Świadczenie usług
pielęgnacyjno-
opiekuńczych osobie chorej i samodzielnej jest kwalifikacją archiwalną.
Sygn. akt KIO 3423/21
3.
Błędnie wskazana kwalifikacja: Pielęgniarstwo studia II stopnia - chatbota nie
wskazuje, że wymagane są studia I stopnia poprzedzające studia II stopnia
4.
Błędnie wskazana kwalifikacja: Ratownik medyczny - szkolnictwo zawodowe -
nieadekwatnie do potrzeb, rozmówca szuka pracy, jest absolwentem szkoły policealnej
Kluczowe informacje wyjaśniające – 5 pkt Sposoby doprecyzowania informacji – 5
pkt”
Ocena 3:
„adekwatność – 0 informacje wyjaśniające – 5 adekwatność sposobów na
doprecyzowanie
– 5.
Za nieadekwatne rekomendacje należy uznać w zachowaniu czatbota:
a)
polecenie kwalifikacji archiwalnej Świadczenie usług pielęgnacyjno-
opiekuńczych osobie chorej i samodzielnej (od 2019) – kwalifikacji tej nie można zdobyć,
b)
polecenie kwalifikacji Pielęgniarstwo ze szkolnictwa wyższego II stopnia
osobie, która nie posiada dyplomu I stopnia (opisany użytkownik czatbota, absolwent szkoły
policealnej, nie będzie w stanie jej zdobyć),
c)
czatbot udziela informacji o kwalifikacji II stopnia i podaje nieadekwatne
informacje o wymaganiach dla tej kwalifikacji: znajomość języka obcego na poziomie B1 i
świadectwo ukończenia szkoły średniej,
d)
udzielenie informacji o zarobkach na podstawie Ekonomicznych Losów
Absolwentów dla kwalifikacji branżowej Świadczenie usług pielęgnacyjno-opiekuńczych
osobie chorej i samodzielnej (od 2019)
– ELA obejmuje informacje dotyczące kwalifikacji ze
szkolnictwa wyższego, ale nie branżowego,
e)
czatbot błędnie uznaje, że M. posiada kwalifikację Świadczenie usług
pielęgnacyjno-opiekuńczych osobie starszej. Zgodnie z opisem persony posiada on
kwalifikację Opiekun w domu pomocy społecznej.
Za każdą nieadekwatność odjęto 1 punkt, łącznie 5.”
Odwołujący zauważył, że w przypadku dwóch ocen (rzekomo dokonanych
niezależnie) pojawia się ten sam błąd – wskazanie kwalifikacji „Świadczenie usług
pielęgnacyjno - opiekuńczych osobie chorej i samodzielnej”, choć ta kwalifikacja nie pojawia
się w przygotowanym przez Odwołującego scenariuszu (pojawia się „Świadczenie usług
pielęgnacyjno - opiekuńczych osobie chorej i niesamodzielnej”). Oceny nieprawidłowo
stwierdzają, że chatbot „wskazuje Świadczenie usług opiekuńczo – wspierających osobie
starszej zamiast Opiekun w domu społecznym”. Jest to wybór dokonywany przez
Użytkownika i nie ma związku z rekomendacjami Systemu. Ponadto, Użytkownik ma prawo
nie wiedzieć jaką dokładnie kwalifikację zdobył, nie jest to jednak wada oferowanego
systemu, lecz wynik wyboru samego użytkownika. Za ten fakt odjęty został bezpodstawnie 1
Sygn. akt KIO 3423/21
punkt w dokonanej ocenie przez Zamawiającego. Według Odwołującego, oceny
nieprawidłowo stwierdzają także, że chatbot poleca „Świadczenie usług pielęgnacyjno -
opiekuńczych osobie chorej i niesamodzielnej” – chatbot prezentuje tę kwalifikację jako jedną
z dostępnych w ZRK. Podobnie kwalifikacja ta prezentowana jest na oficjalnych stronach
Zintegrowanego Systemu Kwalifikacji . Za ten fakt został również bezpodstawnie odjęty 1
punkt w dokonanej ocenie.
Odwołujący podkreślił, że jeden z członków konsorcjum Odwołującego - Instytut
Podstaw Informatyki PAN jest podmiotem posiadającym najszersze i całkowicie unikalne w
skali kraju doświadczenie w zakresie realizacji projektów wymagających dokładnej analizy
zawartości rejestru, utworzenia narzędzi do grupowania, klasyfikacji kwalifikacji, a także ich
wyszukiwania. Instytut Podstaw Informatyki PAN w tym zakresie zrealizował projekty
związane z Zintegrowanym Rejestrem Kwalifikacji dla Instytutu Badań Edukacyjnych
dotyczące m.in.:
− Analizy istniejących rozwiązań opisujących grupowanie kwalifikacji - ekspertyza
dotycząca automatycznej analizy i porównywania kwalifikacji w celu ich grupowania ,
− Pilotażu rozwiązania grupowania kwalifikacji wraz z grupowaniem kwalifikacji ,
− Wykonania narzędzia analitycznego, umożliwiającego analizę dużej liczby
kwalifikacji, ich porządkowanie i systematyzowanie .
Powyższe, według Odwołującego potwierdza, że doświadczenie w sposób oczywisty
przekłada się na realizację koncepcji funkcjonowania czatbotu, jej jakość i kompletność, co
powinno znaleźć odzwierciedlenie w przyznanej Odwołującemu odpowiedni wysokiej ocenie
koncepcji.
(ii.)
Kryterium
– poprawność stosowania terminologii ZSK
W zakresie kategorii poprawności stosowania terminologii ZSK Zamawiający przyznał
Odwołującemu jedynie 3 na 5 możliwych do zdobycia punktów uzasadniający to w
następujący sposób: „3 pkt w tym: czatbot pyta: „którą kwalifikację zrealizowałeś?” – nie
można „zrealizować” kwalifikacji – można ją pozyskać, posiadać -1,0; czatbot wymienia
“świadectwo ukończenia szkoły średniej” w kontekście podjęcia studiów II stopnia – pojęcie
takiego świadectwa jest zbyt szerokie, błąd terminologiczny polega na tym, że takiej
kwalifikacji nie ma, w kontekście studiów powinien posługiwać się terminem świadectwo
dojrzałości -1,0”.
Powyższa punktacja Zamawiającego jest również w ocenie Odwołującego błędna i w
sposób nieuprawniony zaniża wynik punktowy przygotowanej koncepcji. Zamawiający w
żaden sposób nie wyjaśnia na jakiej podstawie przyjmowane są konkretne rozstrzygnięcia
terminologiczne wskazane w ocenie koncepcji. Publicznie dostępny "Słownik ZSK" jedynie
wskazuje np. że "kwalifikację można zdobyć". Sformułowania wynikają jedynie z analizy
stosowanych w dokumencie zwrotów, a lista sformułowań, które byłby dla Zamawiającego
Sygn. akt KIO 3423/21
poprawne nie została w żaden sposób zawarta w jakimkolwiek obowiązującym wykonawców
katalogu. Nie jest również wprost wykluczone użycie innego rodzaju sformułowania, jak na
przykład "zrealizować kwalifikację", a słownikowo są to wyrazy bliskoznaczne: zrealizować:
"sprawić, że jakieś plany, marzenia, zamiary itp. staną się rzeczywistością", zdobyć:
"pozyskać coś, o co się zabiegało". Z tego względu użycie sformułowania zamiennego nie
może być postrzegane jako błąd w przygotowaniu koncepcji i skutkować obniżeniem
punktacji Odwołującego.
W konsekwencji Odwołujący stwierdził, że ocena oferty Odwołującego w zakresie
koncepcji funkcjonowania „Wirtualnego Asystenta” została sporządzona w sposób błędny i
nierzetelny. Dodatkowo wskazuje na to fakt, że dla tak skomplikowanego i złożonego
przedmiotu zamówienia, ocena punktowa wszystkich trzech członków komisji była
identyczna. Punktacja członków komisji nie różniła się w odniesieniu do któregokolwiek z
kryteriów oceny, co może wskazywać na brak przeprowadzenia faktycznej i realnej oceny
koncepcji przez każdego z członków komisji i oparcie się w tym zakresie wyłącznie na
ustaleniach jednego członka komisji. Byłoby to sprzeczne z ideą komisyjnej oceny koncepcji
przedkładanych przez wykonawców, a także świadczyłoby o nierzetelności i niskiej jakości
przeprowadzonej oceny ofert w postępowaniu.
Zamawiający w odpowiedzi na odwołanie z dnia 29 listopada 2021r. oświadczył, że
uwzględnia w części zarzuty przedstawione w przedmiotowym odwołaniu tj. w odniesieniu do
zarzutu wskazanego w pkt. 3 odwołania, czyli naruszenia naruszenie art. 18 ust. 3 p.z.p. w
zw. z art. 11 ust. 2 uznk, poprzez zaniechanie odtajnie
nia całości dokumentacji złożonej
przez Przystępującego w postępowaniu wraz z ofertą, pomimo niewykazania przez tego
wykonawcę, iż dokumentacja złożona w postępowaniu stanowi tajemnicę jego
przedsiębiorstwa.
W dniu 1 grudnia 2021r. Zamawiający złożył kolejną odpowiedź na odwołanie
wnosząc o oddalenie pozostałych zarzutów odwołania jako bezzasadnych.
Odnosząc się do zarzutów dotyczących niespełnienia przez Przystępującego
warunków udziału w postępowaniu zauważył, że Odwołujący skierował zastrzeżenia jedynie
do treści referencji przekazanych przez Konsorcjum, pomijając całkowicie treść złożonego
wykazu. Zamawiający wskazał, że wszystkie zastrzeżenia Odwołującego w tym zakresie są
niezasadne, ponieważ dokument referencji wystawiany przez kontrahenta nie musi zawierać
określonych elementów np. w zakresie wartości, czy też elementów zrealizowanych w
ramach potwierdzanej usługi - wystarczającym jest by była możliwa identyfikacja referencji z
pozycją wskazaną w wykazie przygotowanym przez wykonawcę – tak w tym przypadku jest
w odniesieniu do każdego dokumentu referencji. Co oczywiste – sprawdzenie spełnienia
warunków udziału odbywa się poprzez analizę wykazu przygotowywanego na użytek danego
Sygn. akt KIO 3423/21
postępowania – referencje mają jedynie charakter posiłkowy. Zamawiający stwierdził
ponadto, że elementem referencji jest potwierdzenie należytości wykonania potwierdzanej
usługi – przy czym nie musi to być zrealizowane – jak tego wymaga odwołujący – z
wykorzystaniem słowa „należyte”. Potwierdzeniem „należytości” jest każde sformułowanie
świadczące o pozytywnym odbiorze przez kontrahenta wykonanych usług (dotychczasowej
współpracy). Mając na względzie cel referencji – czyli swoistych listów polecających dla
innych Zamawiających - za równoznaczne z pozytywnym odbiorem usługi (czyli należytości
wykonania danej usługi) należy również uznać rekomendacje dla Wykonawcy – co ma
miejsce w zdecydowanej ilości kwestionowanych przypadków.
Odnosząc się do zastrzeżeń Odwołującego co do zrealizowanego przez
Przystępującego „przerobu” powyżej 200 tys. zł – z racji tego że żadne z zastrzeżeń
dotyczące referencji nie okazało się zasadne – to również zarzut braku wymaganego
przerobu
– nie potwierdził się. Zamawiający podkreślił ponadto, że żaden przepis prawa nie
wyklucza możliwości posłużenia się doświadczeniem w usługach zrealizowanych na rzecz
innego konsorcjanta. Co więcej - współpraca i znajomość „biznesowa” pomiędzy
konsorcjantami są oczywistą i naturalną bazą dla zawiązania konsorcjum. Zarzuty są
gołosłowne i bezpodstawne.
Odnosząc się do zarzutów dotyczących braku kwalifikacji osób wskazanych na
stanowiska anotatora, Zamawiający wskazał, że z racji nieokreśloności terminu
oznaczającego tę czynność i osoby ją wykonujące Zamawiający w nawiasie doprecyzował
co rozumie pod pojęciem anotacji. Co ważniejsze – Zamawiający przyjął szeroką definicję –
pomijając słowo „tekstowych” – czego nie zauważa Odwołujący, czyniąc z tego braku oś
swoich twierdzeń o nieadekwatności doświadczenia ekspertów Przystępującego. Jak
wyjaśnił Zamawiający to pominięcie jest świadome i ma na celu maksymalne otwarcie
zamówienia na rynek. Zamawiający jest świadomy, że anotacją danych tekstowych w sensie
wskazanym w odwołaniu zajmuje się w Polsce stosunkowo niewiele osób, z którymi
konsorcjant odwołującego (IPI PAN) ma o wiele łatwiejszą możliwość nawiązania kontaktu i
współpracy niż inne podmioty. Stąd też aby umożliwić realną konkurencję na rynku szeroko
zdefiniował pojęcia anotacji – odnosząc je do każdego rodzaju danych – a nie tylko do - jak
chce odwołujący - „danych tekstowych”. Ponadto Zamawiający podkreślił, że czym innym
jest wymóg określony w OPZ – czyli w odniesieniu do tego co rzeczywiście będą robić
anonatorzy, a czym innym są wymogi odnośnie spełnienia „minimalnych” warunków udziału.
Innymi słowy osoby spełniające minimalne warunki udziału – zdaniem Zamawiającego – po
odpowiednim przeszkoleniu, co jest zakładane w zadaniach anotacji danych – są w stanie
prawidłowo zrealizować zamówienie. W świetle tak zdefiniowanego wymogu – każda z osób
wskazanych w ofercie Przystępującego spełnia wymogi SWZ.
Sygn. akt KIO 3423/21
Odnosząc się do zarzutów dotyczących nieuzasadnione zaniżenie punktacji oferty
odwołującego
przy
jednoczesnym
bezpodstawnym
zawyżeniu
punktacji
oferty
Przystępującego w zakresie kryterium koncepcji, Zamawiający stwierdził że są one
gołosłowne. Nie wiadomo, na jakiej podstawie Odwołujący mówi o „skrajnie zawyżonej
punktacji” (pkt. 50). Nie jest prawdą, że koncepcja funkcjonowania czatbota opracowana
przez Przystępującego jest w całkowitym oderwaniu od Zintegrowanego Rejestru
Kwalifik
acji. Koncepcja czatbota przygotowana przez tego wykonawcę i przedstawiona w
dialogu korzysta z terminologii i zasobów danych w ZRK, zakłada także integrację z portalem
ZSK/ZRK.
Zamawiający podkreślił, że ten element koncepcji był oceniany za pomocą skali
szkolnej
– 0-5. Odejmowanie punktów za konkretne błędy wskazane w kartach ocen i
przytoczone w odwołaniu ma charakter pomocniczy, wskazujący braki uzasadniające niską
lub zerową ocenę. Podkreślenia wymaga że opracowanie dialogu z czatbotem – wbrew
peanom
na temat własnych kompetencji Odwołującego– jest minimalistyczne co do formy i
treści i obarczone licznymi błędami merytorycznymi (wskazanymi w ocenie poszczególnych
członków komisji). Niezależenie od powyższego, zwracamy uwagę że punkty zostały odjęte
tyl
ko w podkryterium adekwatności dialogu – właśnie ze względu na błędy merytoryczne,
takie jak np. podpowiedź zdobycia kwalifikacji archiwalnej – tj. niemożliwej w danym miejscu
i czasie do zdobycia
– bądź też możliwości zdobycia kwalifikacji – której bez skończenia
określonych studiów nie można pozyskać – co dla osoby szukającej pracy jest całkowicie
nieprzydatne.
Zamawiający zauważył Odwołujący kwestionuje prawo do odjęcia punktów w sytuacji,
gdy w schemacie rozmowy pojawia się błędny wybór użytkownika. Odwołujący twierdzi, że to
nie jest błąd systemu (czyli Wykonawcy), lecz błąd użytkownika, który może się zdarzyć i nie
powinien być oceniany negatywnie jako błąd Wykonawcy. Rzekomy błąd użytkownika
czatbota (który wybiera nieposiadaną przez siebie kwalifikację) w scenariuszu
przygotowanym przez Wykonawcę jest w istocie błędem Wykonawcy. Wykonawca
przygotował swój dialog w sposób oparty na błędnym wyobrażeniu wybranej przez siebie do
tego zadania jednej z trzech person posiadanych przez nią kwalifikacji, jej umiejętności i
potrzeb. Z tego względu, według Zamawiającego, należy uznać dialog za nieadekwatny
względem potrzeb persony przedstawionej w SWZ. Zamawiający wskazał, że z twierdzeniem
Odwołującego można by się zgodzić, gdyby opracowany schemat rozmowy w przypadku
takiego błędu wskazał ten błąd i naprowadził użytkownika z powrotem na właściwą ścieżkę –
zgodną z logiką postawionego zadania. Tutaj tego nie ma. Ponadto, Zamawiający wskazał,
że błędem jest wskazanie – jako możliwej do uzyskania kwalifikacji archiwalnej – czyli
niemożliwej do uzyskania w danym miejscu i czasie. Fakt, że oficjalny rejestr kwalifikacji
prezentuje takie archiwalne możliwości, podobnie jak przyszłe możliwości (czyli kwalifikacje
Sygn. akt KIO 3423/21
jeszcze niezatwierdzone, w trakcie procesu akceptacji) ni
e sanuje błędnych wyborów
dokonanych przez Wykonawcę w rozmowie – mającej zaprezentować m.in. znajomość
systemu ZSK.
W opinii Zamawiającego, gołosłowne jest również twierdzenie Odwołującego jakoby
ocena ofert była jedynie „rzekomo” niezależna. Członkowie Komisji Przetargowej dokonali
oceny indywidualnej, mieli również 2 spotkania uzgodnieniowe, nie jest wykluczone – w
czasach google’a i pracy zdalnej - że korzystano z już istniejących fragmentów opracowań –
co nie znaczy, że ocena merytoryczna była niesamodzielna. O samodzielności ocen –
chociaż nie jest to zarzut, który został podniesiony w petitum odwołania, a skoro tak to KIO
nie będzie go rozpatrywać – świadczą zacytowane w odwołaniu fragmenty ocen
indywidualnych.
Odnosząc się do zarzutów dotyczących oceny w kryterium – poprawność stosowania
terminologii ZSK, Zamawiający wskazał, że całość zarzutu jest oparta na obronie
poprawności zastosowania w ofercie zwrotu „zrealizowania kwalifikacji”. Odwołujący nie
widzi różnicy między "zrealizowaniem kwalifikacji" a "zdobywaniem kwalifikacji". Wynika to z
faktu, że w języku potocznym wyraz "kwalifikacja" jest bliskoznaczny wyrazowi
"umiejętność". Tymczasem w Zintegrowanym Systemie Kwalifikacji słowo "kwalifikacja"
dotyczy zdobywanych w procesie potwierdzania umiejętności certyfikatów oraz świadectw i
dyplomów, które są dokumentami urzędowymi, opisanymi przepisami prawa. Widać to na
przykładzie używanych sformułowań: "zdobyć świadectwo dojrzałości", "potwierdzić
kwalifikację przygotowanie deserów restauracyjnych" w odróżnieniu od niepoprawnych
sformułowań: "zrealizować świadectwo dojrzałości", "zrealizować kwalifikację przygotowanie
deserów restauracyjnych". Skutkiem "zdobycia", "potwierdzenia" kwalifikacji jest otrzymanie
przez osobę zainteresowaną odpowiedniego świadectwa, dyplomu, certyfikatu, który
uprawnia do podjęcia dalszej nauki lub pracy zawodowej. Odwołujący wymienia słowa
“zrealizować” oraz “zdobyć” jako bliskoznaczne. Dopuszczalne jest powiedzenie
“zrealizować marzenia”, ale nie jest poprawne sformułowanie “zdobyć marzenia”.
Bliskoznaczność słów nie przemawia za możliwością ich wymiennego stosowania w każdym
kontekście. Inny przykład: słowa “funkcja” i “stanowisko” są bliskoznaczne, jednakże choć
poprawne jest połączenie “pełnić funkcję”, nie jest poprawne “pełnić stanowisko” (poprawne
jest z kolei “zajmować stanowisko”, ale nie “zajmować funkcję” – zob. np. Wielki słownik
poprawnej polszczyzny).
Krajowa Izba Odwoławcza uwzględniając dokumentację z przedmiotowego
postępowania o udzielenie zamówienia publicznego, jak również oświadczenia,
stanowiska stron złożone w trakcie rozprawy, ustaliła i zważyła, co następuje:
Sygn. akt KIO 3423/21
odwołanie nie zasługiwało na uwzględnienie.
Izba stwierdziła, iż nie została wypełniona żadna z przesłanek skutkujących
odrzuceniem
odwołania na podstawie art. 528 Pzp i skierowała sprawę na rozprawę.
Ponadto Izba ustaliła, że Odwołujący posiada interes we wniesienia odwołania wynikający z
art. 505 Pzp.
Izba dopuściła do udziału w postępowaniu wykonawców wspólnie ubiegających się o
udz
ielenie zamówienia Konsorcjum: Emplocity S.A. z siedzibą w Warszawie oraz ERMLAB
Sp. z o.o. z siedzibą w Olsztynie zgłaszających przystąpienie do postępowania
odwoławczego po stronie Zamawiającego, stwierdzając, iż spełnione zostały przesłanki, o
których mowa w art. 525 ust. 1-3 Pzp.
Izba umorzyła postępowanie odwoławcze w zakresie zarzutu nr 3 odwołania
dotyczącego naruszenia art. 18 ust. 3 Pzp w zw. z art. 11 ust. 2 uznk z uwagi na wycofanie
go przez Odwołującego.
Izba dopuściła i przeprowadziła dowody z dokumentacji postępowania przekazanej
przez Zamawiającego w tym m.in. z treści referencji złożonych przez Przystępującego,
złożonego przez tego wykonawcę wykazu osób i usług, a także arkuszy ocen zarówno
Odwołującego i Przystępującego.
Izba oddaliła wnioski dowodowe złożone przez Odwołującego z opinii prywatnych
stwierdzając, że opinię prywatną uznać należy jedynie dowód tego, że osoba lub osoby,
które ją podpisały wyraziły zawarty w niej pogląd, nie korzystają one natomiast z
domnie
mania zgodności z prawdą zawartych w niej twierdzeń (por. wyrok KIO z dnia 22
maja 2020 r., sygn. akt KIO 342/20). Co ważne, taki dowód nie może mieć charakteru
przesądzającego o zasadności zarzutu odwołania. W kontekście opinii prywatnych nie
można bowiem wykluczyć swoistego „dopasowywania” opinii prywatnej do potrzeb
zlecającego czy motywu finansowego (skoro zlecono komuś wykonanie za wynagrodzeniem
stosownego opracowania w określonym celu, zleceniobiorca może czuć się w obowiązku
wykonać zamówienie, by cel ten został osiągnięty).
Na podstawie ww. dokumentów Izba ustaliła, że stan faktyczny spraw nie jest sporny
i został przedstawiony przez strony adekwatnie do treści przywołanych powyżej
dokumentów.
Izba ustaliła:
Przystępujący w trakcie postępowania przetargowego złożył Zamawiającemu
następujące referencje:
Sygn. akt KIO 3423/21
Referencja
– Grupa Żywiec S.A.: „Potwierdzamy dotychczasową współpracę z firmą
Emplocity S.A. Zrealizowana usługa polegała na zaprojektowaniu i wdrożeniu aplikacji, czyli
chatbota do komunikacji wew
nętrznej. Na nasze potrzeby przygotowana została aplikacja
desktopowa dla Windows oraz mobilna dla Android oraz panel administracyjny do
zarządzania bazą wiedzy i analizą statystyk. Prace wdrożeniowe rozpoczęły się w grudniu
2018, a wdrożenie chatbota miało miejsce w marcu 2019 roku”.
Ponadto Izba ustaliła, że Przystępujący w piśmie z dnia 27 października 2021r. złożył
oświadczenie o współpracy: „oświadcza, że w marcu 2019 wykonało usługę polegającą na
zaprojektowaniu i wyprodukowaniu chatbota wykorzystującego NLP i wspierającego
komunikację wewnętrzną dla Grupy Żywiec S.A. Na potrzeby klienta przygotowana została
aplikacja desktopowa dla Windows oraz mobilna dla Android oraz panel administracyjny do
zarządzania bazą wiedzy i analizą statystyk. Wartość realizowanej przez Emplocity S.A.
usługi wynosiła 102 367,98zł brutto.”. Do powyższego pisma został dołączony protokół
odbioru, w którym w punkcie 1 wskazano, że „etap Aplikacji „Chatbot” został zrealizowany w
ustalonym przez Strony terminie. W punkcie 2. Zleca
jący oświadczył, że: „w/w Etap został
wykonany przez Wykonawcę zgodnie z zaleceniami Zlecającego”. W punkcie 3. Zlecający
oświadczył, że „akceptuje sposób wykonania oraz funkcjonowania przedstawionego przez
Wykonawcę Etapu prac”. W przedłożonym natomiast poświadczeniu z dnia 8 marca 2021r.
Grupa Żywiec S.A. potwierdziła, że spółka Emplocity sp. z o.o. z siedzibą w Warszawie
dokonała wdrożenia aplikacji Chatbot.
Referencja
– JTI Polska sp. z o.o.: „Od lipca 2021 roku, dzięki współpracy z Emplocity
S.A., kor
zystamy z innowacyjnego narzędzia, zwanego Chatboťem, dzięki któremu osoby
zainteresowane Japan Tobacco International mogą uzyskać sprawdzone i rzetelne
informacje dotyczące naszej firmy, z dowolnego miejsca oraz urządzenia, w dowolnym
czasie, zarówno w języku polskim, jak i angielskim.
Dzięki implementacji ChatBota możemy być dostępni dla kandydatów 24 godziny na
dobę, co udowadnia, że jesteśmy przyjazną, otwartą i skupioną na ludziach organizacją.
Niniejszym rekomendujemy Emplocity S.A., jako godnego polecenia partnera
biznesowego.”.
Referencja
– ING Bank Śląski S.A.: „ING Bank Śląski S.A. potwierdza, iż
współpracuje z Firmą Emplocity S.A. z siedzibą w Warszawie (00-695) przy ulicy
Nowogrodzkiej 51. Z usług firmy Emplocity S.A. dotyczących projektowania i wdrażania
chatbotów korzystamy od grudnia 2019 roku. Usługa chatbota w naszym banku wspiera
procesy rekrutacyjne prowadzone głównie na stanowiska dedykowane młodym talentom i
stanowiska związane z obsługą klienta. Współpraca przebiega w sposób prawidłowy, w
Sygn. akt KIO 3423/21
związku z tym polecamy firmę Emplocity S.A. jako sprawdzonego dostawcę chatbotów.
Niniejszy list referencyjny obowiązuje przez okres trzech miesięcy od daty wystawienia. Po
upływie tego terminu powinien być zaktualizowany.”
Referencja
– MetLife TUnŻiR S.A.: „Pragniemy poinformować, że od sierpnia 2020
roku współpracujemy z firmą Emplocity S.A. W ramach współpracy został dla nas
zaprojektowany chatbot rekrutacyjny zamieszczony na naszej stronie www, a profile
dopasowanych kandydatów przekazywane są do naszego systemu rekrutacyjnego.
Dodatkowo wykonawca zapewnia ciągłość działania przygotowanego oprogramowania,
gwarantując spełnienie założonych funkcjonalności aplikacji chatbota wraz z utrzymaniem
pracy serwera, na którym hostowana jest aplikacja internetowa. Polecamy firmę Emplocity
S.A. jako rzetelnego i sprawdzonego partnera biznesowego”.
Referencja
– PKO Bank Polski S.A.: „(…) Firma zaprojektowała i
wyprodukowała chatbota NLP dla PKO BP S.A. Jest to chatbot rekrutacyjny tzw. Emplobot,
który prowadzi w sposób inteligentny rozmowę rekrutacyjną, tworzy unikatowy profil
kandydata i dopasowuje go do jednej z wielu otwartych rekrutacji. (…) Dotychczasowa
współpraca przebiega zadowalająco pod względem jakości świadczonych usług i rzetelnego
podejścia pracowników Firmy do wykonywania przedmiotu umowy”.
Referencja
– Transcom Worldwide Poland sp. z o.o.: „Informujemy, iż w listopadzie
2019r. firma Emplocity S.A. zaprojektowała i wyprodukowała chatbota rekrutacyjnego NLP
dla naszej organizacji. W ramach zawa
rtej umowy usługa wdrożenia obejmowała
implementację aplikacji na naszej stronie www oraz pozostałych kanałach komunikacyjnych
tj.: Facebook Ads, postach w social mediach, ogłoszeniach o pracę. Chatbot wykorzystując
machine learning oraz przetwarzanie języka naturalnego, prowadził wstępną rozmowę
rekrutacyjną z potencjalnymi kandydatami oraz analizował przesłane aplikacje.
Rekomendujemy Emplocity S.A. jako rzetelnego i godnego polecenia partnera
biznesowego.”.
Uwzględniając powyższe ustalenia Izba zważyła:
Na wstępie wskazać należy, że zgodnie z § 9 ust. 1 pkt 2 rozporządzenia Ministra
Rozwoju, Pracy i Technologii z dnia 23 grudnia 2020 r. w sprawie podmiotowych środków
dowodowych oraz innych dokumentów lub oświadczeń, jakich może żądać zamawiający od
wykon
awcy (Dz.U. z 2020 r. poz. 2415), Zamawiający w celu potwierdzenia spełniania przez
wykonawcę warunków udziału w postępowaniu lub kryteriów selekcji dotyczących zdolności
technicznej lub zawodowej, może, w zależności od charakteru, znaczenia, przeznaczenia lub
zakresu robót budowlanych, dostaw lub usług, żądać wykazu dostaw lub usług wykonanych,
a w przypadku świadczeń powtarzających się lub ciągłych również wykonywanych, w okresie
Sygn. akt KIO 3423/21
ostatnich 3 lat, a jeżeli okres prowadzenia działalności jest krótszy - w tym okresie, wraz z
podaniem ich wartości, przedmiotu, dat wykonania i podmiotów, na rzecz których dostawy
lub usługi zostały wykonane lub są wykonywane, oraz załączeniem dowodów określających,
czy te dostawy lub usługi zostały wykonane lub są wykonywane należycie, przy czym
dowodami, o których mowa, są referencje bądź inne dokumenty sporządzone przez podmiot,
na rzecz którego dostawy lub usługi zostały wykonane, a w przypadku świadczeń
powtarzających się lub ciągłych są wykonywane, a jeżeli wykonawca z przyczyn
niezależnych od niego nie jest w stanie uzyskać tych dokumentów - oświadczenie
wykonawcy; w przypadku świadczeń powtarzających się lub ciągłych nadal wykonywanych
referencje bądź inne dokumenty potwierdzające ich należyte wykonywanie powinny być
wystaw
ione w okresie ostatnich 3 miesięcy.
Przechodząc do merytorycznego rozpoznania zarzutów odwołania dotyczących
niewykazania przez Przystępującego spełnienia warunków udziału w postępowaniu w
zakresie wymaganego doświadczenia, zauważyć należy, że sprowadzały się one do
zakwestionowania jedynie treści referencji. Odwołujący wskazywał na fakt, że w treści wyżej
przytoczonych referencji brak jest wskazania, że usługi bądź dostawy zostały zrealizowane w
sposób „należyty”, a ponadto wskazywał, że ich treść nie wskazuje na zakres prac jaki został
zrealizowany przez Przystępującego.
Podkreślić więc po pierwsze należy, że referencje nie są wystawiane na potrzeby
konkretnego postępowania, ale mają charakter ogólny, nie można zatem wymagać i
egzekwować od wykonawcy, aby z ich treści wynikało spełnienie konkretnego,
zindywidualizowanego warunku. Dokument referencji nie musi też wprost zawierać
stwierdzenia, że określona dostawa lub usługa została wykonana należycie, bowiem istotne
jest, aby z treści dokumentu wynikała prawidłowość wykonania dostawy lub usług. Zauważyć
należy, że przez należyte wykonanie zamówienia należy rozumieć zgodnie z art. 355 § 1
kodeksu cywilnego staranność ogólnie wymaganą w stosunkach danego rodzaju, przy czym
ocena należytej staranności powinna uwzględniać całokształt zachowań dłużnika, a nie tylko
prawidłowe techniczne wykonanie czynności. Dokument referencyjny musi posiadać treść,
niezależnie czy w postaci stwierdzenia wprost czy też opisowy, ale pozwalający na
wyciągnięcie wniosku wynikającego z przepisu § 9 ust. 1 pkt 2 ww. rozporządzenia o
należytym wykonaniu lub wykonywaniu dostawy lub usługi.
W ocenie Izby analiza przedłożonych na wezwanie Zamawiającego referencji, a także
protokołu odbioru i poświadczenia pochodzącego od spółki Grupa Żywiec S.A. pozwala
uznać, że usługi w sposób szczegółowy opisane przez Przystępującego w złożonym wykazie
usług zostały wykonane należycie, pomimo braku takiego właśnie określenia. Nawet bowiem
jeśli w protokołach odbioru czy referencjach nie zamieszczono sformułowania „należyte
wykonanie”, to należało ocenić, czy przedstawione tam informacje zawierają taką ocenę
Sygn. akt KIO 3423/21
wyrażoną przy użyciu innych sformułowań. Jeśli odbiorca dostawy oświadcza, że odebrał ją
bez zastrzeżeń, to znaczy to tyle, że nie było zastrzeżeń co do jakości jej wykonania, czyli że
wykonano ją należycie. W ocenie Izby natomiast, z przedłożonych przez Przystępującego
dokumentów powyższe okoliczności w sposób nie budzący żadnych wątpliwości wynikają.
Kolejno wskazać należy, że z treści referencji nie musi wynikać szczegółowy opis
zakresu zamówienia. Zdaniem Izby Odwołujący błędnie i w sposób nieuzasadniony wymaga,
aby treść referencji zawiera informacje, żądane przez Zamawiającego na potwierdzenie
spełnienia warunku udziału w postępowaniu, albowiem potwierdzeniem spełnienia warunku
jest oświadczenie wykonawcy w formie wykazu, a referencje mają za zadanie potwierdzać
jedynie prawidłowość wykonywanej usługi referencyjnej. Powyższe potwierdzają wprost
przepisy Pzp i ww. rozporządzenia. Nie może zatem ulegać najmniejszej wątpliwości, że
dokumentem potwierdzającym zakres wykonanych usług jest wykaz usług wraz z podaniem
ich wartości, przedmiotu, dat wykonania i podmiotów, na rzecz których dostawy lub usługi
zostały wykonane.
Również za bezzasadny Izba uznała zarzut dotyczący wystawienia referencji przez
drugiego członka Konsorcjum. Podkreślić należy, że jak wskazał na rozprawie
Przystępujący, referencje zostały wystawione przez spółkę Ermlab za zrealizowanie usługi,
która wykonana została przed zawarciem umowy Konsorcjum. Już to potwierdza więc, że w
postępowaniu nie ma miejsca wystawienie referencji „samej sobie”.
Tym samym zarzuty Odwołującego w tym zakresie, należało uznać za bezzasadne.
Odnosząc się do zarzut dotyczącego niespełnienia przez Przystępującego warunku
dotyczącego posiadania przez personel odpowiednich kwalifikacji, wskazać należy, że
zgodnie z rozdziałem § 7 ust. 1 pkt 4 ppkt B.6 SWZ w zakresie kwalifikacji personelu
Zamawiający wskazał, że uzna warunek za spełniony jeżeli Wykonawca wykaże, że
dysponuje lub będzie dysponował osobami które będą uczestniczyć w realizacji zamówienia,
spełniającymi poniższe wymagania: Anotator (4 osoby) - posiada doświadczenie w realizacji
co najmniej 2 (dwóch) usług polegających na anotacji danych (przygotowaniu danych tak,
aby mogły one stanowić dane treningowe dla algorytmów uczenia maszynowego), które to
usługi zostały ukończone w ciągu 3 lat przed terminem składania ofert (lub jeżeli okres
prowadzenia działalności jest krótszy, w tym okresie).
Izba ustaliła, że z złożonym przez Przystępującego wykazie wskazał on na
stanowisko anotatora konkretne osoby, podając przy ich nazwiskach następujące
doświadczenie: przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i
predykcji sytuacji kryzysowych w ser
wisach społecznościowych, oraz przygotowanie zbiorów
danych na potrzeby treningu algorytmów segmentacji użytkowników Internetu.
W opinii Izby doświadczenie to w pełni koresponduje z tak postawionym przez
Zamawiającego warunkiem udziału w postępowaniu. Izba stwierdziła, że fakt, że p. Stefaniak
Sygn. akt KIO 3423/21
jest programistą w żaden sposób nie wyklucza on możliwości wykonywania pracy anotatora.
W SWZ taki zakaz się nie znalazł. Co więcej Zamawiający nie postawił żadnych innych
oczekiwań dotyczących wykształcenia tych osób, a więc jeżeli Przystępujący miał
wątpliwości co do sformułowania brzmienia warunku, np. poprzez konieczność poszerzenia
wymagań w tym zakresie winien był skorzystać w odpowiednim czasie z przysługujących w
postępowaniu przetargowym środków ochrony prawnej. Zamawiający również – co istotne –
samodzielnie zdefiniował co należy rozumieć pod pojęciem anotacji, więc wszelkie wywody
Odwołującego w tym zakresie, jak też formułowanie własnej definicji tego pojęcia są
nieuprawnione. Podkreślić bowiem należy, że obowiązkiem Zamawiającego jest dokonanie
oceny ofert przez pryzmat szczegółowych postanowień SWZ.
W konsekwencji powyższych rozważań Izba oddaliła ww. zarzut.
Izba za niezasadne uznała też zarzuty kwestionujące prawidłowość oceny jego oferty
oraz oferty złożonej przez Przystępującego.
Izba ustaliła, że Zamawiający w § 16 pkt 3 SWZ „Kryterium 3 „Koncepcja (diagram w
oparciu o zadanie z personą i przykładami kwalifikacji” (35 pkt)” Zamawiający ustalił, że
zadaniem Wykonawcy jest opracowanie fragmentu koncepcji funkcjonowania czatbota w
ramach modułu Wirtualnego Asystenta Doradztwa Zawodowego. Dla wybranego spośród 3
przytoczonych w załączniku nr 9 do SWZ przykładów opisów osób (person) korzystających z
czatbota (jej potrzeb oraz oczekiwań) oraz przy wykorzystaniu źródła danych, na podstawie
których czatbot powinien udzielać odpowiedzi na pytania tej osoby (kwalifikacje z ZRK oraz
informacje z portalu www.kwalifikacie.edu.pl), należy przygotować koncepcję, która będzie
zawierać:
-
proponowany schemat rozmowy (tzw. flow) osoby z czatbotem (dialog
zawierający 30 par pytań i odpowiedzi) obejmujących:
-
pytania zadawane przez osobę korzystającą z czatbota; o pytania, które zada
czatbot (pytania otwarte lub opcje wyboru) pozwalające doprecyzować zakres udzielanej
odpo
wiedzi; o propozycję treści odpowiedzi udzielanych przez czatbota (tekst, odesłania do
materiałów, propozycje zapoznania się z treściami z ZRK — np. konkretny fragment opisu
danej kwalifikacji, odesłania do zewnętrznych źródeł wiedzy, narzędzi lub aplikacji); o
propozycję dodatkowych tematów rozmowy, które może zaproponować czatbot; opis
funkcjonalności czatbota, które zostały wykorzystane w rozmowie (np. pytania zamknięte,
pozwalające doprecyzować zakres udzielanej odpowiedzi, odesłania do określonych źródeł
informacji) z uzasadnieniem ich zastosowania oraz krótkim wskazaniem, w jaki sposób mogą
zostać wdrożone (np. integracja z innymi aplikacjami, zastosowanie określonej technologii,
opis powinien zawierać do 5 funkcjonalności kluczowych z perspektywy opracowywanego
Sygn. akt KIO 3423/21
schematu rozmowy i nie powinien być dłuższy niż 5400 znaków (3 strony znormalizowanego
maszynopisu).
Jednocześnie Zamawiający ustalił, że każdy z członków Komisji Przetargowej dokona
indywidualnie oceny w następujący o sposób:
ZRK Zintegrowany Rejestr Kwalifikacji
-
schemat rozmowy z czatbotem
— 15 punktów, w tym:
-
adekwatność informacji udzielanych przez czatbota (= na ile odpowiadają na
potrzeby osoby korzystającej z czatbota) — 0-5 punktów;
- wskazanie kluczowych dla danej osoby informa
cji wyjaśniających prezentowane
przez czatbota treści (np. definicje, wyjaśnienia pojęć, wskazówki jak rozumieć dane treści)
— 0-5 punktów;
-
zastosowanie adekwatnych sposobów pozwalających na doprecyzowanie zakresu
informacji udzielanych osobie
— 0-5 punktów .
punkty w zakresie 0-5 - przyznawane wg. skali szkolnej
opis funkcjonalności czatbota — 15 punktów, w tym:
-
3 punkty za każdą funkcjonalność, która została wskazana, o ile uzasadniono
jej zastosowanie w odniesieniu do potrzeb osoby
korzystającej z czatbota (2 punkty) oraz
wskazano, w jaki sposób może zostać wdrożona (1 punkt). Ocenie podlegać będzie 5
pierwszych opisanych funkcjonalności. Jeżeli w ofercie znajdzie się więcej niż 5
funkcjonalności, pozostałe nie będą brane pod uwagę przy ocenie oferty.
-
poprawność stosowania terminologii ZSK— 5 punktów (zasada odejmowania
punktów za niepoprawnie używaną terminologię):
-
-
1 punkt za każdy błąd w używaniu terminologii ZSK w dialogach, zawężając
ocenę do wypowiedzi udzielanych przez czatbot.
Izba ustaliła ponadto, że w karcie oceny sporządzonej przez p. Marcina
Będkowskiego
Przyznano w kryterium adekwatność – 0, informacje wyjaśniające – 5, adekwatność
sposobów na doprecyzowanie – 5.
Oceniający za nieadekwatne rekomendacje uznał w zachowaniu czatbota:
a) polecenie kwalifikacji archiwalnej Świadczenie usług pielęgnacyjno-opiekuńczych
osobie chorej i samodzielnej (od 2019)
– kwalifikacji tej nie można zdobyć,
b) polecenie kwalifikacji Pielęgniarstwo ze szkolnictwa wyższego II stopnia osobie,
która nie posiada dyplomu I stopnia (opisany użytkownik czatbota, absolwent szkoły
policealnej, nie będzie w stanie jej zdobyć),
c) czatbot udziela informacji o kwalifikacji II stopnia i podaje nieadekwatne informacje
o wymaganiach dla tej kwalifikacji: z
najomość języka obcego na poziomie B1 i świadectwo
ukończenia szkoły średniej,
Sygn. akt KIO 3423/21
d) udzielenie informacji o zarobkach na podstawie Ekonomicznych Losów
Absolwentów dla kwalifikacji branżowej Świadczenie usług pielęgnacyjno-opiekuńczych
osobie chorej i samodzielnej (od 2019)
– ELA obejmuje informacje dotyczące kwalifikacji ze
szkolnictwa wyższego, ale nie branżowego,
e) czatbot błędnie uznaje, że M. posiada kwalifikację Świadczenie usług
pielęgnacyjno-opiekuńczych osobie starszej. Zgodnie z opisem persony posiada on
kwalifikację Opiekun w domu pomocy społecznej.
Za każdą nieadekwatność odjęto 1 punkt, łącznie 5 (…)
W dialogu pojawia się błąd „zrealizować kwalifikację” – kwalifikację można zdobyć: -1
punkt. Czatbot wymienia jako kwalifikację „świadectwo ukończenia szkoły średniej”, podczas
gdy w ZSK funkcjonuje kwalifikacja o nazwie „Świadectwo dojrzałości“: -1 punkt.
Izba ponadto ustaliła, że w karcie oceny sporządzonej przez p. M.K. wskazano w
odniesieniu do schematu rozmowy z chatbotem, iż jest on częściowo adekwatny do opisu
persony. Oceniająca przyznała w podkryterium adekwatność informacji – 0 pkt wskazując:
1.
Niezgodnie z opisem persony, rozmówca chatbota błędnie wskazuje
posiadaną kwalifikację – wskazuje Świadczenie usług opiekuńczo – wspierających osobie
starszej zamiast Opiekun w domu społecznym. Błąd ten determinuje dalszy przebieg
wywiadu
– osoba nie uzyskuje informacji adekwatnych do swoich potrzeb.
2.
Błędnie wskazana kwalifikacja: Świadczenie usług pielęgnacyjno -
opiekuńczych osobie chorej i samodzielnej jest kwalifikacją archiwalną
3.
Błędnie wskazana kwalifikacja: Pielęgniarstwo studia II stopnia - chatbot nie
wskazuje, że wymagane są studia I stopnia poprzedzające studia II stopnia
4.
Błędnie wskazana kwalifikacja: Ratownik medyczny - szkolnictwo zawodowe -
nieadekwatnie do potrzeb, rozmówca szuka pracy, jest absolwentem szkoły policealnej
Kluczowe informacje wyjaśniające – 5 pkt
Sposoby doprecyzowania informacji
– 5 pkt
(…) Zrealizować kwalifikację – błędnie użyto sformułowanie, świadectwo szkoły
średniej zamiast świadectwo dojrzałości – błędnie użyto sformułowanie.
W karcie oceny sporządzonej przez p. J.R.-W. wskazano: „Adekwatność informacji –
czatbot proponuje rozmówcy: 1) kwalifikację ze szkolnictwa zawodowego – archiwalną, a
więc taką, której już nie można pozyskać, opis jest dostępny na stronie ZRK, czatbot nie
reflektuje się, że ta informacja jest nieadekwatna i podaje dalsze informacje, 2) czatbot
proponuje studia jednolite (5-
letnie), jako przykład konkretnej realizacji studiów wskazuje
jednak studia II stopnia (2-
letnie), jako wymaganie do podjęcia wskazanych studiów podaje
świadectwo ukończenia szkoły średniej – co nie jest precyzyjne, ponieważ są różne
Sygn. akt KIO 3423/21
świadectwa, zapewne chodziło o świadectwo dojrzałości oraz certyfikat z języka obcego –
nie wiadomo, na jakiej podstawie, opis kwalifikacji nie wprowadza takiej informacji
– oba
wymagania są błędne w kontekście studiów II stopnia, które podejmuje się po studiach I
stopnia, a więc wymagają dyplomu ukończenia studiów I stopnia, 3) czatbot wskazuje
kwalifikację ze szkolnictwa zawodowego, którą można uzyskać po ukończeniu 2-letniej
szkoły policealnej oraz po uzyskaniu kwalifikacji poprzedzającej – jest to nieadekwatna
informacja dla rozmówcy, który już ukończył edukację (również policealną) i szuka pracy:
0,0”. Ponadto oceniająca wskazała: „czatbot pyta: „którą kwalifikację zrealizowałeś?” – nie
można „zrealizować” kwalifikacji – można ją pozyskać, posiadać -1,0 czatbot wymienia
“świadectwo ukończenia szkoły średniej” w kontekście podjęcia studiów II stopnia – pojęcie
takiego świadectwa jest zbyt szerokie, błąd terminologiczny polega na tym, że takiej
kwalifikacji nie ma, w kontekście studiów powinien posługiwać się terminem świadectwo
dojrzałości -1,0”.
Izba uznała po pierwsze, że Odwołujący w żaden sposób nie wykazał, że koncepcja
funkcjonowania czatbota opracowana przez Przystępującego jest w całkowitym oderwaniu
od Zintegrowanego Rejestru Kwalifikacji. Fakt, że według Odwołującego, Przystępujący nie
posiada odpowiednich kwalifikacji, kompeten
cji i doświadczenia, aby przygotować koncepcję
funkcjonowania czatbotu w sposób, który umożliwiałby jej ocenienie na zasadzie
maksymalną liczbą punktów nie może uzasadniać postawionego zarzutu. Izba podzieliła
stanowisko Zamawiającego, że koncepcja czatbota przygotowana przez Emplocity i
przedstawiona w dialogu korzysta z terminologii i zasobów danych w ZRK, zakłada także
integrację z portalem ZSK/ZRK, jednakże z uwagi na objęcie tajemnicą przedsiębiorstwa
całości koncepcji, niemożliwe jest na tym etapie odniesienie się do jej treści i założeń.
W odniesieniu do oceny oferty Odwołującego dla „kryterium adekwatność" to jak
wynika z SWZ oceniana była w tym kryterium adekwatność informacji udzielanych przez
czatbota, tzn. na ile odpowiadają na potrzeby osoby korzystającej z czatbota. W ocenie Izby
skoro np. jak wynika z karty oceny czatbot w sposób nieprawidłowy udzielał informacji o
kwalifikacji II stopnia i podawał nieadekwatne informacje o wymaganiach dla tej kwalifikacji:
znajomość języka obcego na poziomie B1 i świadectwo ukończenia szkoły średniej, to
istniały podstawy do uznania, że informacje te są dla użytkownika nieadekwatne. W opinii
Izby wszelkie przytoczone w kartach ocen zarzuty co do nieadekwatności przygotowanej
koncepcji uzasadniały brak przyznania. Członkowie komisji w sposób wyraźny wskazali w
kartach ocen, że w ich ocenie uwzględnione zostały stwierdzone przez nich
nieprawidłowości, mankamenty w przygotowaniu koncepcji.
Izba stwierdziła ponadto, że fakt, iż w kartach ocen sporządzonych przez różne osoby
znalazły się podobne argumenty w zakresie nieprawidłowości koncepcji, świadczy jedynie o
Sygn. akt KIO 3423/21
tym, że każda z osób oceniających dostrzegła te same mankamenty przygotowanej
koncepcji, co jednoznacznie potwierdza, że nieprawidłowości te były od razu zauważalne i
istotne. Nie świadczyły natomiast o niesamodzielnej ocenie.
Ponadto Izba stwierdziła, że skoro w kryterium „poprawność stosowania terminologii
ZSK” oceniane było jak wynika z SWZ wskazanie kluczowych dla danej osoby informacji
wyjaśniających prezentowane przez czatbota treści (np. definicje, wyjaśnienia pojęć,
wskazówki jak rozumieć dane treści), to w ocenie Izby posługiwanie się przez Odwołującego
pojęciami jak np. „zrealizowanie kwalifikacji” było nieprawidłowe, z uwagi na fakt, że
powyższe sformułowanie nie występuje w takiej konfiguracji w języku potocznym. W związku
z czym nie można uznać, że Odwołujący w sposób prawidłowy zastosował określoną
terminologię, a wszelkie odstępstwa od wymagań Zamawiającego musiały być oceniane
proporcjonalnie do ich znaczenia i wagi przewidzianej w SWZ.
Izba nie stwierdziła zatem nieprawidłowej oceny przez Komisję przetargową oferty
Przystępującego i Odwołującego stwierdzając, że przyznane punkty uwzględniały popełnione
błędy, a więc nie doszło do naruszenia przepisu art. 239 ust. 1 Pzp.
Mając powyższe na względzie orzeczono jak w sentencji.
O kosztach postępowania odwoławczego Izba orzekła na podstawie art. 557 i 575
Pzp.
Przewodniczący: ……………………………………………………
Wcześniejsze orzeczenia:
- Sygn. akt KIO 561/22, KIO 563/22, KIO 573/22, KIO 574/22, KIO 575/22, KIO 577/22, KIO 579/22, KIO 581/22, KIO 587/22, KIO 589/22 z dnia 2022-05-16
- Sygn. akt KIO 1104/22 z dnia 2022-05-13
- Sygn. akt KIO 1006/22, KIO 991/22 z dnia 2022-05-09
- Sygn. akt KIO 971/22 z dnia 2022-04-25
- Sygn. akt KIO 835/22, KIO 846/22 z dnia 2022-04-15
