Двуседмичният тест, преди новата технология да влезе в бюджет

Пет въпроса, преди парите да тръгнат

1. Какво се чупи, ако греши, и кой разбира? Технология, която се проваля видимо и евтино, може да влезе в продукция рано. Такава, която се проваля безшумно в счетоводната книга, не може, колкото и добра да е била демонстрацията.

2. Можете ли да я измерите спрямо собствените си данни? Не спрямо бенчмарка на доставчика. Двеста ваши случая с отговори, за които сте съгласни. Ако доставчикът ви разубеждава да го направите, това е отговорът.

3. Каква е цената на транзакция при вашия обем? Цените на моделите се обявяват на токен, а се бюджетират на месец. Умножете при реалния си обем, включително повторните опити и случаите, които така или иначе отиват при човек, преди да поемете ангажимент.

4. Кой я поддържа през втората година? Всяка нова технология носи опашка от поддръжка, невидима при покупката: повторна оценка, надграждане на версии, отклонение. Ако за това не отговаря конкретен човек, купувате пилот, а не способност.

5. Обратимо ли е? Можете ли да я изключите във вторник и да работите ръчно една седмица без криза? Технологиите, които не можете да изключите, трябва да се внедряват година по-късно от тези, които можете.

Вземете един реален процес. Пуснете технологията срещу деветдесет дни от действителната му история, офлайн, където грешният отговор не струва нищо.

Правилото за трите състояния

Разпределяме новите технологии в три състояния и състоянието определя до какво сме готови да ги допуснем.

Експериментална: работи в демонстрации, проваля се по начини, които никой още не е описал. Подходяща за вътрешен процес, където грешният отговор струва на някого десет минути. Не и близо до пари, клиенти или регулатори.

Надеждна в коридор: надеждна за тясна, добре описана задача, с измерим процент грешки и човешки път за останалото. Тук е по-голямата част от полезната работа с AI в момента и тук е по-голямата част от стойността.

Водопровод: скучна, евтина, документирана, лесно се намират специалисти. RPA е тук. Никой не изнася доклади на конференции за нея, а тя тихо движи голяма част от европейските бек офиси.

Повечето разочарования идват от това, че технология в първо състояние се третира като такава в трето, насърчено от маркетинг, който описва второто.

Най-евтиният наличен тест

Вземете един реален процес. Пуснете технологията срещу деветдесет дни от действителната му история, офлайн, където грешният отговор не струва нищо. Сравнете с това, което хората реално са направили. Това упражнение струва две седмици и в нашата работа е спряло повече лоши програми от всеки преглед на архитектурата.