Hvernig mælir maður AI sýnileika fyrirtækis?

Hvað á maður að mæla þegar kemur að AI sýnileika?

Það sem skiptir máli er hvort fyrirtækið er nefnt, hvar í svarinu það birtist, hvort það er nefnt rétt og hvort svarið vísar á vefsíðuna. Þetta eru fjórar ólíkar mælingar og þær segja ólíka sögu.

Hefðbundin leitarvélabestun snýst um röð á niðurstöðusíðu. Í svari frá ChatGPT eða Gemini er engin niðurstöðusíða. Fyrirtækið er annaðhvort hluti af svarinu eða ekki. Þess vegna þarf aðrar mælieiningar.

• Nefningarhlutfall: Í hve stórum hluta svara við viðeigandi spurningum er fyrirtækið nefnt.
• Staða í svari: Er fyrirtækið fyrsta nafnið sem kemur upp, eða neðst í upptalningu með fimm öðrum.
• Nákvæmni: Lýsir gervigreindin fyrirtækinu rétt, eða blandar hún saman þjónustu, staðsetningu eða opnunartíma.
• Tilvitnanir: Vísar svarið á vefsíðu fyrirtækisins sem heimild, eða á einhvern annan.
• Tónn: Er fyrirtækið nefnt sem meðmæli, sem valkostur eða með fyrirvara.

Nefningarhlutfallið er sú tala sem flestir horfa fyrst á. Nákvæmnin er sú sem kemur oftast á óvart. Það er ekki óalgengt að gervigreind nefni íslenskt fyrirtæki en lýsi því með úreltum upplýsingum úr gömlum fréttum eða skráningum.

Hvernig velur maður spurningarnar sem á að mæla?

Maður velur spurningar sem raunverulegir viðskiptavinir myndu spyrja gervigreind, á íslensku og ensku, og festir listann áður en mælingar hefjast. Listinn er mælitækið. Ef hann breytist milli mælinga er ekki hægt að bera niðurstöðurnar saman.

• Beinar spurningar um flokkinn: "Hvaða fyrirtæki bjóða upp á bókhaldsþjónustu fyrir lítil fyrirtæki á Íslandi?"
• Samanburðarspurningar: "Hver er munurinn á X og Y?" þar sem X er fyrirtækið og Y er samkeppnisaðili.
• Vandamálaspurningar: "Ég þarf að skipta um þak á húsinu mínu í Reykjavík, hvert á ég að leita?"

Íslenski markaðurinn hefur eitt sérkenni sem skiptir máli hér. Hluti þeirra sem nota gervigreind hér á landi spyr á ensku, jafnvel um íslenska þjónustu. Fyrirtæki sem er sýnilegt í íslenskum svörum getur verið ósýnilegt í enskum svörum um sama efni, og öfugt. Mælingin þarf að ná yfir bæði tungumálin.

Tuttugu til fjörutíu spurningar duga flestum fyrirtækjum til að byrja með. Færri gefur of fáar mælingar til að sjá mynstur. Fleiri verður óviðráðanlegt að keyra handvirkt.

Hvernig fylgist maður með tilvitnunum gervigreindar?

Maður fylgist með tilvitnunum með því að keyra spurningalistann í hverju gervigreindarforriti með vefleit virka, skrá hvaða vefslóðir birtast sem heimildir og athuga hvort þar á meðal er vefsíða fyrirtækisins. Tilvitnun er sterkara merki en nefning, því hún þýðir að gervigreindin treystir síðunni nógu mikið til að vísa á hana.

Það sem skiptir máli er ekki aðeins hvort vefsíðan er nefnd, heldur hvaða undirsíða. Ef gervigreindin vitnar alltaf í forsíðuna en aldrei í þjónustusíðurnar segir það sitt um hvar efnið er of þunnt.

Skráðu líka hverjir aðrir fá tilvitnun. Ef samkeppnisaðili fær tilvitnun í sömu spurningu og þitt fyrirtæki ekki, þá er það skýrasta vísbendingin um hvað þarf að laga.

Hvaða tól mæla AI sýnileika og hvað dugar handvirkt?

Handvirk mæling í töflureikni dugar til að fá grunnlínu og fylgjast með mánaðarlega, en sérhæfð tól þarf þegar spurningarnar eru orðnar margar eða mæla þarf vikulega. Fyrir flest íslensk fyrirtæki er handvirka aðferðin rétti staðurinn til að byrja.

1. Opna hvert forrit í nýjum glugga, helst útskráður eða í gestaham, svo fyrri samtöl liti ekki svarið.
2. Slá inn hverja spurningu af listanum orðrétt.
3. Skrá í töflu: dagsetning, forrit, spurning, nefnt já eða nei, staða í svari, tilvitnun já eða nei, athugasemd um nákvæmni.
4. Endurtaka sama dag mánaðarlega.

Sérhæfð tól gera það sama sjálfvirkt. Þau keyra spurningarnar daglega eða vikulega gegnum forritaskil, geyma niðurstöðurnar og reikna hlutföllin. Mörg þeirra eru byggð fyrir enskumælandi markaði og ráða misvel við íslenskar spurningar, svo það borgar sig að prófa áður en borgað er fyrir áskrift.

Það er ein gildra sem báðar aðferðirnar lenda í. Gervigreindarsvör eru ekki alltaf eins. Sama spurning getur gefið ólíkt svar tvisvar í röð. Ein mæling segir því lítið. Það er meðaltalið yfir margar spurningar og margar mælingar sem gefur nothæfa mynd.

Bandstrik notar samsetningu af hvoru tveggja í GEO-úttekt: fast spurningasafn sem er keyrt í öllum helstu forritum, á báðum tungumálum, og skráð í samanburðarhæft snið. Það gefur fyrirtækinu grunnlínu sem hægt er að mæla framfarir gegn.

Hvernig les maður úr niðurstöðunum og hvað er eðlileg þróun?

Maður les úr niðurstöðunum með því að bera saman mælingar milli tímabila, ekki með því að rýna í eina tölu. Til dæmis segir nefningarhlutfall sem fer úr tíu prósentum af spurningum í þrjátíu meira en nokkur ein mæling gerir.

• Ósýnilegt alls staðar. Fyrirtækið er hvergi nefnt. Þetta er algengast hjá fyrirtækjum með litla vefsíðu og fáar umfjallanir annars staðar. Verkefnið er að búa til efni sem gervigreind getur lesið og treyst.
• Nefnt en rangt. Fyrirtækið kemur upp en með úreltum eða röngum upplýsingum. Verkefnið er að laga heimildirnar sem gervigreindin styðst við, bæði á eigin vef og á þriðju aðila síðum.
• Nefnt á íslensku, ósýnilegt á ensku. Eða öfugt. Verkefnið er að sjá til þess að efnið sé til á báðum tungumálum og vísi rétt milli þeirra.

Framfarir koma ekki strax. Gervigreindarforritin uppfæra ekki þekkingu sína á vefsíðum daglega. Breyting á vef getur tekið vikur að skila sér í svörum, og lengur ef síðan var áður lítið heimsótt. Þess vegna er mánaðarleg mæling raunhæf tíðni fyrir flesta, og þriggja mánaða samanburður sá fyrsti sem segir eitthvað að gagni.

Það sem á að hafa í huga við lesturinn: spurningar með kaupvilja skipta meira máli en almennar spurningar. Að vera nefndur í svari við "hvað er bókhald" er lítils virði. Að vera nefndur í svari við "hvaða bókhaldsstofa hentar litlu fyrirtæki í Hafnarfirði" er það sem skilar viðskiptum.

Hversu oft á að mæla AI sýnileika?

Mánaðarlega dugar flestum fyrirtækjum. Svör gervigreindar breytast ekki dag frá degi á þann hátt sem skiptir máli, og vikuleg mæling sýnir aðallega tilviljanakennda sveiflu. Fyrirtæki í harðri samkeppni eða í miðjum efnisátaki geta réttlætt tíðari mælingu.

Er hægt að mæla AI sýnileika ókeypis?

Já. Handvirk mæling með föstum spurningalista og töflureikni kostar ekkert nema tíma. Það er sú aðferð sem gefur grunnlínuna og hún dugar þar til spurningarnar eru orðnar of margar til að keyra handvirkt.

Af hverju gefur sama spurning ólík svör?

Gervigreindarforrit eru ekki leitarvélar með fasta röðun. Þau búa til svarið í hvert sinn og geta valið ólík dæmi eða ólíkar heimildir milli keyrslna. Þess vegna þarf margar spurningar og margar mælingar til að fá áreiðanlegt meðaltal.

Hvað þýðir það ef fyrirtækið er nefnt en vefsíðan fær ekki tilvitnun?

Það þýðir að gervigreindin þekkir fyrirtækið úr öðrum heimildum, til dæmis fréttum, skráningum eða umsögnum, en telur vefsíðuna sjálfa ekki nógu góða heimild. Það er merki um að efnið á vefnum þurfi að vera skýrara, ítarlegra og betur uppbyggt.

Hvar á að byrja?

Byrjaðu á grunnlínu. Fastur spurningalisti, öll helstu forrit, bæði tungumál, skráð í töflu sem hægt er að bera saman eftir þrjá mánuði. Það er þessi mæling sem Bandstrik gerir fyrir fyrirtæki í GEO-úttekt, og hún sýnir svart á hvítu hvar fyrirtækið stendur áður en nokkuð er lagað.

Taktu fyrsta skrefið og fáðu ókeypis GEO-úttekt, þá sérðu hvernig gervigreindin lýsir fyrirtækinu þínu í dag.