De nieuwe golf van visuele zoektocht (visual search): wat kan het doen en wat kan mogelijk zijn - DeLaatbusiness

De nieuwe golf van visuele zoektocht (visual search): wat kan het doen en wat kan mogelijk zijn

9 min


152
6 gratis internet marketing ebooks, klik hier voor download

In 2008 werd TinEye de eerste beeldzoekmachine die de technologie voor beeldidentificatie gebruikte en in 2010 stelde de Google Goggles- app gebruikers in staat om met hun camera’s de fysieke wereld te doorzoeken.

Maar de laatste paar jaar is visueel zoeken een nieuwe prominentie geworden, met bedrijven als Pinterest en Bing die zich ontwikkelen tot serieuze kanshebbers in de visuele zoekruimte, en zoekmachines zoals Splash die nieuwe manieren bedenken om visueel op het web te zoeken.

We hebben nu een indrukwekkend aanbod van visuele zoekmethoden tot onze beschikking: we kunnen zoeken met afbeeldingen , met een deel van een afbeelding, met onze camera’s, met verf op een digitaal canvas. En gecombineerd met toepassingen in e-commerce en recente ontwikkelingen in augmented reality , is visueel zoeken een krachtig hulpmiddel met enorm potentieel.

Dus wat kan het momenteel doen, en waar kan het zich in de toekomst ontwikkelen?

Toen en nu: de evolutie van visueel zoeken

Hoewel de technologie achter zoeken naar afbeeldingen de afgelopen paar jaar in grote sprongen is verschenen, is dit het resultaat van ontwikkelingen die zich in een veel langere periode hebben voorgedaan.

Zoeken naar afbeeldingen op het web was al voor de start van de reverse image search engine TinEye in 2008. Maar TinEye beweert dat het de eerste dergelijke zoekmachine was om beeldidentificatie technologie te gebruiken in plaats van trefwoorden, watermerken of metadata. In 2011 introduceerde Google zijn eigen versie van de technologie, waarmee gebruikers reverse image-zoekopdrachten op Google konden uitvoeren.

Beide afbeeldingen met omgekeerde afbeeldingen konden bekende herkenningspunten identificeren, andere versies van dezelfde afbeelding elders op het web vinden en ‘visueel vergelijkbare’ afbeeldingen zoeken met een vergelijkbare samenstelling van vormen en kleuren. Noch gebruikte gezichtsherkenningstechnologie en TinEye was (en is nog steeds) niet in staat om contouren van objecten te herkennen.

Een screenshot van Google reverse image search in 2011. De zoektocht is naar een afbeelding van enkele zanderige gele pieken en dalen met een blauwe achtergrond. Op de resultatenpagina staat 'Beste schatting voor deze afbeelding: death valley national park zabriskie point'. De twee beste resultaten zijn een Wikipedia-pagina en een Tripadvisor-pagina voor Zabriskie Point, met een raster van visueel vergelijkbare afbeeldingen hieronder.

Google reverse image search in 2011. Bron: Search Engine Land

Ondertussen stond Google Goggles gebruikers van Android-smartphones (en later 2010, iPhones en iPads) toe om labels en herkenningspunten in de fysieke wereld te identificeren, evenals productlabels en barcodes te identificeren waarmee gebruikers online naar vergelijkbare producten konden zoeken. Dit was waarschijnlijk de eerste iteratie van wat een natuurlijk huwelijk lijkt te zijn tussen visueel zoeken en e-commerce, iets wat ik later nog een beetje verder zal onderzoeken.

De Google Goggles-app is nog steeds beschikbaar op Android, hoewel de technologie de laatste paar jaar niet zo ver is vooruitgegaan (naar verluidt, het is als een functie van Google Mobile voor iOS verwijderd omdat het ‘niet duidelijk genoeg is voor te veel mensen’). mensen “), en het heeft de neiging om te verbleken in vergelijking met een modernere ‘ objectzoek’- app zoals CamFind .

Een mobiel screenshot van een Google Goggles-zoekopdracht. Het scherm toont een klein flesje Carex antibacteriële handgel met huidconditioners. Een groen vierkant omgeeft het productlabel en een tekststring onder aan het scherm luidt: met skin DRYING-aanwijzers Carex

Je hebt het geprobeerd, Goggles.

CamFind is een visuele zoek- en beeldherkenning mobiele app die werd gelanceerd in 2013, en hoewel het Sudoku-puzzels niet lijkt te kunnen oplossen , heeft het een indrukwekkende nauwkeurigheid.

Toen Google Glass nog iets was, ontwikkelde Image Searcher, de startup achter CamFind, een versie van de app om een nauwkeurige visuele zoekopdracht naar Google Glass te krijgen , geactiveerd door het commando “OK Glass, wat zie je?” van futuristische toepassing van visuele zoekacties die veel mensen voor een technologie als Google Glass voorstelden en die grote potentie hadden kunnen hebben als Google Glass zich had aangetrokken.

Een mobiel screenshot met een geslaagde zoekopdracht naar CamFind-objecten. Aan de bovenkant is een afbeelding van een zwart toetsenbord. Hieronder staat het woord 'gevonden'. Vervolgens wordt in een kolom naar beneden gelezen de woorden 'Black Lenovo Corded Keyboard'.

De CamFind mobiele app heeft een indrukwekkende nauwkeurigheid, zelfs tot het identificeren van het merk van een object.

Toen het ‘pinboard’-achtige sociale netwerk Pinterest in 2012 werd gelanceerd, was het een beetje een donker paard, dat enorm populair werd bij een demografie van jonge vrouwen tot middelbare leeftijd, maar in de meeste conventionele tech-kringen obscuur bleef. Zelfs degenen die het potentieel als een sociaal netwerk herkenden, hadden waarschijnlijk niet geraden dat het ook zou uitmonden in een kracht waarmee rekening moet worden gehouden bij visueel zoeken .

Maar voor Pinterest is accuraat visueel zoeken alleen maar logisch, omdat het Pinterest in staat stelt om relevante Pin-aanbevelingen te doen aan gebruikers die op zoek zijn naar iets dat visueel vergelijkbaar is (bijvoorbeeld de perfecte koperen lamp om hun woonkamer aan te steken) of om het specifieke gedeelte aan te snijden van een vastgezette afbeelding die hen interesseert.

In 2014 verwierf Pinterest VisualGraph, een twee-persoons startup die mede werd opgericht door een van Google’s eerste computer vision-engineers, waardoor de visuele zoekkennis van het bedrijf in de plooi kwam. In hetzelfde jaar introduceerde en begon het bedrijf een functie te verfijnen waarmee gebruikers een specifiek deel van een speld konden markeren en andere pinnen kunnen vinden die visueel lijken op het gemarkeerde gebied – twee jaar eerder dan Bing, die die functionaliteit alleen aan zijn mobiel introduceerde afbeelding zoeken in juli 2016 .

Bing heeft Pinterest doorgestuurd naar de post door visueel zoeken met een smartphonecamera in zijn eigen iOS-app te introduceren (ik kan geen commentaar geven hoe accuraat het is, omdat de iOS-app van Bing alleen beschikbaar is in de VS), iets dat Pinterest nog steeds is werken aan de lancering . Maar het is duidelijk dat de twee bedrijven de voorhoede zijn van visuele zoektechnologie, en het is de moeite waard om aandacht te schenken aan beide om te zien welke ontwikkelingen ze hierna aankondigen.

Een gif dat Pinterest's visuele zoekactie in actie op een smartphone toont, objecten in een kamer detecteert en verwante pinnen aan de onderkant van het scherm oproept.

Ondertussen biedt Google nog geen vooruitgang op Google Goggles voor nauwkeuriger zoeken in de fysieke wereld, maar u kunt er zeker van zijn dat Google Pinterest en Bing niet te lang zal laten wachten. In juli kondigde Google de overname aan van de Franse startup Moodstocks , die gespecialiseerd is in op machine learning gebaseerde beeldherkenningstechnologie voor smartphones.

En bij Google I / O in mei onthulde Google’s Engineering Director Erik Kay enkele vrij indrukwekkende beeldherkenningsmogelijkheden voor de nieuwe berichten-app van Google, Allo.

“Allo biedt zelfs slimme antwoorden wanneer mensen foto’s naar u sturen. Dit werkt omdat Allo, naast het begrijpen van tekst, verder bouwt op de computervisie-mogelijkheden van Google om de inhoud en de context van afbeeldingen te begrijpen. In dit geval begreep Allo dat de foto van een hond was, dat het een schattige hond was, en zelfs het ras van de hond. Bij onze interne testen hebben we ontdekt dat Allo 90% nauwkeurig is in het bepalen of een hond de “schattige hond” -respons verdient. “

Visueel zoeken en e-commerce: een natuurlijk partnerschap

Hoe vaak ben je niet geweest en wenste je dat je kon achterhalen waar die persoon hun stoere schoenen of hun geweldige tas had gekocht, zonder de onhandigheid van het benaderen van een vreemde en het vragen?

Stel dat u uw telefooncamera gewoon zou kunnen gebruiken om stiekem een ​​momentopname te maken (hoewel dat nog steeds behoorlijk ongemakkelijk is als u betrapt wordt, laten we eerlijk zijn) en online op zoek bent naar visueel vergelijkbare zoekresultaten?

E-commerce is een natuurlijke toepassing voor visueel zoeken, iets dat bijna alle bedrijven achter visual search hebben gerealiseerd en een integraal onderdeel van hun aanbod hebben gemaakt. CamFind, bijvoorbeeld, neemt je direct mee naar winkelresultaten voor elk object dat je doorzoekt, waardoor een naadloze koppeling ontstaat tussen het zien van een item en het online kunnen kopen (of iets dergelijks).

Een mobiel screenshot van de app CamFind. Aan de bovenkant is een foto van een flesje Carex antibacteriële handgel, 90 graden naar links geroteerd. Tekst bovenaan leest 'Carex Moisture Plus Hand Gel'. Hieronder zijn webresultaten en gerelateerde afbeeldingen voor Carex Moisture Plus Hand Gel.

De vooruitgang van Pinterest op het gebied van visueel zoeken dient ook de ecommerce kant van het platform, door gebruikers te helpen producten te isoleren waar ze mogelijk in geïnteresseerd zijn en soepel door vergelijkbare items te bladeren. Een ‘object search’-functie voor zijn mobiele app zou ook zijn ontworpen om mensen te helpen voorwerpen te vinden die lijken op de items die ze leuk vinden in de fysieke wereld op Pinterest, met het oog op het kopen ervan.

Met de talloze mogelijkheden die visuele zoektocht biedt voor e-commerce, is het geen verrassing dat Amazon ook zijn hoed in de ring gooide. In 2014 integreerde het een shopping-by-camera-functionaliteit in de belangrijkste iOS-app (en heeft de functie inmiddels op Android uitgebracht) en introduceerde ook Firefly, een visuele herkenning- en zoek-app voor de Amazon Fire Phone.

Zelfs nadat de Fire Phone geflopt was, weigerde Amazon Firefly op te geven en introduceerde de app bij de meer betaalbare Kindle Fire HD. De visuele zoekfunctie op zijn mobiele app werkt het beste met boeken, dvd’s en herkenbare merkobjecten, maar heeft verder een goede mate van nauwkeurigheid.

Een screenshot van Amazon's visuele zoekopdracht voor zijn mobiele app in actie. Het grootste deel van het scherm toont de cover van een boek, The Master Switch van Tim Wu. Een verzameling helderblauwe punten klampt zich vast aan de titel en auteur en een vinkje geeft aan dat de app het boek met succes heeft geïdentificeerd.

De visuele zoekfunctie van Amazon in actie.

Andere bedrijven die in de afgelopen jaren actief zijn op het gebied van visueel zoeken en e-commerce, zijn onder meer Slyce, wiens slogan is “Geef de camera van uw klant een koopknop”, en Catchoom, dat hulpmiddelen voor beeldherkenning en augmented reality creëert voor de detailhandel. , uitgeverijen en andere sectoren.

Hoewel het doorzoeken van de fysieke wereld nog moet oversteken naar de mainstream (de meeste mensen waar ik over gesproken heb, zijn zich er zelfs niet van bewust dat de technologie bestaat), die gemakkelijk zou kunnen veranderen naarmate de technologie accurater en steeds wijdverspreider wordt.

Maar e-commerce is slechts één mogelijke toepassing voor visueel zoeken. Welke andere toepassingen en innovaties kunnen we in de toekomst zien op het gebied van visueel zoeken?

De toekomst van visueel zoeken?

Afgezien van de vrij voor de hand liggende voorspelling dat visueel zoeken nauwkeuriger en wijdverspreider zal worden naarmate de tijd voortschrijdt, kan ik me verschillende mogelijkheden voorstellen voor visueel zoeken in de toekomst, waarvan sommige al op kleine schaal bestaan.

De visuele herkenningstechnologie die visueel onderzoek mogelijk maakt, heeft een enorm potentieel om te dienen als hulpmiddel bij toegankelijkheid. Image Searcher, het bedrijf achter CamFind, heeft ook een app genaamd TapTapSee die visuele herkenning en voice-overtechnologie gebruikt om objecten te identificeren voor slechtziende en blinde mobiele gebruikers. Een andere app, Talking Goggles, voert dezelfde functie uit met de objectidentificatietechnologie van Google Goggles.

Hoewel dit puur herkennings-apps zijn en geen zoekmachines als zodanig, heeft Image Searcher veel van de feedback die ze ontvangen van de visueel gehandicapte gemeenschap gebruikt om dezelfde functies in CamFind te integreren. U kunt zich gemakkelijk voorstellen hoe de twee concepten, indien deze in tandem worden ontwikkeld, kunnen worden gebruikt om in de toekomst een echt toegankelijke visuele zoekopdracht voor visueel gehandicapte gebruikers te bieden.

En als visuele zoekacties op basis van camera’s gecombineerd werden met recente vooruitgang in gesproken zoekopdrachten en natuurlijke taalverwerking , is het mogelijk een toekomst te bedenken waarin het zoeken visueel vrijwel interface-vrij wordt. Sundar Pichai, CEO van Google, toonde een zeer vergelijkbare mogelijkheid op Google I / O toen hij de nieuwe stemassistent van Google, de Google-assistent, liet zien.

“U kunt bijvoorbeeld in Chicago voor deze structuur staan ​​en Google vragen:” Wie heeft dit ontworpen? “U hoeft” the bean “of” the cloud gate “niet te zeggen. Wij begrijpen uw context en wij beantwoorden dat de ontwerper is Anish Kapoor. “

In dit voorbeeld wordt de niet-aangegeven context voor Pichai’s vraag ‘Wie heeft dit ontworpen?’ Waarschijnlijk geleverd door locatiegegevens, maar het kan net zo goed visuele invoer zijn, geleverd door een smartphonecamera of een verbeterd Google Glass-achtig apparaat.

Ik noemde iets dat Splash eerder genoemd werd in dit artikel. Splash, een zoekinterface ontwikkeld door de foto-community 500px, is een ander type visuele zoekactie dan we tot nu toe hebben bekeken. De interface is ontworpen om gebruikers in staat te stellen om met behulp van kleur de afbeeldingbibliotheek van 500px visueel te doorzoeken en de verf digitaal op een doek te ‘spetteren’.

Wat visuele zoekmachines betreft, is Splash meer een leuke nieuwigheid dan een praktische zoekfunctie. Je kunt alleen naar afbeeldingen zoeken in een van de vijf categorieën – Landschap, Mensen, Dieren, Reizen en Stad – dus als je een foto wilt van iets dat niet onder een van die valt, heb je veel geluk. De zoekresultaten hebben ook de neiging om meer te reageren op welke kleuren op het canvas staan ​​dan op wat u ermee probeert weer te geven.

Een schermafbeelding van de visuele zoekopdracht van Splash in actie. Het canvas bovenaan toont een wazige weergave in MS Paint-stijl van een paarse lucht met een halve maan en sterren. Het raster eronder toont miniaturen van paars getinte afbeeldingen, die stranden en bergen tonen. Geen van hen lijkt op het canvas.

Niet echt wat ik zocht …

Toch hou ik van de verschillende dingen die Splash doet om visueel te zoeken en ik denk dat het idee veel interessant potentieel heeft als het meer ontwikkeld en verfijnd is. Andere soorten visuele zoekopdrachten die we tot nu toe hebben besproken, zijn afhankelijk van het hebben van een foto of een object bij de hand, maar wat als je wilde zoeken naar iets dat je wist te tekenen, maar geen voorbeeld had?

Iets anders dat ik ongelooflijk nuttig zou vinden in mijn werk als journalist (waar ik vaak een beroep op moet doen om stockfoto’s te verzamelen) zou het vermogen zijn om naar een visueel concept te zoeken.

Stel dat ik op zoek ben naar een foto die ‘e-mail ROI’ vertegenwoordigt voor een stuk dat ik aan het schrijven ben. Het zou erg handig zijn als ik een visuele zoekopdracht kon uitvoeren naar afbeeldingen die afbeeldingen met betrekking tot e-mail en visuals met betrekking tot geld op de een of andere manier combineerden. Misschien kan een zoekopdracht op basis van zoekwoorden in de buurt komen van wat ik nodig heb, maar ik denk dat een visuele zoekopdracht in staat is om een ​​breder en nuttiger netwerk uit te brengen.

Tot slot, als het ontwikkelen van visuele zoekresultaten een prioriteit blijft voor bedrijven als Pinterest, Bing en Google, denk ik dat de meest natuurlijke evolutie van de technologie zou zijn om augmented reality te integreren . AR is al bezig met de mainstream – niet alleen met Pokémon Go , maar ook met apps zoals Blippar die AR versmelten met visuele ontdekking en visuele zoekactie om een ​​extra dimensie toe te voegen aan de wereld om ons heen.

Het is duidelijk dat dit een volledig zoekfenomeen wordt, bijvoorbeeld met tekstoverlays met informatie over objecten waarnaar u wilt zoeken en de mogelijkheid om met items te communiceren en deze te kopen, nog meer wrijving van e-commerce te verwijderen en gebruikers in staat te stellen te kopen dingen op het moment van inspiratie.

Ik voorzie geen visueel zoeken dat de op tekst gebaseerde verscheidenheid volledig vervangt (of in ieder geval niet voor een zeer lange tijd). Maar opent een wereld van spannende nieuwe mogelijkheden die een grote rol zullen spelen in wat er in de toekomst nog zal komen voor onderzoek.


What's Your Reaction?

hate hate
0
hate
confused confused
0
confused
fail fail
0
fail
fun fun
0
fun
geeky geeky
0
geeky
love love
0
love
lol lol
0
lol
omg omg
0
omg
win win
0
win
Erwin@delaatbusiness.com
Dag, Hulp nodig met internet marketing of websites maken? neem dan contact op

0 Comments

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Choose A Format
Personality quiz
Series of questions that intends to reveal something about the personality
Trivia quiz
Series of questions with right and wrong answers that intends to check knowledge
Poll
Voting to make decisions or determine opinions
Story
Formatted Text with Embeds and Visuals
List
The Classic Internet Listicles
Countdown
The Classic Internet Countdowns
Open List
Submit your own item and vote up for the best submission
Ranked List
Upvote or downvote to decide the best list item
Meme
Upload your own images to make custom memes
Video
Youtube, Vimeo or Vine Embeds
Audio
Soundcloud or Mixcloud Embeds
Image
Photo or GIF
Gif
GIF format