1

Facial Recognition for Retail

Smile….It’s Facial Recognition!Presented by: Thomas L. McCally, Jan E. Simonsen, 

and Thomas Melzl

2

Facial Recognition for Retail

In this session, you will learn:

1. How Facial Recognition Works

2. Retail Facial Recognition Best Practices

3. Legal Issues Involved

Facial Recognition:  What Matters

AccuracyAlerting in Real TimeActionable AnalyticsScaleUsabilityFault Tolerance / ArchitectureExtensibility / InteroperabilityExperience

3

Facial Recognition Use CasesFacial Recognition User Use Case

Retail Loss Prevention Shoplifters are photographed and enrolled into the Facial Recognition platform and/ or enrolled into the Facial Recognition platform by leveraging an existing photo database.  Specific Loss Prevention personnel get alerted in real time on their handheld device or computer when a person of interest enters a specified location.

Retail Loss Prevention The Facial Recognition Platform is used to “Go Back In Time” and conduct a historical search in order to determine where someone was and how frequently.   This can be used to passively enroll an individual into the Facial Recognition database and associate them with an event so that Loss Prevention can be notified when they re‐enter a store or track what stores they have been in the past and how often.

Retail Loss Prevention Business Users are alerted  in order to track and control the location of individuals within a building or campus.  This is referred to as Biometric Geo‐Fencing by tracking individuals through the use of  the Facial Recognition platform.

Analytics

4

Facial Recognition:  Best Practices A 30FPS framerate is essential.  Any lower framerate will miss faces in the video stream.

Focal Point Paths equal pinch points such as an entrances.

The More Automation the Better

No PII unless a No Trespass Notice is signed.

Approach and Observe Actions need to be Proactive, Concise and well Documented

No Trespass Approach

Customer Service Offer Approach

Active Observe

Passive Observe

Serial Returners 

Safety is as important as the ROI

Customer Service is a Component

Practical Uses of Facial 

Recognition Technology

5

• A conservative process• Retailers do not store images• Image is destroyed if not matched• Door sticker indicates biometric technology 

in use

Detecting Criminal Activity

Shoplifter Identification

• People in database are shoplifters

• Shoplifter approached upon match

• Determination of criminal activity

• Shoplifter required to sign barring notice

• Biometric technology identifies shoplifter in future

6

When Shoplifter Re‐enters Store

• Real Time Alert

• File image/live image is sent to mobile device

• Includes name/date/reason barred

• LP Officer approaches shoplifter

• LP Officer asks/confirms shoplifter’s name

• LP Officer requests that shoplifter leaves pursuant to the barring notice

Mobile Device• Mobile device in each store

• The device never leaves the network

• Information never on LP officer’s phone

7

911 Alerts• Indicates if shoplifter has violent past

• 911 is called

• LP officer observes shoplifter

• Local police officers assist in approach

Person of Known Interest

• Viewed by video but not caught

• Associates are told to give great service

• Person of interest cannot be barred

• LP officer offers help and asks what person of interest is looking for

8

Administrative Policies

• Defined rules

• Specific policies and procedures

• Select few with database access

• Non‐criminal images destroyed or deleted consistent with policy

Composition of the Database

• Audited annually

• Diverse and representative of community

• Protections against retailer profiling

• No minors in system

9

Benefits to Retailers

• Reduce criminal activity

• Reduce injuries related to criminal activity

• Identify repeat offenders

The Law is Behind the Technology

10

What are the Legal Issues?• No Federal Laws• State Laws (Illinois and Texas)• Legal issues depend on how 

the data is used and stored• Possible claims of disparate 

impact/discrimination• Potential for Misidentification

• Individuals may not know technology is being used

• Individuals may not have consented to its use

• Invasion of Privacy Claims• Personal information may be 

subject to data breaches

According to GAO’s July 2015 Report:“Key privacy concerns related to the commercial application of facial 

recognition technology have generally centered around:1. Its effect on the ability of the individuals to remain relatively 

anonymous in the public;2. The capacity to track individuals across locations; and3. Use of facial recognition technology without individual’s 

knowledge or consent.”

Facial Recognition Technology – Commercial Uses, Privacy Issues, and Applicable Federal Law

11

The Law is Behind the Technology

Q: Are there any laws limiting use of facial recognition technology?

The Law is Behind the Technology

A: There are Federal Laws addressing the collection, use, and storage of personal information.

• Driver’s Privacy Protection Act

• Gramm‐Leach Bliley Act

• Fair Credit Reporting Act

• Family Educational Rights and Privacy

• Children’s Online Privacy Act

• Electronic Communications Act

• Computer Fraud and Abuse Act

12

Organizations are pushing for Federal Legislation regarding use of Facial Recognition Technology

American Civil Liberties Union 

issued “An Ethical Framework for 

Facial Recognition” in May 2014. 

ACLU Recommendations• Do not use the technology to determine an individual’s race, 

color, religion, national origin, disability, or age.• Prominently notify individuals when facial recognition is in 

operation.• Obtain specific consent from an individual before storing a 

photograph or faceprint of that person or sharing any facial recognition data with a third party.

13

ACLU Recommendations• Allow individuals to access, correct, and delete their faceprint

information.• Consider what special precautions might be needed when 

using a facial recognition system with teenagers.

Technology

Q: Are there any state laws limiting use of facial recognition technology?

14

Texas and Illinois Law• Require that a private entity must obtain the individual’s 

consent before collecting a biometric identifier.• Prohibit an entity in possession of a biometric identifier from 

sharing that person’s biometric identifier with a third party, unless the disclosure meets an exception.

• Exceptions include law enforcement or the completion of a financial transaction that the individual requests or authorizes.

Texas and Illinois Law• Govern the retention of biometric records, including requirements for 

protecting biometric information and destroying such information after a certain period of time.

15

Civil Cases to Date

Facebook Biometric Information Privacy 

LitigationCase No. 15‐cv‐03747‐JD (United States District Court, Northern District Court of California)

Facebook Biometric Information Privacy Litigation

• Class Action pending in California against Facebook.• Four named plaintiffs have files suit against Facebook 

for “tagging” pictures without consent.• Argues that state law made the data collection an 

illegal imposition on privacy and alleging that Facebook engages in “actively collecting, storing, and using – without providing notice, obtaining informed written consent or publishing data retention policies – the biometrics of its users and unwitting non‐users.”

16

Facebook Biometric Information Privacy Litigation

• The Complaints also allege that Facebook has “created, collected and stored over 1 billion ‘face templates.’”

• Motion to Dismiss the class action suit on the basis that the Illinois statute does not limit the use of facial recognition on photographs (as opposed to real people) was denied.

• The case is still pending.

Norberg v. Shutterfly, Inc.(Illinois. 2015‐WL‐9914203)

• Alleges that the company’s scrapbook service used computer algorithms to identify faces in photos that other people uploaded.

• Motion to Dismiss file arguing that the Illinois statute did not prohibit use of facial recognition technology.

• Motion to Dismiss denied.• The case is still pending.

17

The Law is Behind the Technology

Potential Impact of Pending Cases

• Litigation in other states• Legislative Action• Use of biometrics on photographs (pending cases say statutes apply)

• Damages???

Risks of using Facial Recognition Technology in Retail in Light of Current Status of the Law

• What do you capture? Is it race, gender, age, or national origin?

• How do you use the information?• How do you store the information?• What are you checking the picture against?

18

How to Minimize Claims Under Current Law• Post signs in stores indicating that you are using Facial Recognition Technology.

• Posting Signs minimizes claims of violating privacy rights.

• Delete any information that is not used if Facial Recognition Technology is only used for loss prevention purposes.

How to Minimize Claims Under Current Law• Avoid using technology that identifies race, gender, age, national origin, or other characteristics.

• Avoid using only police photos for comparison as they can be low quality.

19

How to Minimize Claims Under Current Law

• Be consistent as to handle any “hits”.

• Securely store any information resulting in “hits”.

• Document how the “hits” were handled.

20