Henry Kissinger vs. Sentiment Analysis  WALID S. SABA, PhD CIO, Pragmatech walid.saba@pragma‐tech.com     Those of us that work in natural language processing (NLP) know very well that understanding natural language requires massive amount of commonsense knowledge, knowledge that a five year‐old has – e.g.,  tables don’t laugh, people sleep, elephants don’t fly, it makes sense to say ‘red car’ but not ‘red opinion’,  etc. We immediately and effortlessly understand what a waiter in a restaurant means when he says “the corner table wants another beer” because we know tables don’t have wants (and they certainly don’t desire beer), so it must be some person sitting at the corner table who wants the beer! This specific phenomenon, which is called metonomy in the computational linguistics literature, is but one of a multitude of problems that we still do not have a computationally effective solution for. Quantifier scope resolution is another phenomenon that we still don’t quite understand. In saying “Jon bought a house on every street in his neighborhood” we don’t mean there is a single house that is on every street in Jon’s neighborhood, a house which Jon bought, but in “Jon advertised a house on every street in his neighborhood” we could very well mean that there’s a single house that Jon advertised on every street in his neighborhood.   Without delving into the details of a number of phenomena in natural language that we still do not have a computationally effective solution for, let me just say that, as of yet, there’s no computer program that can truly understand simple,  everyday spoken language, not withstanding all the claims that are being made either for commercial reasons, or sometimes by those who do not quite understand the size of the problem (after all, some as early as the 1950’s thought that within a few years they would have programs that can do effective machine translation – we’re still waiting, by the way!)  I am not being negative towards NLP. I myself work in language processing. Furthermore, I am a strong believer that we CAN build systems that understand ordinary spoken language. However, I believe the problem is much more difficult than some think, and I believe we are still far from achieving that monumental challenge. What we can do at the moment is understand what a piece of text is “about” – that is, what the subject matter of a piece of text is, what are the key topics, and what (named) entities are being mentioned and what are their types (people vs. products, organizations, brands, companies, locations, etc.) Even this simple task, has not been perfected, but there are systems that do a very good job (incidentally, we at Pragmatech just finished the construction of one such system that we believe is the best in this regard.)  If the relatively simple task of understanding what a certain piece of text is about has not been perfected, it is beyond my comprehension to hear some speak of sentiment analysis. Sentiment analysis is actually much harder than understanding simple ordinary spoken language, which, as I argued above is a problem that we are far from solving (recall the corner table that wants a beer!)   To make the point that no serious sentiment analysis can at this point be done, I will have to refer to a famous diplomat, known the world over. I recall once hearing Henry Kissinger saying (I believe in an interview with Charlie Rose): “the US is the worst place to live in, until you try living anywhere else”. 

These brilliant one liners are classic Henry Kissinger. In this statement Dr. Kissinger was clearly making an extremely positive statement about the United States of America, that with all its imperfections, the US is still the best place in the world to live in. Realizing the positive ‘sentiment’ in this sentence towards the US clearly requires deep knowledge  –  knowledge of culture, politics and even psychology (intentions, etc.). Incidentally, removing two words from this sentence turns it into an extremely negative sentence about the US:  

1. The US is the worst place to live in, until you try living anywhere else (US +ve) 2. The US is the worst place to live in, try living anywhere else (US ‐ve) 

 To infer the correct sentiment about the US in (1) and (2) a deep analysis and quite a bit of world knowledge is needed, and so machine learning and statistical methods are helpless here (as they are also helpless elsewhere, in my opinion, but that’s another subject).   If the above example is not convincing, here’s another (after this example, you will realize I can make an infinite number of examples!):  

3. “I don’t like smart phones, I hate iPhone, and I don’t like  BlackBerry and I certainly dislike Samsung. I don’t  like the whole technology, whether its iOS, Android, or  whatever. All of this stuff is junk. I don’t see any need for  this technology. OK, OK, I’m kidding. I don’t really mean any of the above. Actually, my feelings are completely the opposite of  everything I said above. “ 

 Theoretically (and thus actually!) no statistical or machine learning algorithm can learn that the above pattern indicates a positive sentiment towards smart phones. This is not the place to make a scientific proof of this claim, but I hope the above examples are enough to convince people that whatever is now called sentiment analysis is nothing more than guess work.  Hype is a phenomenon that is used in many domains. We hype musicians, movies, politicians, products, and so on. But when it comes to hype, we in technology sector are masters. Remember ‘Expert Systems’ – these systems were supposed to encode few rules acquired from domain experts and then help us solve any problem. This was over 30 years ago. Hype is not bad, but when it is overdone, it can be very damaging to all of us in the field – this is actually what happened with ‘semantic technology’!   When claims are grand, and when a technology fails, and miserably so, it shuts the door on many opportunities for progress. Before the tap of investing in language processing is stopped, let’s be humble about our claims. Be excited and think big, but don’t convince the layman that we already have systems that can infer from what they write what they like and don’t like. Let’s not make a negative sentiment about ‘sentiment analysis’.