Archivo

Archive for the ‘Textalytics’ Category

Entendiendo la TV Social con tecnologías de Análisis Semántico y Big Data

25 noviembre, 2013 Deja un comentario

Recientemente hemos participado en la conferencia Big Data Spain con una charla titulada “Real time semantic search engine for social TV streams”. En esta charla resumimos nuestra experiencia en el área de TV Social, donde estamos combinando tecnologías de análisis semántico y de procesamiento de flujos de datos (streams) en tiempo real para entender las redes sociales. 

La TV Social es un fenómeno en claro crecimiento ya que cada vez es más frecuente el uso de redes sociales mientras vemos la televisión. Por ejemplo, Twitter ya reportaba el año pasado que en Reino Unido más de un tercio de todos los comentarios durante el primetime eran sobre lo que pasaba en la pantalla del televisor. Hace semanas, Facebook reivindicaba su lugar en la TV social afirmando que el volumen de comentarios privados sobre TV en su plataforma era 5 veces mayor. Esta red social ha empezado también a ofrecer hashtags e incluso una nueva API, Keywords Insight, para que algunos socios tengan acceso a estadísticas agregadas de las conversaciones dentro de los muros de Facebook.

A medida que el número de usuarios que acaban comentando su programa favorito de TV en las redes sociales con amigos o extraños, las cadenas han empezado a hacer uso de estas herramientas para participar en la conversación. Durante el último año se ha incrementado el número de programas que hacen uso de hashtags oficiales, a veces incluso varios durante una sola emisión. Más allá de la búsqueda del trending topic, los que con mayor éxito han experimentado fomentan incluso la participación de presentadores o actores durante la emisión del programa. En España, “Salvados” o “Pesadilla en la Cocina” son ejemplo de lo primero y la serie “Isabel” para el caso de los actores.   

Aunque no hay nada nuevo en el hecho de socializar alrededor del contenido de la tele, la posibilidad de medir y de destilar estos comentarios sí que es característico del nuevo contexto. Además, esta conversación no se produce al día siguiente sino que su impacto es inmediato. Todo esto se suma para abrir un nuevo abanico de posibilidades para espectadores, radiodifusores y las grandes marcas. Los usuarios han encendido la mecha de la TV Social ya que les conecta con amigos y el resto de la audiencia.  Es a la vez una forma de sentirse parte del programa y al mismo tiempo de involucrarse más. Por tanto, las herramientas que faciliten organizar y comprender la conversación son de especial interés para el espectador social. Para el resto de espectadores, incluso para aquellos que solo participan leyendo, es una forma de generar tanto recomendaciones sociales. Otro uso interesante es que analizar la conversación social permite contextualizar contenido relevante y relacionado con el programa como información sobre los actores, personajes o cualquier otro concepto del que se hable en la pantalla grande.

Por otro lado, comprender la conversación en torno a un programa es de tremenda utilidad para los canales de TV y las marcas que los financian. Las productoras y cadenas pueden medir las preferencias de sus espectadores y los de la competencia, y además en tiempo real, según se está emitiendo. Está información cualitativa permite hacer una lectura mucho más informada de los datos cuantitativos de audiencia. Llegar a los consumidores adecuados y medir el impacto de las campañas de publicidad son solo dos ejemplos de lo que las marcas buscan en la TV social. Por último, no solo se trata de escuchar pasivamente, tanto los programas como los anuncios van a ser cada vez más interactivos y a buscar la participación de los espectadores mediante las redes sociales.  

En nuestra charla, describimos un sistema que combina análisis semántico y tecnologías de big data como una herramienta para sacar partido de las redes sociales. El sistema combina varios componentes de procesamiento de lenguaje natural de Textalytics API junto a una base de datos semi-estructurada, SenseiDB, para proporcionar visualizaciones interactivas de los comentarios de TV sobre la base de la búsqueda semántica, la búsqueda por facetas y un sistemas de analítica en tiempo real.

 

Mediante el uso de Textalytics API somos capaces de extraer información relevante para la TV social como el sentimiento acerca de una entidad (un programa, actor o deportista) Además, el reconocimiento de entidades y la extracción de información temática nos permite producir trending topics dentro de un programa con una alta correlación con lo que ocurre en pantalla. Estos temas unidos a las facetas online proporcionadas por SenseiDB funcionan como una manera efectiva de organizar la conversación al vuelo. Otras funcionalidades como el reconocimiento de idioma o la clasificación de texto cumplen un papel importante pero oculto y nos ayudan a filtrar el flujo de comentarios de contenido ruidoso.  

El segundo de los componentes esenciales del sistema es SenseiDB, una base de datos semi-estructurada de código abierto que permite ingerir streams y buscarlos en tiempo real, es decir, con baja latencia tanto en la indexación como en la búsqueda. SenseiDB incluye un gran número de tipos de facetas que permiten organizar los metadatos semánticos que extraemos con Textalytics. Con la ayuda de facetas de tipo histograma o rango se pueden realizar incluso ciertas tareas de analítica que incluyen tipos de datos complejos como el tiempo. Además, una de las características más interesantes es que incluye un lenguaje de consulta sencillo e intuitivo, BQL, que es de gran utilidad para el desarrollo iterativo de visualizaciones.

Si te ha parecido interesante, te animo a que le eches un vistazo a la presentación o incluso al vídeo del evento.

Semantic Analysis and Big Data to understand Social TV

25 noviembre, 2013 1 comentario

We recently participated in the Big Data Spain conference with a talk entitled “Real time semantic search engine for social TV streams”. This talk describes our ongoing experiments on Social TV and combines our most recent developments on using semantic analysis on social networks and dealing with real-time streams of data.

Social TV, which exploded with the use of social networks while watching TV programs is a growing and exciting phenomenon. Twitter reported that more than a third of their firehose in the primetime is discussing TV (at least in the UK) while Facebook claimed 5 times more comments behind his private wall. Recently Facebook also started to offer hashtags and the Keywords Insight API for selected partners as a mean to offer aggregated statistics on Social TV conversations inside the wall.

As more users have turned into social networks to comment with friends and other viewers, broadcasters have looked into ways to be part of the conversation. They use official hashtags, let actors and anchors to tweet live and even start to offer companion apps with social share functionalities.

While the concept of socializing around TV is not new, the possibility to measure and distill the information around these interactions opens up brand new possibilities for users, broadcasters and brands alike.  Interest of users already fueled Social TV as it fulfills their need to start conversations with friends, other viewers and the aired program. Chatter around TV programs may help to recommend other programs or to serve contextually relevant information about actors, characters or whatever appears in TV.  Moreover, better ways to access and organize public conversations will drive new users into a TV program and engage current ones.

On the other hand, understanding the global conversation about a program is definitely useful to acquire insights for broadcasters and brands. Broadcasters and TV producers may measure their viewers preferences and reactions or their competence and acquire complementary information beyond plain audience numbers. Brands are also interested in finding the most appropriate programs to reach their target users as well as understand the impact and acceptance of their ads. Finally, new TV and ad formats are already being created based on interaction and participation, which again bolster engagement.

In our talk, we describe a system that combines natural language processing components from our Textalytics API and a scalable semi-structured database/search engine, SenseiDB, to provide semantic and faceted search, real-time analytics and support visualizations for this kind of applications.

Using Textalytics API we are able to include interesting features for Social TV like analyzing the sentiment around an entity (a program, actor or sportsperson). Besides, entity recognition and topic extraction allow us to produce trending topics for a program that correlate well with whatever happens on-screen. They work as an effective form to organize the conversation in real-time when combined with the online facets provided by SenseiDB. Other functionalities like language recognition and text classification help us to clean the noisy streams of comments.

SenseiDB is the second pillar of our system. A semi-structured distributed database that helps us to ingest streams and made them available for search in real-time with low query and indexing times. It includes a large number of facet types that enable us to use navigation using a range of semantic information. With the help of histogram and range facets it could even be overused for simple analytics tasks. It is well rounded with a simple and elegant query language, BQL, which help us to boost the development of visualizations on top.

If you find it interesting, check out our presentation for more detail or even the video of the event.

Últimas tendencias en análisis de datos en Big Data Spain 2013

19 noviembre, 2013 Deja un comentario

logo Big Data SpainLa segunda edición de Big Data Spain, uno de los eventos pioneros en las tecnologías y aplicaciones del procesamiento masivo de datos se celebró el 7 y el 8 de Noviembre en Madrid. El evento que consiguió atraer a más de 400 asistentes, el doble que el año pasado, refleja el creciente interés en estas tecnologías también en España. Daedalus participó con una ponencia donde demostraba el uso de tecnologías de procesamiento de lenguaje natural, Big Data y redes sociales para el análisis en tiempo real de la TV social.

La tecnología de Big Data ha crecido y madurado cuando están a punto de cumplirse 10 años desde la publicación de MapReduce, el modelo de computación masiva y distribuida que marcó su inicio.

Rubén Casado, en una de las charlas más útiles para establecer un mapa del ingente número de proyectos de Big Data y NoSQL definió la historia de la tecnología en tres fases:

  • Procesamiento masivo en batch ( 2003 – ) con exponentes como Hadoop o Cassandra.
  • Procesamiento en tiempo real ( 2010 – ) representado con tecnologías como StormKafka o Samza
  • Procesamiento híbrido ( 2013 – ) que trata de unificar los dos anteriores en un modelo de programación única. Son ejemplos notables Summingbird  o Lambdoop.

Sin duda, la primera hornada de soluciones está lista para la empresa con distribuciones basadas en la pila tecnológica de Hadoop como Cloudera, MapR o HortonWorks. Del mismo modo crece el número de empresas que están integrando u ofrecen servicios de consultoría sobre Big Data en sectores diversos como banca, finanzas, telecomunicaciones o marketing.

Otras tres tendencias claras a nivel tecnológico son:

  • la popularización de sistemas que facilitan la analítica online de grandes volúmenes de datos (Spark, Impala, SploutSQL o SenseiDB)
  • la vuelta de SQL, o al menos de dialectos que reduzcan el tiempo de desarrollo
  • la importancia de la visualización como herramienta para comunicar los resultados de manera efectiva.

Pero, por supuesto, adoptar la filosofía Big Data en una empresa no es una cuestión puramente tecnológica. Requiere de una visión clara de los beneficios que genera basar tu negocio en datos y del valor y el conocimiento que se puede extraer integrando los datos internos y externos. Otro factor importante es contar con profesionales que sepan romper la barrera entre los aspectos más técnicos y los de negocio. En ese sentido cobra especial importancia la figura del científico de datos. Sean Owen de Cloudera la definió como “una persona que entiende la estadística mejor que un ingeniero software y es mejor en ingeniería software que cualquier estadístico”. Sin duda a estas habilidades hay que añadir el conocimiento del negocio y la capacidad para plantear las preguntas adecuadas.

Aunque no todas las opiniones coincidían, la mejor forma de empezar a “hacer Big Data” es poco a poco y abordando proyectos con objetivos de negocio bien definidos. Buenos candidatos para experimentar con la tecnología son aquellos procesos que ya suponen un cuello de botella. En otros casos, sin embargo, la necesidad viene por el lado de innovar, bien mediante la integración de datos externos o el diseño de productos basados en los datos. Buen ejemplo de este caso es la iniciativa de Big Data desde el Centro de Innovación BBVA que proporciona información agregada sobre transacciones de tarjetas de crédito.

TextalyticsPor último, y entroncando con lo que fue nuestra charla, uno de los tipos de fuentes externas donde hay un valor importante es en el uso de datos de las redes sociales. Por su heterogeneidad, se trata de uno de las fuentes de datos que plantea mas retos. Por esta razón, las herramientas de análisis de texto, como Textalytics API, deben formar parte de cualquier estrategia de Big Data ya que nos van a facilitar cruzar información cuantitativa y cualitativa con todo el valor que esto genera.

Si te interesa entrar en más profundidad, los videos de las charlas y los paneles de expertos se encuentran disponibles desde la web de Big Data Spain

Trends in data analysis from Big Data Spain 2013

19 noviembre, 2013 Deja un comentario

logo Big Data Spain

The second edition of Big Data Spain took place in Madrid on last November 7 and 8 and proved to be a landmark event on technologies and applications of big data processing. The event attracted more than 400 participants, doubling last year’s number, and reflected the growing interest on these technologies in Spain and across Europe. Daedalus participated with a talk that illustrated the use of natural language processing and Big Data technologies to analyze in real time the buzz around Social TV.

Big Data technology has matured when we are about to cellebrate its 10th birthday, marked by the publication of the MapReduce computing abstraction that later gave rise to the field.

Rubén Casado, in one of the most useful talks to understand the vast amnount of Big Data and NoSQL project outlined the recent history of the technology in three eras:

  • Batch processing ( 2003 – ) with examples like  Hadoop or Cassandra.
  • Real time processing ( 2010 – ) represented by recent projects like StormKafka o Samza.
  • Hybrid processing ( 2013 – ) which attempts to combine both worlds in an unified programming model like Summingbird  or Lambdoop.

Withouth any doubt, the first era of solutions is enterprise-ready with several Hadoop based distributions like Cloudera, MapR or HortonWorks. Likewise the number of companies that are integrating them or providing consultancy in this field is expanding and reaching every sector from finance and banking to telecomunications or marketing.

Some other technological trends clearly emerged from talk topics and panels:

  • growing number of alternatives to deal online with large volume data analysis tasks (Spark, Impala, SploutSQL o SenseiDB)
  • SQL comeback, or at least as dialects on top of actual systems that made easier to develop and maintain applications
  • the importance of visualization as a tool to communicate Big Data results effectively.

However, adopting Big Data as a philosophy inside your company is not just merely technology. It requires a clear vision of the benefits that grounding all your processes in data may carry, and the value and knowledge that you may obtain by integrating internal and also external data. Another important factor is to be able to find the right people to bridge the chasm between the technical and businness sides. In this sense, the role of the data scientist is very important and Sean Owen from Cloudera defined it as “a person who is better at statistics than any software engineer and better at software engineering than any statistician”. We may add to the whish list a deep knowledge of your businness domain and the ability to ask the right questions.

While not everybody agreed, it seems that the best way to start “doing Big Data” is one step at a time and with a project with clear bussiness goals. If you want to test the technology, good candidates are those business process that have already become a bottleneck using standard databases. On the other hand, innovation may also be an important driver, by using external open data or if you need to design data-centric products. A good example of that sort is the Open Innovation challenge from Centro de Innovacion BBVA,  providing aggregate information on  credit card transactions.

Textalytics

Finally, going back to the theme of our talk, one of the external sources that would is generating more value are social network data. Due to their heterogeneity, social networks are intrinsically difficult to analyze, but, fortunately, text analytics tools like Textalytics API, enable you to make sense of unstructured data. If implemented into your Big Data toolset they open the door to the intellingent integration of quantitative and qualitative data with all the valuable insights you would obtain.

If you want to dive into the Big Data world, videos of the talks and experts panel are available at the Big Data Spain site.

The Citizen Sensor: the citizen as a sensor in the city of the future

sensorciudadano1One of our most promising lines of work in the Ciudad2020 R&D project (INNPRONTA Program, funded by CDTI, Technological and Industrial Development Center) focuses on the concept that we have defined as Citizen Sensor: the log of events in relation with citizens and their municipality.

By applying Textalytics’ semantic technologies, we can analyze in detail the citizen’s voice, extracting heterogeneous, high-level information. Being this highly descriptive and with high added value, it is useful to model the citizen’s urban behavior and his/her relationship with the city of the future. In this way the citizen becomes a sensor integrated in the network of sensors of the systems of the city.

The Citizen Sensor can provide data in different ways:

  • Mobile phone.- For example, to detect noise pollution, the user could start an application on his/her smartphone to record the noise level and send it to the city servers. This act will give us a map of the most significant sources of noise of the city, which evolves over time (works in the mornings, parties on weekends…).
  • Citizen’s events.- For example, the user validates the train ticket to go to work. This, added to the events generated by the rest of users who use the train, will give us an idea of the density of travelers who use the train to go to work each morning and which way they go through.
  • Social networks.- Our systems can analyze the flow of tweets in a geographic area to know what users are talking about, and if it is something relevant (a car crash that provokes traffic jams, a fire, a music festival…) we can use those data to develop a precise model with much more adjusted predictions. We can also collect the citizens’ thinking or opinion with respect to policies taken by the local authority (for example, the policy of reducing consumption on air-conditioning in public transport).

As a preliminary work, we have built an ontology that defines the different dimensions which are going to guide the semantic analysis. We are currently collecting information from Twitter, and in particular, our aim is to identify in each tweet the location where the user is located (a public building like the city hall or a hospital, parks, transportation facilities, places of leisure or work, etc.), the concept (city services, supplies, sign posts, etc.), or the specific event it refers to (concerts or sporting events, or problematic situations as breakdowns, traffic jams, accidents, fires), as well as the subject area of the message (politics, economy, quality of life, tourism, sport, social interest…). This analysis is complemented by a sentiment analysis able to detect the polarity of the message (very positive, positive, negative, very negative and neutral).

sensorciudadano2

The aim is to merge the semantic analysis with the user’s geopositioning in order to obtain interesting results on what citizens talk and opine about, in real time, as a city management console. This type of analysis could serve, for example, for early detection of risk situations such as accidents or supply breakdowns on public roads, fights in leisure areas, condition (cleaning, security, services) of public parks or beaches, etc.

For this analysis we use our APIs of language detection (which can process Spanish, English, French, Italian, Portuguese and Catalan), extraction of entities, automatic classification, sentiment analysis and demographic classification of users, all included in Textalytics Core.

sensorciudadano3

At the moment we are researching in temporal analysis, to try to detect the citizens’ tendencies of behavior and opinion throughout the time of analysis. This research consists of comparing the condition of the city at different moments of time to analyze and interpret the differences which will be due either to the daily life of the city (for example, the natural increase of public activity as the morning advances) or unexpected situations that might be predicted.

You can find more information, documentation, and demos on our web page: http://www.daedalus.es/ciudad2020/Sensor_Ciudadano. If you have any questions or comments, please do not hesitate to contact us.

[Translation by Luca de Filippis]

Punto final para los comentarios ofensivos de los lectores en los medios de comunicación online: los medios serán los responsables. Y ahora, ¿qué?

24 octubre, 2013 1 comentario

El Tribunal Europeo de Derechos Humanos, el mismo que acaba de deslegitimar la aplicación retroactiva de la denominada “doctrina Parot”, dictó el pasado día 10 de octubre una sentencia muy relevante para los medios de comunicación europeos.

El caso en cuestión fue interpuesto por la web de noticias estonia Delfi, condenada por la justicia de su país por la publicación de comentarios ofensivos de lectores contra el director de una empresa que actuaba como fuente de una información. La publicación de la noticia en cuestión se produjo el 24 de enero de 2006, y algunas semanas después, el 9 de marzo, los abogados del ofendido solicitaron la retirada de 20 comentarios ofensivos y una indemnización por daños morales. La web de noticias retiró los comentarios el mismo día y rechazó la petición económica. Al mes siguiente, se interponía una demanda judicial civil ante los tribunales estonios. Esta demanda llegó hasta la máxima instancia judicial nacional, que confirmó la culpabilidad y condenó al medio a una indemnización de 320 euros para el demandante.

delfi

La empresa propietaria del portal de noticias, Delfi, recurrió a Estrasburgo (sede del Tribunal Europeo de Derechos Humanos), considerando que la condena vulneraba el principio de libertad de expresión, amparado por el artículo 10 de la Convención para la Protección de los Derechos Humanos y las Libertades Fundamentales.

Ahora, este tribunal europeo ha fallado en contra del medio de comunicación. Y ello a pesar de que Delfi disponía de un sistema automático (rudimentario) para filtrar comentarios que incluyeran algunas palabras clave (insultos u otras palabras problemáticas). Además, Delfi disponía de un mecanismo con el que los propios lectores podían marcar un comentario como inadecuado. La sentencia considera que este filtro era insuficiente para impedir daños contra el honor de terceros y que el medio debió tomar medidas más efectivas para prevenir estas situaciones.

El Tribunal considera razonable responsabilizar al editor, siendo su función publicar informaciones y dar visibilidad a los comentarios de los lectores, y lucrándose por ello a través del tráfico generado por esos comentarios.

Y ahora, ¿qué hacer? En un texto de este mismo blog, titulado “Moderar la participación en los medios“, publicado hace un par de años, resumíamos las dificultades y las claves de nuestro enfoque para ayudar a resolver un problema que no es trivial.

Las dificultades son múltiples. Por un lado, no basta con detectar palabras ofensivas aisladas, sino que es necesario filtrar expresiones, a veces teniendo en cuenta el contexto de la expresión y sus variantes flexivas. Por otro lado, hay que interpretar el lenguaje abreviado o los textos con errores ortotipográficos tan frecuentes en las secciones de participación o en los contenidos generados por usuarios. Estos “errores” pueden derivarse de las limitaciones de los dispositivos, del carácter impulsivo de los comentarios, o de la intención enmascaradora de los propios usuarios que, a sabiendas de la existencia de filtros automáticos, tratan de burlarlos por todos los medios (a veces con mucho ingenio).

Además de este problema relacionado con la Variedad de los textos, encontramos las otras dos características recurrentes en las aplicaciones de “big data” (conformando las famosas 3V): el Volumen de comentarios a tratar y la Velocidad de respuesta requerida.

En Daedalus, venimos abordando estos problemas desde hace años para el sector de los medios, y últimamente también en otros sectores, como el de banca y seguros.

En cuanto a la arquitectura de integración de estas soluciones, en la actualidad las estamos ofreciendo como un servicio en modo SaaS (Software as a Service), desde nuestra plataforma Textalytics de APIs en la nube, además del  tradicional licenciamiento para su ejecución on-premises.

Con los sistemas automáticos, no podemos garantizar un 100% de precisión para cualquier tarea de filtrado. Diferentes empresas o medios, y diferentes secciones dentro de un mismo medio, requieren distintas estrategias. Parece evidente que no tiene sentido aplicar los mismos criterios de filtrado a los comentarios de un sesudo artículo de fondo que a las intervenciones surgidas durante la transmisión en directo de un partido de fútbol o de un reality show. En ese sentido, nuestros sistemas caracterizan la gravedad de la expresión, permitiendo flexibilidad a nuestros clientes para establecer el umbral idóneo para su caso. Por otro lado, proporcionamos herramientas de personalización para facilitar la incorporación de nuevas expresiones problemáticas. Por último, también monitorizamos permanentemente el funcionamiento de estos sistemas para los clientes que lo desean, dentro de sus planes de aseguramiento y mejora continuada de la calidad.

¿Interesado? No dude en ponerse en contacto con Daedalus.

Descubra nuestras soluciones para el sector de medios.

Referencias a este asunto:

José Carlos González

Grabación y Q&A del webinar sobre Textalytics

El pasado 8 de octubre celebramos nuestro webinar sobre Textalytics – la manera más sencilla de incorporar procesamiento semántico a tus aplicaciones.

Textalytics

Para vuestra comodidad hemos subido los contenidos a esta página del área de webinars del sitio de Daedalus. Esperamos que os sea útil.

Durante la sesión tuvimos la suerte de recibir numerosas preguntas. Como referencia, y para dar respuesta a algunas que se quedaron sin contestar por falta de tiempo aquí tenéis un resumen del Q&A:

Jorge: ¿Como se personaliza Textalytics con el vocabulario específico de cada dominio? Me refiero por ejemplo a vocabulario técnico. ¿Es con la funcionalidad que estará lista para octubre?

Con la primera versión de la API de Publicación Semántica estará disponible la posibilidad de definir un diccionario personalizado en el que se pueden añadir entidades y conceptos con información asociada como tipos e identificadores propios. Esto permitirá definir un vocabulario técnico específico como el que deseas.

Sergio: Si tengo mi ontología “propia” ¿la puedo incorporar a Textalytics ?

El diccionario personalizado te va a permitir introducir instancias de tu ontología y asociarles una de tus clases. También vas a poder añadir tus propias clases y establecer relaciones jerárquicas entre ellas.

José: ¿La API es vía servicio web o podemos integrarlo en nuestras aplicaciones Java?

Textalytics ofrece ambas posibilidades: se puede invocar vía servicios web REST o desde Java utilizando nuestro SDK para ese lenguaje. Lo mismo ocurre actualmente con Python y PHP.

Alfonso: ¿Hay planes de lanzar una API para .NET?

Las API de Textalytics son REST estándar y se pueden invocar desde aplicaciones .NET.

Marta: ¿Se diferencia entre subjetividad y objetividad? (¿polar facts?)

En Sentiment Analysis API (https://textalytics.com/core/sentiment-1.1-info) dentro del conjunto de Core API tienes la posibilidad de acceder a un análisis detallado de la opinión que incluye subjetividad/objetividad además de polaridad y la intensidad del sentimiento expresado (P+,P,NEU,N,N+). La combinación de ambos te permite identificar “polar facts”.

Rafa: ¿Qué valor añadido ofrecen vuestras bases de conocimiento en cuanto a las propiedades de las entidades? Estoy pensando por ejemplo en un caso de uso sencillo en el que después de haber analizado el texto y extraido entidades de tipo Lugar, quiero filtrar mis contenidos por ejemplo por aquellos documentos que hablen de ciudades con más de un cierto número de habitantes.

Nuestras bases de conocimiento propias incluyen principalmente información lingüística y temática (alias, variantes, etc.). Además mantenemos varios rasgos que son importantes para algunas tareas concretas (fictional characters, historic) y otros genéricos como son relaciones de inclusión geográfica. Para los datos más “factuales” como la población de una ciudad nuestros recursos semánticos están conectados con fuentes de Open Linked Data (Geonames, Dbpedia, Freebase, etc ) y Wikipedia. Puedes encontrar información más detallada en la página de Topics Extraction API (https://textalytics.com/core/topics-info). Nuestro servicio Semantic Linked Data Viewer (https://textalytics.com/core/semldviewer-1.1-info) permite entregar estos datos externos, que pueden utilizarse para filtrar y relacionar entidades y otros elementos desde la aplicación usuaria.

Enrique: ¿De temas multimedia en qué situación estáis?

Disponemos de una API para la transcripción voz-texto y el reconocimiento de locutor  (https://textalytics.com/core/asr-info) que ofrecemos junto a nuestros partners de Vocapia Research. Puedes evaluarla completamente gratis dentro del Plan Gratuito analizando hasta 50 minutos de audio.

Joan: ¿Qué idiomas están soportados?

Español e inglés están soportados para todas las API. En Francés, Italiano, Portugués y Catalán están disponibles muchas de las funcionalidades. Para una lista completa puedes visitar este enlace https://textalytics.com/core/supported-languages.

Ricardo: A la hora de captar entidades/contenidos dentro de un texto, ¿se podrán introducir, por ejemplo, listas con tus propios términos, y de ahí conseguir un análisis de los mismos?

Efectivamente, la funcionalidad de diccionario personalizado va a permitir introducir términos específicos para un dominio. Estos términos pasan a ser “de primer nivel” dentro de Textalytics de forma que es posible reconocer variantes morfológicas. Para poner un ejemplo típico, si se define “redes de ordenador” como concepto a la hora de reconocer y agrupar variantes morfológicas como “redes de ordenadores”.

Enrique: ¿Qué pasa si llego al tope de créditos?

Si se supera el límite mensual de créditos gratuitos el contador se pone a cero al principio del siguiente mes. Siempre se pueden contratar paquetes con más créditos, a precios que empiezan en 149 €. Más info en https://textalytics.com/precios.

Categorías:API, Textalytics
A %d blogueros les gusta esto: