@Override
protected void processSubDataEntity(
MultiValueHashMap<String, Object> subDataEntityInformation,
Metadata metadata,
ContentHandler handler2use4recursiveCall,
ParseContext context)
throws Exception {
URLName urlNameWithPassword =
(URLName) subDataEntityInformation.getFirst("urlNameWithPassword");
String strMessageId = (String) subDataEntityInformation.getFirst("Message-ID");
String strMessageFolder = (String) subDataEntityInformation.getFirst("folder");
String strEntityId = ImapURLStreamProvider.getEntityId(strMessageFolder, strMessageId);
// wir setzten die hier schon mal - die Daten haben wir in einem prefetching-Schritt schon
// effizient geladen. Wenn diese hier schon im
// Metadata-Objekt stehen, werden sie von der addFirstMetadata nicht nochmal geladen
metadata.set(Metadata.SOURCE, urlNameWithPassword.toString());
metadata.set(IncrementalCrawlingHistory.dataEntityId, strEntityId);
metadata.set(
IncrementalCrawlingHistory.dataEntityContentFingerprint,
ImapURLStreamProvider.getDataEntityContentFingerprint(strEntityId));
URLName urlNameWithoutPassword =
new URLName(
urlNameWithPassword.getProtocol(),
urlNameWithPassword.getHost(),
urlNameWithPassword.getPort(),
urlNameWithPassword.getFile(),
urlNameWithPassword.getUsername(),
"");
metadata.set(Metadata.RESOURCE_NAME_KEY, urlNameWithoutPassword.toString());
if (strMessageId == null)
metadata.set("Content-Type", DatasourceMediaTypes.IMAPFOLDER.toString());
else metadata.set("Content-Type", "message/rfc822");
metadata =
URLStreamProvider.getURLStreamProvider4Protocol(urlNameWithPassword.getProtocol())
.addFirstMetadata(urlNameWithPassword, metadata, context);
InputStream stream =
URLStreamProvider.getURLStreamProvider(urlNameWithPassword)
.getStream(urlNameWithPassword, metadata, context);
try {
if (m_leech == null) m_leech = new Leech();
// hier nimmt der dann bei einer message hoffentlich den Tika RFC822Parser
Parser parser = m_leech.getParser();
parser.parse(stream, handler2use4recursiveCall, metadata, context);
} finally {
if (stream != null) stream.close();
}
}
