parquet
-
Как записать постоянное значение в файл паркета, используя Scala? - loopsЯ использую spark. Я хочу сохранить значение 2.484, которое повторяется...
- 1
- 11 май 2020
- Salma Elzeheiry
-
Как читать из pyarrow.BufferOutputStream следующий кусок данных? - pythonДокумент для чтения "Запись и чтение потоков". Там использовали следующий...
- 11 май 2020
- Dima Fomin
-
Не могу написать действительные файлы паркета с временными метками панд - pandasКогда я пытаюсь записать файл партера, используя pandas.Timestamp в качестве...
- 11 май 2020
- hobbitmessiah
-
Прочитать каталог секционированного паркета (все файлы) в одном R-кадре данных с помощью стрелки apache...Как мне прочитать разделенный файл паркета в R со стрелкой (без искры)...
- 3
- 11 май 2020
- Alex Ortner
-
Как создать клеевой стол в формате Parquet? - parquetВ документации я нашел, как создать Glue table в формате JSON, но я не...
- 1
- 6 май 2020
- Marcin
-
Как вычесть два вектора в скале? - scalaУ меня есть файл паркета, который содержит идентификатор, характеристики...
- 6 май 2020
- Salma Elzeheiry
-
neo4j читать столбчатые данные паркета - neo4jМожет ли neo4j читать файлы паркета напрямую каким-либо образом? У меня...
- 1
- 3 май 2020
- Georg Heiler
-
Как читать данные паркета с разделами из Aws S3, используя presto? - amazon-s3У меня есть данные, хранящиеся в S3 в виде файлов паркета с разделами....
- 1
- 3 май 2020
- Mehaboob Khan
-
Данные есть в HDFS, но не извлекаются из таблицы улья - hiveЯ загрузил запись из таблицы кустов через программу spark, данные успешно...
- 1
- 3 май 2020
- Kanagasubramanian
-
преобразование между искрой df, паркетным объектом и пандами df - apache-sparkЯ без проблем преобразовал файл паркета в панды, но у меня возникли проблемы...
- 1
- 3 май 2020
- santoku
-
Не удается выполнить запрос паркетного файла, созданного Spark - hadoopСоздал паркетный файл в Spark. Вот фрагмент кода parquet_file_name = os.path.join(partition,...
- 1
- 1
- 21 мар 2020
- mdem
-
Как заставить Spark использовать информацию о разделах из файлов Parquet? - python-3.xЯ пытаюсь предварительно компрометировать разделы для некоторых запросов...
- 1
- 2
- 21 мар 2020
- shao.lo
-
Выполните группу на RDD в Spark и напишите каждую группу как отдельный файл Parquet - javaУ меня есть RDD в памяти. Я хотел бы сгруппировать RDD с помощью некоторой...
- 1
- 1
- 21 мар 2020
- Alan Matos
-
Как заменить n в паркетных файлах Impala? - regexУ меня есть текстовые данные, хранящиеся в формате паркета в HDFS в метафоре...
- 1
- 21 мар 2020
- ADJ
-
Импорт куста Sqoop из mysql в улей не работает - hiveЯ пытаюсь загрузить таблицу из mysql в hive, используя -hive-import в формате...
- 1
- 21 мар 2020
- user3333553
-
Предикатная проекция, не работающая в паркете - parquetПрежде всего, я новичок в этом форуме, и я новичок в парке и стараюсь понять...
- 1
- 21 мар 2020
- Nagaraj Malaiappan
-
ClassCastException при де-сериализации (загрузка в таблицу улей) десятичных знаков, записанных в формате...Я пытаюсь сериализовать данные csv в формате Паркета с использованием Avro...
- 1
- 1
- 21 мар 2020
- abhijeet dhumal
-
Spark: потоковая передача json в паркет - jsonКак конвертировать json в паркет в потоковом режиме с помощью Spark? Acutually...
- 1
- 1
- 21 мар 2020
- Federico Ponzi
-
Как хранить фрейм данных Spark как динамическую секционированную таблицу Hive в формате Parquet? - hiveТекущие исходные данные находятся на Hive. Я хочу сделать соединение нескольких...
- 1
- 1
- 20 мар 2020
- Osiris
-
формат паркета HDFS write - apache-kafkaЯ пытаюсь преобразовать сообщение kafka, которое является огромным RDD...
- 1
- 2
- 20 мар 2020
- Bill
-
Spark-Sql Контекст с файловой рамкой не может сохранять файл в паркетном файле. Из-за ошибки Deserialazation...Привет, я читаю файлы паркета в контексте искры, а затем объединяю схему...
- 1
- 1
- 20 мар 2020
- pg20
-
Hive: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassCastException - hiveУ меня есть файл Parquet (созданный Drill), который я пытаюсь прочитать...
- 1
- 1
- 20 мар 2020
- Ian
-
Написать паркет в java - javaЯ хочу написать файл паркета в автономной java, в локальной файловой системе...
- 1
- 1
- 20 мар 2020
- Federico Ponzi
-
Преобразование схемы (SCD) JSON/XML в формат ORC/Паркет - apache-sparkМы получаем разновидности JSON/XML в качестве входных данных, где схема...
- 1
- 1
- 20 мар 2020
- kartik
-
Ошибка при испарении в докерной парке Не найдена предопределенная схема - dockerУ меня есть локальный искробезопасный кластер https://github.com/gettyimages/docker-spark,...
- 1
- 1
- 20 мар 2020
- Georg Heiler
-
Есть ли способ создать паркетный файл из входного файла xml/json без файла.avsc и без impala/hive.? -...Я хочу преобразовать свой входной файл (xml/json) в паркет. У меня уже...
- 1
- 20 мар 2020
- Srini
-
Преобразование паркета в Avro - avroЯ вижу множество примеров того, как конвертировать файлы Avro в Parquet,...
- 1
- 1
- 20 мар 2020
- Erik Forsberg
-
Cloudera Impala: файл имеет недопустимый номер версии. Это может быть связано с устаревшими метаданными...Я запускаю дистрибутив CDH (версия 5.6.0) с Impala (версия 2.4.0). У меня...
- 1
- 1
- 20 мар 2020
- Mirel Vlad
-
Как получить доступ к вложенным атрибутам в искровом sql - jsonЯ пытаюсь получить доступ к вложенным атрибутам json файла, хранящимся...
- 1
- 2
- 19 мар 2020
- kjosh
-
Укажите максимальный размер блока паркета в PySpark - csvЯ могу успешно преобразовать CSV файл в файл Parquet, но файл Parquet разбит...
- 1
- 1
- 19 мар 2020
- Frank B.
-
RDD Память в искровом свете - compressionЯ не уверен в концепции печати стоп-кадра. При загрузке паркетного файла,...
- 1
- 2
- 18 мар 2020
- spark_dream
-
Как обновить recoder до файла паркета в искровом режиме - scalaКогда я регулярно обновляю данные в файл паркета, затраченное время будет...
- 1
- 18 мар 2020
- 马东明
-
apache nifi, формат паркета hdfs - bigdataЯ новичок в NIFI, мой прецедент - читать из порта и писать в формате hdfs...
- 1
- 2
- 18 мар 2020
- Bill
-
Таблица таблицы улей с паркетной поддержкой: столбец массива не запрашивается в Impala - hiveХотя Impala намного быстрее, чем Hive, мы использовали Hive, потому что...
- 1
- 1
- 18 мар 2020
- Alex Woolford
-
Запрос вложенного массива в паркетных записях - apache-sparkЯ пытаюсь разными способами запросить запись в массиве записей и отобразить...
- 1
- 2
- 18 мар 2020
- pg20
-
Есть ли способ читать файлы Parquet в hdfs в SqlContext от Mobius? - c#Я знаю, что в Scala вы можете читать в паркетном файле следующим образом:...
- 1
- 2
- 18 мар 2020
- user2608613
-
Внутренние разделы доступа SparkSQL Dataframe (столбцы) - hdfsЯ работаю с некоторыми алгоритмами, которые требуют интенсивных вычислений...
- 1
- 18 мар 2020
- jarias
-
Формат файла паркета для hbase - hbaseЯ могу загружать файлы csv в hbase, а также играть с java api. Я также...
- 1
- 1
- 18 мар 2020
- user1189851
-
искрообразование - Обогащение + Аналитика + хранение событий на s3 - apache-sparkУ меня есть мои события, поступающие из Kinesis, которые нужно обогатить....
- 1
- 18 мар 2020
- Gaurav Shah
-
Каков размер блока по умолчанию для s3-ведра - amazon-s3Я пишу файл паркета в s3. Я должен знать размер блока s3, поэтому я могу...
- 1
- 18 мар 2020
- pg20
-
Как использовать указательную страницу паркета в искре? - apache-sparkИндексная страница произошла в паркет 2.0, как ее использовать в искровом...
- 1
- 17 мар 2020
- olivetree123
-
Как удалить файл Parquet на Spark? - pythonЯ сохранил файл паркета на Spark, используя DataFrame.saveAsParquet()....
- 1
- 1
- 17 мар 2020
- guptashail
-
искровой паркет без метаданных будет медленнее? - apache-sparkС pyspark я сохранил данные в паркетные файлы без метаданных. Из-за следующей...
- 1
- 17 мар 2020
- olivetree123
-
ParquetWriter выводит пустой файл паркета в автономную программу java - hadoopЯ попытался преобразовать существующий файл avro в паркет. Но выходной...
- 1
- 1
- 17 мар 2020
- user2628641
-
Как мы можем преобразовать результат HadoopRDD в формат Паркета? - amazon-dynamodbЯ пытаюсь прочитать таблицу DynamodDB с помощью Apache Spark. Ниже приводится...
- 1
- 1
- 17 мар 2020
- user3773989
-
создавать вложенные данные из не-вложенных данных в куст - hadoopЕсть ли способ создать вложенные данные в куст из не-вложенных данных ...
- 1
- 1
- 16 мар 2020
- Rveer
-
Конкретный сброс столбцов из файла Parquet с использованием Parquet-tools.jar - hadoopЯ хочу сбросить только определенный столбец в каком-либо текстовом файле,...
- 1
- 2
- 16 мар 2020
- nilesh1212
-
Запустить PySpark как скрипт - pythonЯ новичок в spark/pyspark и должен интегрировать его в конвейер. Мне удалось...
- 1
- 1
- 16 мар 2020
- El Dude
-
Преимущество создания разделов Hive при использовании хранилища паркетных файлов - hadoopЕсть ли какое-либо преимущество в создании разделов Hive при использовании...
- 1
- 1
- 16 мар 2020
- Sohil Jain
-
Разделение паркета Apache Spark - amazon-s3Я пытаюсь сохранить DataFrame в папке паркета Amazon S3, используя дату...
- 1
- 16 мар 2020
- DejanS