Acompanhamento do timestamp do stream

[filipebraida]

Será que uma opção para retornar em conjunto o timestamp é necessário?

[yaansz]

Isso se refere a função "listen"ter a opção de retornar o event.time?
algo como listen(stream::BatchStream; timestamp::Bool = false) ?

[filipebraida]

na verdade na criação de um stream.
uma coisa que fiquei pensando, pois pode ser que o dado não tenha o tempo

uma coisa que eu pensei rapido aqui seria um modifier que altera e adiciona o tempo tb...

[filipebraida]

inclusive, ele pode ser um AlterModifier.
a minha questão é que o tempo seria do listen do drift no total e não para cada instância

[yaansz]

não entendi muito bem. O construtor do BatchStream poderia retornar o event.time caso fosse requisitado? Mas qual seria a utilidade, já que o tempo sempre começa com 0?

[filipebraida]

não seria isso não. Seria adicionar uma nova coluna com o timestamp. Esse timestamp é o tempo mesmo (horário e data).

[yaansz]

Então basicamente, no momento que eu construo o BatchStream

stream = EasyStream.BatchStream(conn_df; timestamp= true, batch = 5);

o timestamp gera um Modifier que sempre vai rodar pra gerar a coluna na stream com um tempo igual pras 5 instancias que criei ? ou ele geraria o mesmo horário pra todos os elementos do connector?

[filipebraida]

Eu estava pensando sobre isso ontem. Eu acho que, por enquanto, podemos adicionar um Modifier que cria a coluna. Essa é a modificação menos intrusiva.

Então basicamente, no momento que eu construo o BatchStream
Quando existir essa dúvida, você pode sempre fazer a pergunta: "de quem é a resposabilidade de saber o horário"
Isso ajuda para definir quem ficará com essa responsabilidade.

Eu acho que deveria ser no Conector, pois o Stream não teria essa responsabilidade de saber como manipular e que dados estão vindo. O que você acha?

o timestamp gera um Modifier que sempre vai rodar pra gerar a coluna na stream com um tempo igual pras 5 instancias que criei ?
Na verdade seria um CreateTimestampModifier (?) e ele irá adicionar no DataFrame a coluna do tempo que esse Modifier foi chamado.