Dados de segurança de Boston

Artigo
09/02/2024

Os dados de chamadas do Boston 311 abrangem 311 chamadas não emergenciais feitas para o sistema de chamadas do Boston 311. Para obter mais informações, visite o recurso BOS:311 .

Nota

A Microsoft fornece os Conjuntos de Dados Abertos do Azure "no estado em que se encontram". A Microsoft não oferece garantias, expressas ou implícitas, garantias ou condições em relação ao seu uso dos conjuntos de dados. Na medida permitida pela legislação local, a Microsoft se isenta de qualquer responsabilidade por quaisquer danos ou perdas, incluindo diretos, consequenciais, especiais, indiretos, incidentais ou punitivos, resultantes do uso dos conjuntos de dados por parte do cliente.

Este conjunto de dados é disponibilizado de acordo com os termos originais em que a Microsoft recebeu os dados de origem. O conjunto de dados pode incluir dados obtidos junto da Microsoft.

Volume e retenção

Este conjunto de dados é armazenado no formato Parquet. A partir de 2011, Boston fornece seus 311 dados em arquivos diferentes, um recurso de arquivo para cada ano diferente. Os dados são atualizados diariamente. O conjunto de dados de 2023 contém cerca de atualizações diárias e contém cerca de 313 linhas K (179 MB) no total em 2019. Pode utilizar as definições de parâmetros no nosso SDK para obter os dados num intervalo de tempo específico.

Localização de armazenamento

Este conjunto de dados é armazenado na região do Azure E.U.A. Leste. Por afinidade, recomendamos a alocação de recursos de computação na região Leste dos EUA.

Informações adicionais

Este conjunto de dados é proveniente do governo da cidade de Boston. Para obter mais informações, visite o site do conjunto de dados de Boston. Para obter informações sobre licenciamento de conjuntos de dados, visite o recurso Open Data Commons Public Domain Dedication and License (ODC PDDL).

Colunas

Name	Tipo de dados	Exclusivo	Values (sample)	Description
Endereço	string	140,612	" " 1 Prefeitura por favor Boston MA 02108	Localização.
category	string	54	Limpeza de Ruas, Saneamento	Motivo do pedido de serviço.
subtipo de dados	string	1	311_All	"311_All"
Tipo de dados	string	1	Segurança	"Segurança"
dateTime	carimbo de data/hora	1,529,075	2015-07-23 10:51:00 2015-07-23 10:47:00	Data e hora de abertura do pedido de emergência.
latitude	duplo	1,622	42.3594 42.3603	Este é o valor da latitude. As linhas da latitude são paralelas ao equador.
longitude	duplo	1,806	-71.0587 -71.0583	Este é o valor da longitude. As linhas da longitude são perpendiculares às linhas da latitude e todas passam por ambos os polos.
origem	string	7	Aplicação Constituent Call Citizens Connect	Origem original do incidente.
status	string	2	Fechado Aberto	Estado do caso.
Subcategoria	string	209	Pedidos de Fiscalização de Estacionamento para Limpeza de Ruas	Tipo do pedido de serviço.

Pré-visualizar

ataType	subtipo de dados	dateTime	category	Subcategoria	status	Endereço	latitude	longitude	origem
Segurança	311_All	27/04/2021 23:45:49	Fiscalização e Veículos Abandonados	Fiscalização do estacionamento	Abertura	51 Gardner St Allston MA 02134	42.3535	-71.1285	Aplicação Citizens Connect
Segurança	311_All	27/04/2021 23:43:43	Saneamento	Lixo perdido/reciclagem/resíduos de quintal/item a granel	Abertura	4 Putnam Pl Roxbury MA 02119	42.3298	-71.0883	Autoatendimento
Segurança	311_All	27/04/2021 23:37:19	Fiscalização e Veículos Abandonados	Fiscalização do estacionamento	Abertura	36 Corvo St Dorchester, MA 02125	42.3177	-71.0546	Aplicação Citizens Connect
Segurança	311_All	27/04/2021 23:30:00	Saneamento	Lixo perdido/reciclagem/resíduos de quintal/item a granel	Abertura	58 Bicknell St Dorchester MA 02121	42.2984	-71.0834	Chamada Constituinte
Segurança	311_All	27/04/2021 23:10:20	Fiscalização e Veículos Abandonados	Fiscalização do estacionamento	Abertura	2000 Commonwealth Ave Brighton MA 02135	42.3394	-71.1585	Aplicação Citizens Connect
Segurança	311_All	27/04/2021 23:06:00	Perturbação Sonora	Festas Altas/Música/Pessoas	Abertura	INTERSECÇÃO de Lewis St & North St Boston MA	42.3594	-71.0587	Chamada Constituinte
Segurança	311_All	27/04/2021 23:05:00	Fiscalização e Veículos Abandonados	Fiscalização do estacionamento	Abertura	1 Nassau St Boston MA 02111	42.3486	-71.0629	Chamada Constituinte
Segurança	311_All	27/04/2021 23:00:55	Aplicação do código	Más Condições de Propriedade	Abertura	17 Mercer St Sul Boston MA 02127	42.3332	-71.0492	Aplicação Citizens Connect

Acesso a dados - Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import BostonSafety

from datetime import datetime
from dateutil import parser

end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = BostonSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=Boston"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Acesso a dados - Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in a Databricks cluster. https://video2.skills-academy.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import BostonSafety

from datetime import datetime
from dateutil import parser

end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = BostonSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety)

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=Boston"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Acesso a dados - Azure Synapse

from azureml.opendatasets import BostonSafety

from datetime import datetime
from dateutil import parser

end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = BostonSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety)

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=Boston"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Exemplos

Visite o recurso City Safety Analytics disponível no GitHub.

Próximos passos

Exiba o restante dos conjuntos de dados no catálogo Open Datasets.

Partilhar via